FFmpegで2つの動画を横に並べて1本にする方法

​​FFmpeg​H.264,コマンドライン,動画

FFmpeg で2つの動画を左右に並べて1本にするには、hstack フィルターを使います。編集の前と後を見比べる動画や、2つの画面を並べた比較動画(サイドバイサイド)を作るときに使えます。ここでは、基本のコマンドに加えて、高さ・長さ・フレームレートが違う2本を並べたときに何が起きるかを、検証環境で動かした結果で示します。

補足

検証環境は Ubuntu 24.04.5、FFmpeg 6.1.1(Ubuntu のパッケージ 6.1.1-3ubuntu5)、libx264 0.164.3108 です。元の動画は、FFmpeg の testsrc2 と testsrc で作った 640×360、30fps、yuv420p の H.264 の動画(AAC の音声付き)と、同じ方法で長さ・高さ・フレームレート・画素の形式を変えた動画だけです。画素の形式を yuv444p に変えた動画には、音声を付けていません。カメラやスマホで撮った動画、回転の情報を持つ動画、GPU 向けの hstack_vaapi や hstack_qsv は試していません。

基本のコマンド

640×360 の動画 left.mp4 と right.mp4(どちらも5秒)を、左右に並べます。

bash
ffmpeg -i left.mp4 -i right.mp4 \
  -filter_complex "[0:v][1:v]hstack=inputs=2[v]" \
  -map "[v]" -map 0:a -c:a copy out.mp4

[0:v] は1つ目の入力の映像、[1:v] は2つ目の入力の映像です。hstack は、渡した順に左から並べます。並べた結果に [v] という名前を付け、-map "[v]" で出力に入れています。公式ドキュメントの hstack の説明では、inputs の初期値は2です。2本なら hstack だけでも同じです。

できた動画は、横幅が2本の合計の 1280×360 で、150コマ、5秒でした。

text
codec_name=h264|width=1280|height=360|pix_fmt=yuv420p|r_frame_rate=30/1|avg_frame_rate=30/1|duration=5.000000|nb_frames=150
codec_name=aac|channels=1|r_frame_rate=0/0|avg_frame_rate=0/0|duration=5.000000|nb_frames=217
左半分に testsrc2 のカラーバーの映像、右半分に testsrc の数字の入った映像が、横に並んだ1本の動画になっている。境目にピンクの破線がある。下に、左が1本目の left.mp4、右が2本目の right.mp4 で、どちらも 640×360 だと書いてある
hstack で2本を並べた動画の、1秒の時点のコマ

右の動画の (100, 100) の画素は、出力では (740, 100) にあり、RGB の値はどちらも (0, 255, 255) でした。右の動画は、左の動画の幅(640)だけ右にずれて置かれます。

音声は -map で選ぶ

hstack が扱うのは映像だけです。上のコマンドでは -map 0:a で1つ目の入力の音声を選び、-c:a copy でそのまま写しました。

-map を付けずに -filter_complex "[0:v][1:v]hstack" だけで動かすと、出力の音声には1つ目の入力の音声が入りました。ただし、FFmpeg の表示は Stream #0:1 -> #0:1 (aac (native) -> aac (native)) で、AAC から AAC へエンコードし直されていました。音声の長さも 5.000000 秒から 5.015011 秒に変わりました。音声をそのまま使いたいときは、-map と -c:a copy を付けます。

2本の音声を両方とも聞こえるようにしたいときは、amix で混ぜます。次の例の right3s.mp4 は、right.mp4 と同じ方法で作った3秒の動画です。

bash
ffmpeg -i left.mp4 -i right3s.mp4 \
  -filter_complex "[0:v][1:v]hstack[v];[0:a][1:a]amix=inputs=2:duration=longest[a]" \
  -map "[v]" -map "[a]" out.mp4

ドキュメントによると、amix は初期値で入力の音量を調整(normalize)します。volumedetect で平均の音量を測ると、left.mp4 の音声だけでは -21.1 dB、混ぜた音声の0〜3秒(2本とも鳴っている部分)では -24.1 dB でした。混ぜると、片方だけのときより平均の音量が3 dB 下がりました。

高さが違うとエラーになる

ドキュメントには、hstack に渡す映像は、すべて同じ高さ、同じ画素の形式(ピクセルフォーマット)でなければならない、とあります。640×360 の left.mp4 と、640×480 の right480.mp4 を並べると、次のように表示されて止まり、終了コードは234でした(表示の一部を抜き出しました)。

text
[Parsed_hstack_0 @ 0x557c202a4480] Input 1 height 480 does not match input 0 height 360.
[Parsed_hstack_0 @ 0x557c202a4480] Failed to configure output pad on Parsed_hstack_0

この場合は、scale で高さをそろえてから hstack に渡します。

bash
ffmpeg -i left.mp4 -i right480.mp4 \
  -filter_complex "[1:v]scale=-2:360[r];[0:v][r]hstack[v]" \
  -map "[v]" -map 0:a -c:a copy out.mp4

scale=-2:360 は、縦横の比を保ったまま高さを360にし、幅を2の倍数にする指定です。-loglevel verbose を付けると、640×480 が 480×360 に縮められたことが分かります。できた動画は 640+480 で 1120×360 になりました。

text
[Parsed_scale_0 @ 0x557dd678c980] w:640 h:480 fmt:yuv420p sar:1/1 -> w:480 h:360 fmt:yuv420p sar:1/1 flags:0x00000004

画素の形式のほうは、yuv420p と yuv444p の動画を並べても止まりませんでした。-loglevel verbose の表示を見ると、2本目と hstack の間に、形式を変換する auto_scale_0 が自動で入っていました。出力は yuv420p でした。

長さが違うと、短いほうは最後のコマのまま残る

5秒の動画と3秒の動画を並べると、何も指定しなければ、出力は長いほうに合わせて5秒(150コマ)になりました。3秒の動画が終わった後は、その最後のコマが右側に出たままになります。

5秒の動画と3秒の動画を並べた出力の、1秒、2.9秒、4.5秒の時点のコマを縦に3つ並べている。左の映像の時刻の表示は進んでいるが、右の映像は2.9秒と4.5秒でどちらも数字の2が出ており、4.5秒の右半分はピンクの枠で囲まれている
長さの違う2本を並べた動画。4.5秒の時点でも、右は3秒の動画の最後のコマのまま

エンコードする前の右半分を1コマずつ MD5 で比べると、90コマ目(3秒の動画の最後のコマ)から150コマ目(最後のコマ)までの61コマが、すべて同じ値でした。左半分は、90コマ目と150コマ目で違う値で、映像が進み続けていました。

短いほうに合わせて止めたいときは、shortest=1 を付けます。ドキュメントでの初期値は0です。

bash
ffmpeg -i left.mp4 -i right3s.mp4 -filter_complex "[0:v][1:v]hstack=shortest=1[v]" -map "[v]" out.mp4

出力は3秒(90コマ)になりました。音声も入れるときは、音声の長さにも気を付けます。-map 0:a -c:a copy で5秒の動画の音声を写すと、映像は3秒なのに音声は5秒のまま残りました。3秒の動画の音声を -map 1:a -c:a copy で写すか、amix を duration=shortest にすると、音声も3秒(amix では 3.018005 秒)になりました。

フレームレートが違うときは fps でそろえる

30fps の left.mp4 と、24fps で作った right24.mp4 を並べると、-loglevel verbose で次の表示が出ました。

text
[Parsed_hstack_0 @ 0x55fa06b306c0] Video inputs have different frame rates, output will be VFR

このとき、出力の映像は 25fps になりました。ffprobe で調べると、126コマ、5.04秒で、コマの時刻は0.04秒ずつ進んでいました。どちらの元の動画とも違うフレームレートです。

text
codec_name=h264|width=1280|height=360|pix_fmt=yuv420p|r_frame_rate=25/1|avg_frame_rate=25/1|duration=5.040000|nb_frames=126

片方を fps フィルターでもう片方に合わせてから並べると、30fps、150コマ、5秒の動画になりました。

bash
ffmpeg -i left.mp4 -i right24.mp4 \
  -filter_complex "[1:v]fps=30[r];[0:v][r]hstack[v]" \
  -map "[v]" out.mp4

間に線を入れる、3本以上を並べる

2本の境目に線を入れたいときは、左の動画の右側に pad で余白を付けてから並べます。次の例では、幅10ピクセルの白い線が入り、出力は 1290×360 になりました。線の位置 (645, 100) の画素は (255, 255, 255) でした。

bash
ffmpeg -i left.mp4 -i right.mp4 \
  -filter_complex "[0:v]pad=iw+10:ih:0:0:white[l];[l][1:v]hstack[v]" \
  -map "[v]" -map 0:a -c:a copy out.mp4

3本を並べるときは、inputs=3 を付けます。3本とも 640×360 なら、出力は 1920×360 になりました。入力を3つ渡しても、inputs を付けずに [0:v][1:v]hstack と書いたときは、最初の2本だけが並び、1280×360 になりました。

縦に並べるときは、同じ書き方で vstack を使います。こちらは幅をそろえる必要があり、2本の 640×360 から 640×720 の動画ができました。

pad と overlay で並べる方法との違い

ドキュメントには、hstack は overlay と pad を使うより速い、とあります。左の動画を pad=iw*2:ih で倍の幅に広げ、overlay=w で右に重ねる方法と比べました。エンコードする前の全コマの MD5 は、2つの方法で同じでした。

5秒の動画を、-f null でファイルに書き出さずに処理し、-benchmark で3回ずつ測ると、かかった時間(rtime)は次のとおりでした。

方法 1回目 2回目 3回目
hstack 0.102秒 0.096秒 0.100秒
pad と overlay 0.151秒 0.171秒 0.130秒

映像はエンコードし直しになる

hstack はフィルターなので、-c copy と一緒には使えません。-c copy を付けると、次のように表示されて止まり、終了コードは234でした(エラーの1行目を抜き出しました)。

text
[vost#0:0 @ 0x563db2e2b300] Streamcopy requested for output stream fed from a complex filtergraph. Filtering and streamcopy cannot be used together.

映像は、何も指定しなければ H.264(libx264)でエンコードし直されました。音声は、ここまでの例のように -c:a copy でそのまま写せます。

​Posted by 86