FFmpegで字幕ファイルを動画に焼き込む方法

​​FFmpeg​libass,コマンドライン,動画,字幕

FFmpeg で字幕を動画に焼き込むには、-vf subtitles=字幕ファイル を付けて映像をエンコードし直します。焼き込んだ字幕は映像の一部になるので、字幕の表示に対応していないプレーヤーでも、字幕ファイルを別に付けられない投稿先でも、そのまま見えます。テロップのように字幕を動画に埋め込みたい(ハードサブにしたい)場面で使う方法です。

日本語の字幕では、フォントの選ばれ方と文字コードで引っかかりやすいので、そこを中心に確かめました。

補足

検証環境は Ubuntu 24.04.5、FFmpeg 6.1.1(Ubuntu のパッケージ 6.1.1-3ubuntu5、--enable-libass 付き)、libass 0.17.1 です。日本語フォントは Noto Sans CJK JP(fonts-noto-cjk)を入れて使いました。元の動画は FFmpeg の testsrc2 で作った 1280×720、8秒、音声つきの H.264 の動画です。Windows や macOS の FFmpeg、PGS や DVD の字幕のような画像の字幕、プレーヤーで再生したときの見え方は試していません。

SRT の字幕を焼き込む

字幕ファイルは、次の SRT を使いました。2つ目の字幕は2行です。

text
1
00:00:01,000 --> 00:00:03,000
猫が窓の外を見ています

2
00:00:03,500 --> 00:00:05,500
鳥が飛んできました
しっぽが揺れています

3
00:00:06,000 --> 00:00:07,500
Hello, subtitles!

焼き込むコマンドです。音声はそのままコピーし、映像だけをエンコードし直します。

bash
ffmpeg -i src.mp4 -vf subtitles=sub.srt -c:a copy burn.mp4

できた動画を ffprobe で見ると、映像と音声の2つのストリームだけで、字幕のストリームはありません。字幕は映像の中に描かれています。

text
index=0|codec_name=h264|codec_type=video|width=1280|height=720
index=1|codec_name=aac|codec_type=audio

subtitles フィルターは、libass というライブラリで字幕を描きます。FFmpeg のフィルターのドキュメントの subtitles の項にあるとおり、FFmpeg が --enable-libass 付きでビルドされている必要があります。検証環境の FFmpeg では、ffmpeg -filters の一覧に subtitles と ass が出ていました。

-c:v copy で映像をコピーしたまま焼き込むことはできません。試すと次のように表示されて止まりました。

text
Filtergraph 'subtitles=sub.srt' was specified, but codec copy was selected. Filtering and streamcopy cannot be used together.

映像のエンコード設定を何も付けなかったので、映像は libx264 の既定の設定でエンコードし直されました。実行時の表示にも h264 (native) -> h264 (libx264) と出ています。CRF の値で画質とファイルサイズがどう変わるかは、別の記事「FFmpegのCRFを変えると画質と容量がどう変わるか」で比べています。

日本語の字幕は、フォントを指定する

何も指定しないと、字幕はかなり小さく出ます。-v debug を付けて、FFmpeg が SRT を ASS(libass が扱う形式)に変換した結果を見ると、スタイルは Arial の16、画面の大きさは 384×288 という設定でした。

text
PlayResX: 384
PlayResY: 288
text
Style: Default,Arial,16,&Hffffff,&Hffffff,&H0,&H0,0,0,0,0,100,100,0,0,1,1,0,2,10,10,10,1

スタイルの数値は、高さ288の画面を基準にした値です。高さ720の動画では、2.5倍(720÷288)に拡大されて描かれました。字幕の位置を決める MarginV を20から80に変えると、字幕はおよそ150px(60の約2.5倍)上に動きました。

フォントのほうは、検証環境には Arial がないので、fontconfig が代わりに Liberation Sans を選びました。さらに「猫」の字(U+732B)が Liberation Sans にないため、libass は別のフォントを探し、WenQuanYi Zen Hei で日本語を描いていました。

text
fontselect: (Arial, 400, 0) -> /usr/share/fonts/truetype/liberation/LiberationSans-Regular.ttf, 0, LiberationSans
fontselect: (Arial, 400, 0) -> /usr/share/fonts/truetype/wqy/wqy-zenhei.ttc, 0, WenQuanYiZenHei

どのフォントで代わりに描かれるかは、その環境に入っているフォントで変わります。日本語の字幕では、force_style で日本語フォントを名前で指定しておくと確実です。

bash
ffmpeg -i src.mp4 -vf "subtitles=sub.srt:force_style='FontName=Noto Sans CJK JP,FontSize=24,Outline=2,MarginV=20'" -c:a copy burn_style.mp4

今度は、Noto Sans CJK JP が選ばれました。

text
fontselect: (Noto Sans CJK JP, 400, 0) -> /usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc, 0, NotoSansCJKjp-Regular
1280×720 のテスト映像の下の中央に、白い文字と黒い縁取りで「猫が窓の外を見ています」と焼き込まれたフレーム
force_style で Noto Sans CJK JP を指定して焼き込んだ動画の2秒目(横800pxに縮小)

force_style には、ASS のスタイルの項目を 名前=値 の形で、, で区切って並べます。ここでは、フォントの名前(FontName)のほかに、文字の大きさ(FontSize)を既定の16から24に、縁取りの太さ(Outline)を既定の1から2に、MarginV を既定の10から20に変えました。既定のままのときと比べて、文字は大きく、縁取りは太く描かれました。フォントの名前は、fc-list :lang=ja family で、入っている日本語フォントの名前を確かめてから書きます。

日本語フォントがないと、豆腐(□)になる

日本語の字を持つフォントが1つもない環境では、字幕は四角に置き換わります。fontconfig に DejaVu のフォントだけを見せる設定で焼き込むと、Glyph 0x732B not found のような表示が、見つからない字ごとに出ました。エラーにはならず、次の画像のような字幕の動画ができました。終了コードも 0 でした。

テスト映像の上に、白い四角が11個並んだ字幕が焼き込まれている
日本語フォントのない設定で焼き込んだ字幕(2秒目、字幕の部分を元の大きさで切り抜き)

四角の数は「猫が窓の外を見ています」の11文字と同じです。FFmpeg は止まらないので、焼き込んだ動画は一度開いて確かめます。日本語フォントが入っていない環境では、fonts-noto-cjk のようなフォントのパッケージを入れるか、fontsdir オプションでフォントを置いたディレクトリを指定します。

字幕の位置や色まで決めたいときは ASS ファイルで

字幕ごとに位置や色を変えたいときは、SRT ではなく ASS のファイルにスタイルを書き、ass フィルターで焼き込みます。次のファイルでは、画面の大きさを動画と同じ 1280×720 にして、下に出す白い字幕と、上に出す黄色の字幕の2つのスタイルを作りました。

text
[Script Info]
ScriptType: v4.00+
PlayResX: 1280
PlayResY: 720

[V4+ Styles]
Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding
Style: Default,Noto Sans CJK JP,48,&H00FFFFFF,&H00FFFFFF,&H00000000,&H80000000,0,0,0,0,100,100,0,0,1,3,0,2,40,40,40,1
Style: Top,Noto Sans CJK JP,40,&H0000FFFF,&H00FFFFFF,&H00000000,&H80000000,1,0,0,0,100,100,0,0,3,2,0,8,40,40,30,1

[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:01.00,0:00:03.00,Default,,0,0,0,,猫が窓の外を見ています
Dialogue: 0,0:00:01.00,0:00:07.50,Top,,0,0,0,,検証用の動画
bash
ffmpeg -i src.mp4 -vf ass=sub.ass -c:a copy burn_ass.mp4

2秒目のフレームでは、下の中央に白い「猫が窓の外を見ています」、上の中央に、黒い箱の中に黄色の太字で「検証用の動画」が出ました。ASS の色は、&H のあとに2桁ずつ、透明度・青・緑・赤の順で書きます。黄色(赤と緑が最大、青が0)の &H0000FFFF は、そのとおり黄色で描かれました。

ドキュメントでは、ass フィルターは subtitles と同じで、ASS のファイルだけに限ったものと説明されています。

Shift_JIS の SRT は charenc で文字コードを指定する

Shift_JIS(CP932)で保存された SRT をそのまま渡すと、次の2行の警告が、8秒の動画で4回出ました。

text
[srt] Invalid UTF-8 in decoded subtitles text; maybe missing -sub_charenc option
[Parsed_subtitles_0] Error decoding: Invalid data found when processing input (ignored)

終了コードは 0 で動画はできますが、日本語の字幕は描かれませんでした。2秒目と4秒目のフレームは、字幕を付けずにエンコードした動画と同じでした。描かれたのは、英字だけの3つ目の字幕「Hello, subtitles!」だけです。charenc で文字コードを指定すると、日本語の字幕も正しく表示されました。

bash
ffmpeg -i src.mp4 -vf "subtitles=sub_sjis.srt:charenc=CP932:force_style='FontName=Noto Sans CJK JP'" -c:a copy sjis.mp4

-ss で途中から切り出すと、字幕がずれる

動画の途中を切り出しながら焼き込むときは、-ss を置く場所で結果が変わりました。元の動画の3秒の位置から3秒間を切り出して、切り出した動画の1秒目(元の4秒目)を比べます。SRT では、元の4秒目は2つ目の字幕(3.5〜5.5秒)の時間です。

bash
# -ss を -i の前に置く
ffmpeg -ss 3 -i src.mp4 -t 3 -vf "subtitles=sub.srt:force_style='FontName=Noto Sans CJK JP'" -c:a copy before.mp4

# -ss を -i の後ろに置く
ffmpeg -i src.mp4 -ss 3 -t 3 -vf "subtitles=sub.srt:force_style='FontName=Noto Sans CJK JP'" -c:a copy after.mp4
上の段は「猫が窓の外を見ています」、下の段は「鳥が飛んできました」「しっぽが揺れています」の2行が出ている。どちらも元の動画の4秒目の映像
切り出した動画の1秒目。上が -ss を -i の前に置いた場合、下が後ろに置いた場合(字幕の部分を元の大きさで切り抜き)

-ss を -i の前に置くと、元の4秒目の映像に、1〜3秒の字幕の「猫が窓の外を見ています」が出ました。切り出した動画の時刻が0から数え直され、subtitles フィルターはその時刻で字幕を選ぶので、字幕が3秒早く出ます。-ss を -i の後ろに置くと、正しく2つ目の字幕が出ました。

-ss を -i の後ろに置いたときは、ffmpeg コマンドのドキュメントにあるとおり、FFmpeg は先頭からデコードして、指定した位置までを捨てます。切り出す位置が後ろにあるほど、捨てるためにデコードする部分が増えます。-ss を -i の前に置いたまま字幕を合わせたいときは、-copyts で元の時刻を残し、フィルターの最後に setpts で0から数え直します。音声も asetpts で数え直すので、音声はコピーせずにエンコードし直します。この書き方でも、1秒目に2つ目の字幕が出ました。-ss の位置による切り出し方の違いそのものは、別の記事「FFmpegで動画を切り出すときに-ssの位置で結果が変わる理由」で扱っています。

bash
ffmpeg -ss 3 -copyts -i src.mp4 -t 3 -vf "subtitles=sub.srt:force_style='FontName=Noto Sans CJK JP',setpts=PTS-STARTPTS" -af asetpts=PTS-STARTPTS -c:a aac copyts.mp4

焼き込まずに字幕のトラックとして入れる場合との違い

字幕を消したり切り替えたりできるようにしたいなら、焼き込まずに、字幕のストリームとして MP4 に入れる方法もあります。MP4 では、字幕の形式に mov_text を指定します。

bash
ffmpeg -i src.mp4 -i sub.srt -map 0 -map 1 -c:v copy -c:a copy -c:s mov_text -metadata:s:s:0 language=jpn soft.mp4

同じ動画で、焼き込んだ場合と比べました。処理時間は3回測ったうちの範囲です。

焼き込み 字幕のストリーム
ストリーム 映像・音声 映像・音声・字幕(mov_text)
ファイルサイズ 2,976,787 バイト 3,096,761 バイト
処理時間 2.10〜2.17 秒 0.06〜0.08 秒
映像のエンコードし直し あり なし(コピー)

字幕のストリームとして入れるときは、映像をコピーするだけなので、処理は一瞬で終わりました。ファイルサイズは元の動画(3,096,063 バイト)より 698 バイト増えただけです。焼き込みのほうがファイルが小さいのは、映像を libx264 の既定の設定でエンコードし直したためです。字幕を付けずに同じようにエンコードし直すと 2,937,084 バイトで、焼き込みはそれより 39,703 バイト大きくなりました。

​Posted by 86