FFmpegのsilencedetectで、動画の無音の部分を見つける方法

​​FFmpeg​コマンドライン,動画,音声

FFmpeg の silencedetect フィルターを使うと、動画の中で音が途切れている区間を、開始と終了の秒数で一覧にできます。人が話している動画(解説やトークの動画)の無音カット(間を詰める編集)の前に、どこに何秒の間があるかを調べたい場面で使う方法です。

私は検証環境で、無音の区間を4か所入れた30秒の動画を作り、silencedetect で探しました。初期値のままでは2か所しか見つからず、残りの2か所は、短すぎる間と、小さな雑音が残っている部分でした。noise=-50dB:d=0.5 にすると、4か所とも見つかりました。

補足

検証環境は Ubuntu 24.04.5、FFmpeg 6.1.1(Ubuntu のパッケージ 6.1.1-3ubuntu5)、CPU 4コアの仮想マシンです。音声は、FFmpeg で作ったピンクノイズを 300〜3000Hz に絞り、大きさを揺らした作り物です(48kHz ステレオ、AAC 192kbps)。人の声や音楽を録音した音声、AAC 以外の音声コーデック、無音の区間を実際に切り取る編集は試していません。

検証に使った動画

30秒の動画の音声を、次のように作りました。「無音」の区間は、音の振幅を 0 にしています。

区間 中身
0〜5秒 音あり
5〜8秒 無音(3秒)
8〜14秒 音あり
14〜14.8秒 無音(0.8秒の短い間)
14.8〜20秒 音あり
20〜24秒 小さな雑音(音ありの約100分の1)
24〜27秒 音あり
27〜30秒 無音(最後まで)

astats フィルターで測った最大の振幅(Peak level)は、音ありの4つの区間がどれも約 -17.5〜-17.9dB、小さな雑音の区間が -58.2dB でした。小さな雑音の区間は、話していないあいだも小さな音が入っている録音を想定して作りました。

まずは初期値のまま実行する

silencedetect は、音声は変えずに、結果をログに表示するフィルターです。ファイルを作る必要はないので、出力を -f null - で捨てます。

bash
ffmpeg -hide_banner -nostats -i talk.mp4 -af silencedetect -f null - 2>&1 | grep silencedetect

結果はログ(標準エラー出力)に出るので、2>&1 で標準出力にまとめてから grep で絞り込んでいます。表示は次のとおりです。

text
[silencedetect @ 0x…] silence_start: 5.0134
[silencedetect @ 0x…] silence_end: 7.99971 | silence_duration: 2.98631
[silencedetect @ 0x…] silence_start: 27.0081
[silencedetect @ 0x…] silence_end: 30.016 | silence_duration: 3.00787

0x… の部分は、実行するたびに値が変わるので省いています。

silence_start が無音の始まり、silence_end が終わり、silence_duration が長さで、単位はどれも秒です。見つかったのは 5〜8秒と 27〜30秒の2か所だけで、0.8秒の短い間と、小さな雑音の区間は出てきませんでした。

silencedetect の結果は info レベルのログなので、-loglevel error を付けると表示されなくなります。検証でも、-loglevel error では silencedetect の行が0行、-loglevel info では8行でした。

noise と d の2つで、何を無音とするかを決める

FFmpeg のフィルターのドキュメントには、オプションが3つ書かれています。

オプション 意味 初期値
noise(n) これより小さい音を無音とみなす大きさ。-50dB のように dB で書くか、振幅の比で書く -60dB(0.001)
duration(d) 無音がこの秒数以上続いたら知らせる 2
mono(m) チャンネルごとに別々に調べる 無効

0.8秒の間が見つからなかったのは、d の初期値が2秒だからです。小さな雑音の区間は、最大の振幅 -58.2dB が noise の初期値 -60dB を超えていました。FFmpeg 6.1.1 の silencedetect のソースコードを見ると、サンプル1つずつについて、絶対値が noise より小さいかを調べています。区間の中に1つでも noise を超えるサンプルがあると、そこで無音が途切れます。

そこで noise=-50dB:d=0.5 にしました。

bash
ffmpeg -hide_banner -nostats -i talk.mp4 -af silencedetect=noise=-50dB:d=0.5 -f null - 2>&1 | grep silencedetect

4か所とも見つかりました([silencedetect @ …] の部分は省いています)。

text
silence_start: 5.01333
silence_end: 7.99994 | silence_duration: 2.9866
silence_start: 14.016
silence_end: 14.8053 | silence_duration: 0.789333
silence_start: 20.0107
silence_end: 24 | silence_duration: 3.98933
silence_start: 27.008
silence_end: 30.016 | silence_duration: 3.008
30秒の動画の、0.05秒ごとの最大の振幅のグラフ。音ありの区間は約-20dBで、5〜8秒、14〜14.8秒、27〜30秒は振幅が0。20〜24秒は-60dBの線のあたりを上下し、ところどころ線を少し上に超えている。-50dBの線より下になっている4つの区間に、2.99秒、0.79秒、3.99秒、3.01秒の帯が重なっている
0.05秒ごとの最大の振幅と、noise=-50dB:d=0.5 で見つかった無音の区間。20〜24秒の雑音は、初期値の -60dB の線を少し超えている

秒数が 5秒ちょうどではなく 5.01333秒なのは、作った音の切り替わりが、1024サンプル(約0.021秒)ごとの区切りに合わせて起きているためです。区切りの位置を計算すると 5.01333秒、14.016秒、20.0107秒、27.008秒で、見つかった開始の時刻と同じでした。

noise は振幅の比でも書けます。-50dB は 0.00316 にあたり、noise=0.00316:d=0.5 でも同じ結果になりました。

noise を大きくしすぎると、音のある部分まで無音になる

d=0.5 にしたまま、noise を変えて比べました。

noise 見つかった区間
-60dB(初期値) 3か所。0.8秒の間は見つかるが、雑音の区間は見つからない
-50dB、-40dB、-30dB 4か所。開始と終了の差は 0.002秒以内
-25dB 4か所。雑音の区間が 19.99〜24.01 と、少し広くなる
-20dB 5か所。音がある 3.54〜4.18秒も無音になり、ほかの区間の端も最大 0.2秒ずれる

この動画では、-50dB から -30dB のあいだなら、どれでも同じ区間になりました。音ありの4つの区間を0.05秒ごとに区切って最大の振幅を見ると、-24.3dB から -17.5dB のあいだを上下しています。noise をそこに近づけると、音が小さくなったところまで無音として拾いました。

noise を決めるときは、先に astats で、話していない部分と話している部分の大きさを測っておくと、あいだの値を選べます。

bash
ffmpeg -hide_banner -nostats -ss 20.1 -to 23.9 -i talk.mp4 -vn -af astats=measure_perchannel=none:measure_overall=Peak_level+RMS_level -f null -

最後まで無音のときの終わりの時刻

27秒から最後まで続く無音は、silence_end: 30.016 と表示されました。ffprobe で見た音声の長さは 30.000000秒です。ソースコードでは、入力が終わった時点で無音が続いていると、最後に読んだ音声のフレームの終わりの時刻を silence_end として表示しています。動画の長さより少し後ろの時刻になることがあるので、切り取りに使うときは動画の長さで打ち切ります。

左右の片方だけが無音のときは mono=true

左のチャンネルだけが 10〜15秒で無音になり、右はずっと音がある動画でも試しました。

bash
ffmpeg -hide_banner -nostats -i left-silent.mp4 -af silencedetect=noise=-50dB:d=0.5:mono=true -f null - 2>&1 | grep silencedetect

mono=false(初期値)では何も表示されませんでした。初期値では、すべてのチャンネルのサンプルをまとめて調べるので、右に音があると無音になりません。mono=true にすると、チャンネルの番号付きで表示されました。

text
[silencedetect @ 0x…] channel: 0 | silence_start: 10.0053
[silencedetect @ 0x…] channel: 0 | silence_end: 15.0187 | silence_duration: 5.01333

channel: 0 は左のチャンネルです。

無音の区間を表にする

ログをそのまま読むのは手間なので、開始・終了・長さをタブ区切りの表にする Bash スクリプトにしました。映像は使わないので、-vn で映像を読まないようにしています。

bash
#!/bin/bash
# 使い方: bash list.sh 動画ファイル
# 無音の区間を「開始 終了 長さ」(秒、タブ区切り)で1行ずつ出す
ffmpeg -hide_banner -nostats -i "$1" -vn -af silencedetect=noise=-50dB:d=0.5 -f null - 2>&1 \
  | awk '/silence_start/ {s=$NF} /silence_end/ {printf "%s\t%s\t%s\n", s, $5, $8}'
text
5.01333	7.99994	2.9866
14.016	14.8053	0.789333
20.0107	24	3.98933
27.008	30.016	3.008

無音カットで残すのは、無音の区間のすき間(音がある区間)です。上のスクリプトの結果から、すき間を出すスクリプトも作りました。最後の無音の終わりが動画の長さを超えるときは、そのあとに音がある区間を足さずに終えています。

bash
#!/bin/bash
# 使い方: bash sound.sh 動画ファイル
# 無音の区間の「すき間」を、音がある区間として「開始 終了」(秒)で出す
len=$(ffprobe -v error -show_entries format=duration -of csv=p=0 "$1")
bash "$(dirname "$0")/list.sh" "$1" | awk -v len="$len" -v prev=0 -F'\t' '
  { if ($1 > prev) printf "%s\t%s\n", prev, $1; prev = $2 }
  END { if (prev < len) printf "%s\t%s\n", prev, len }'
text
0	5.01333
7.99994	14.016
14.8053	20.0107
24	27.008

-vn を付けると、10分の1ほどの時間で終わる

-vn がないと、使わない映像まで読み込んでデコードします。1920×1080 にした30秒の動画で3回ずつ測ると、-vn なしは 1.48〜1.72秒、-vn ありは3回とも 0.14秒でした。見つかった区間は、どちらも同じです。

ametadata でファイルに書く方法と、その注意点

silencedetect は、結果をフレームのメタデータ(lavfi.silence_start など)にも付けます。後ろに ametadata を付けると、それをファイルに書き出せます。

bash
ffmpeg -hide_banner -nostats -loglevel error -y -i talk.mp4 -vn -af silencedetect=noise=-50dB:d=0.5,ametadata=mode=print:file=silence.txt -f null -

書き出されたファイルの最後は、次のようになりました。

text
frame:1125 pts:1152000 pts_time:24
lavfi.silence_end=24
lavfi.silence_duration=3.98933
frame:1289 pts:1319936 pts_time:27.4987
lavfi.silence_start=27.008

最後まで続く無音は、silence_start だけで、silence_end がありません。ソースコードでは、入力が終わったあとの silence_end は、ログに表示するだけでメタデータには付けていません。最後まで無音の動画も扱うなら、ログを読む方法のほうが手軽です。

また、silence_start が付くのは、無音が d の秒数に届いた時点を含むフレームです。この例では、27.008秒からの無音に、27.4987秒から始まるフレームで付いています。mono=true のときのキーは lavfi.silence_start.1 のように、1から始まる番号が付きました(ログの channel: 0 と番号がずれます)。

​Posted by 86