Lighthouseの点数のぶれを5回測った中央値で抑える方法

​​Lighthouse​Core Web Vitals,Lighthouse CI,Node.js,パフォーマンス

Lighthouse のパフォーマンスの点数は、同じページを測り直しても、同じ数字になるとは限りません。サイトの表示速度を改善したときに、1回測っただけで「3点上がった」と判断すると、それがぶれなのか改善の効果なのか区別できません。5回測って中央値の回を選ぶと、1回ごとのぶれに左右されずに比べられます。以下では、点数がぶれる理由を公式ドキュメントで確かめ、検証環境で4つの条件を作って5回ずつ測った結果と、5回の中から真ん中の回を選ぶ方法を順に示します。

補足

検証環境は Ubuntu 24.04(CPU 4コア、メモリ 15GB)、Node.js 22、Lighthouse 13.6.0、Lighthouse CI(@lhci/cli)0.16.1 です。Chrome は Playwright に入っている Chrome for Testing 153 を、CHROME_PATH という環境変数で指定して使いました。測ったページは、検証環境で動かした小さなサーバー(localhost:8080)から配っています。スロットリング(遅い端末と回線をまねる設定)はデフォルトの simulated throttling のままで、モバイルの設定だけを測りました。インターネットに公開されているサイト、PageSpeed Insights、Chrome の DevTools の Lighthouse パネルでの結果は試していません。

点数がぶれる理由は、ページ・回線・マシンの3つに分かれる

Lighthouse のリポジトリにある点数のぶれについての文書は、ページのコードを変えていなくても、パフォーマンスの点数は変わると書いています。ぶれの原因として挙げられているのは、次のようなものです。

原因 中身 影響の大きさ
ページ自体の動きが毎回違う A/B テストや広告で、開くたびに読み込むものや表示が変わる 大
手元のネットワーク パケットの損失や回線の混雑 大
遠い地域とのネットワーク 国をまたぐ通信の遅れ 中
Web サーバー サーバーの負荷によって応答の速さが変わる 小
測るマシンの性能 測る端末の CPU などの違い 大
同じマシンの別の処理 ほかのアプリ、ウイルス対策ソフト、ブラウザの拡張機能、Lighthouse の同時実行が CPU やメモリを奪う 大
ブラウザ自体 ブラウザの処理の順番や時間が毎回少しずつ違う 中

同じ文書によると、Lighthouse がデフォルトで使う simulated throttling は、ネットワークのぶれを抑え、マシンの性能や別の処理による影響も一部抑えます。一方で、Web サーバーのぶれと、ページ自体の動きが毎回違うことによるぶれは、simulated throttling では抑えられないとされています。ページ自体の動きによるぶれは、ほかのどのスロットリングの方法でも抑えられません。

simulated throttling は、スロットリングの説明によると、まず速度を落とさずにページを読み込む方法です。その記録をもとに、遅い回線と遅い CPU(デフォルトでは4倍遅い CPU)で読み込んだ場合の時間を計算で求めます。

4つの条件で5回ずつ測ると、ぶれ方が違った

ぶれ方を見るために、メインスレッドを 30ms ずつふさぐ処理を4回動かすだけの小さなページ(index.html)を用意しました。

js
// app.js:読み込み時に、メインスレッドを 30ms ずつ 4 回ふさぐ
function busy(ms) { const end = performance.now() + ms; while (performance.now() < end) {} }
for (let i = 0; i < 4; i++) setTimeout(() => busy(30), i * 10);

これとは別に、ふさぐ回数を開くたびに1〜8回のどれかにランダムで決めるページ(random.html)も作りました。A/B テストや広告で、開くたびに動くスクリプトが変わるページをまねたものです。

js
// random.js:開くたびに、メインスレッドをふさぐ回数を 1〜8 回のどれかに決める
function busy(ms) { const end = performance.now() + ms; while (performance.now() < end) {} }
const times = 1 + Math.floor(Math.random() * 8);
for (let i = 0; i < times; i++) setTimeout(() => busy(30), i * 10);

測るときは、次の Node.js のスクリプト(run5.mjs)で、Lighthouse の CLI を1回ずつ順番に実行しました。各回の結果の JSON を run-1.json 〜 run-5.json として保存し、点数と主な指標(FCP、LCP、TBT、TTI、Speed Index)を表にして出します。

js
// 使い方: node run5.mjs <URL> <回数> <保存先フォルダ>
// Lighthouse を1回ずつ順番に実行し、結果の JSON を保存して、各回の点数と指標を表にする
import { spawnSync } from 'node:child_process';
import { mkdirSync, writeFileSync } from 'node:fs';
import { createRequire } from 'node:module';

const [url, n = '5', outDir = 'runs'] = process.argv.slice(2);
const lighthouseCli = createRequire(import.meta.url).resolve('lighthouse/cli');
mkdirSync(outDir, { recursive: true });

const ms = (lhr, id) => Math.round(lhr.audits[id].numericValue);
console.log('回  点数   FCP    LCP    TBT    TTI   SI');
for (let i = 1; i <= Number(n); i++) {
  const { status, stdout } = spawnSync('node', [
    lighthouseCli, url,
    '--only-categories=performance',
    '--output=json', '--output-path=stdout', '--quiet',
    '--chrome-flags=--headless=new --no-sandbox',
  ], { encoding: 'utf8', maxBuffer: 100 * 1024 * 1024 });
  if (status !== 0) { console.log(`${i}  失敗したので飛ばします`); continue; }
  const lhr = JSON.parse(stdout);
  writeFileSync(`${outDir}/run-${i}.json`, stdout);
  const score = Math.round(lhr.categories.performance.score * 100);
  console.log([i, score, ms(lhr, 'first-contentful-paint'), ms(lhr, 'largest-contentful-paint'),
    ms(lhr, 'total-blocking-time'), ms(lhr, 'interactive'), ms(lhr, 'speed-index')]
    .map((v) => String(v).padStart(5)).join(' '));
}

lighthouse は npm i lighthouse@13.6.0 @lhci/cli@0.16.1 で、後の節で使う Lighthouse CI と一緒に、スクリプトと同じフォルダに入れています。Chrome に渡している --no-sandbox は、Chrome のサンドボックス(ページの処理を閉じ込める仕組み)を切るオプションです。点数のぶれについての文書では、--headless と --no-sandbox は付けても問題ないとされていますが、サンドボックスを切ることのトレードオフも読んでおくよう勧めています。

まず index.html をそのまま5回測ると、点数は5回とも 94 でした。

console
$ node run5.mjs http://localhost:8080/ 5 runs/steady
回  点数   FCP    LCP    TBT    TTI   SI
    1    94   755   755   281  1236   755
    2    94   752   752   280  1232   752
    3    94   753   753   280  1233   753
    4    94   753   753   281  1234   753
    5    94   798   798   280  1428   798

次に、サーバーが HTML を返す前に0〜1000ms のどれかだけランダムに待つようにして、同じく5回測りました。Speed Index(SI)は 832〜1774ms と回ごとに違いましたが、点数は5回とも 94 のままでした。

console
$ node run5.mjs http://localhost:8080/ 5 runs/server-delay
回  点数   FCP    LCP    TBT    TTI   SI
    1    94   753   753   281  1234  1616
    2    94   752   752   280  1232   918
    3    94   798   798   279  1427   832
    4    94   803   803   281  1398  1635
    5    94   752   752   280  1232  1774

3つめは、CPU を使い切るループを8つのスレッドで動かし続けながら、index.html を測りました。4コアのマシンで、5回測り終えたときの load average は 6.13 でした。点数は 93〜95 に分かれました。

console
$ node run5.mjs http://localhost:8080/ 5 runs/contention
回  点数   FCP    LCP    TBT    TTI   SI
    1    94   836   836   288  1554   836
    2    95   825   825   258  1478   825
    3    94   825   825   280  1464   825
    4    94   753   753   280  1233   753
    5    93   829   829   333  1618   829

いちばん大きくぶれたのは、開くたびに処理が変わる random.html で、88〜99 と11点の幅が出ました。

console
$ node run5.mjs http://localhost:8080/random.html 5 runs/random
回  点数   FCP    LCP    TBT    TTI   SI
    1    92   814   814   351  1564   814
    2    94   753   753   283  1236   753
    3    88   754   754   492  1596   754
    4    99   752   752   140   992   752
    5    94   753   753   280  1233   753

4つの条件の結果を並べると、次のようになります。

4つの条件でそれぞれ5回測ったパフォーマンスの点数を、点で並べたグラフ。同じページそのままとサーバーの応答が0〜1秒遅れる条件は5回とも94点。裏でCPUを使い切る処理を動かした条件は93〜95点で中央値94。開くたびに処理が変わるページは88〜99点で中央値94
4つの条件で5回ずつ測った点数と中央値

random.html で点数が大きく動いたのは、TBT(Total Blocking Time。FCP から TTI までの間に、メインスレッドの処理が 50ms を超えて続いた分の時間の合計)が回ごとに変わったためです。保存した JSON で指標ごとの点数(0〜1)を jq で取り出すと(見出しの行は読みやすくするために足しています)、FCP、LCP、Speed Index、CLS は5回とも満点の 1 で、TBT の点だけが 0.59〜0.95 と動いていました。

console
点数	TBT(ms)	TBTの点	FCPの点	LCPの点	SIの点	CLSの点
92	351	0.73	1	1	1	1
94	283	0.8	1	1	1	1
88	492	0.59	1	1	1	1
99	140	0.95	1	1	1	1
94	280	0.81	1	1	1	1

同じ JSON の categories.performance.auditRefs を見ると、パフォーマンスの点数の重みは TBT が 30 で、5つの指標の中でいちばん大きくなっています(LCP と CLS が 25、FCP と Speed Index が 10)。重みの大きい指標が回ごとに変わると、点数も大きく動きます。

5回の中から「真ん中の回」を選ぶ

ぶれへの対策として、点数のぶれについての文書は、1回の結果ではなく、中央値などの複数回をまとめた値を使うことを勧めています。同じ文書には、5回の中央値は1回だけの結果より2倍安定する、とも書かれています。

中央値の取り方は2通りあります。1つは、点数そのものを並べて真ん中を取る方法です。もう1つは、Lighthouse に入っている computeMedianRun という関数で、5回のうち「真ん中の回」を1つ選ぶ方法です。computeMedianRun は、FCP の中央値と TTI(Time to Interactive)の中央値の両方にいちばん近い回を選びます。ソースのコメントには、FCP と TTI は読み込みのいちばん早い時点と遅い時点を表すので使う、と書かれています。点数のような1つの値の中央値は、読み込みの始めや終わりの外れた値の影響を受けることがあるため避けている、とも書かれています。

両方を出すスクリプト(median.mjs)は次のとおりです。computeMedianRun は、点数のぶれについての文書にある例と同じく、lighthouse/core/lib/median-run.js から読み込みます。

js
// 使い方: node median.mjs <run-*.json が入ったフォルダ>
// 点数の中央値と、Lighthouse の computeMedianRun が選んだ「真ん中の回」を出す
import { readdirSync, readFileSync } from 'node:fs';
import { computeMedianRun } from 'lighthouse/core/lib/median-run.js';

const dir = process.argv[2];
const files = readdirSync(dir).filter((f) => /^run-\d+\.json$/.test(f)).sort();
const runs = files.map((f) => JSON.parse(readFileSync(`${dir}/${f}`, 'utf8')));
const scores = runs.map((r) => Math.round(r.categories.performance.score * 100));

const sorted = [...scores].sort((a, b) => a - b);
const mid = sorted.length / 2;
const median = sorted.length % 2 ? sorted[Math.floor(mid)] : (sorted[mid - 1] + sorted[mid]) / 2;
console.log(`各回の点数: ${scores.join(', ')}`);
console.log(`並べ替え:   ${sorted.join(', ')}`);
console.log(`点数の中央値: ${median}(最小 ${sorted[0]}、最大 ${sorted.at(-1)})`);

const m = computeMedianRun(runs);
const i = runs.indexOf(m);
console.log(`computeMedianRun が選んだ回: ${files[i]}(点数 ${scores[i]}、FCP ${Math.round(m.audits['first-contentful-paint'].numericValue)}ms、TTI ${Math.round(m.audits.interactive.numericValue)}ms)`);

いちばんぶれた random.html の5回に使うと、88〜99 に散らばった点数の中央値は 94 で、computeMedianRun も点数 94 の回を選びました。

console
$ node median.mjs runs/random
各回の点数: 92, 94, 88, 99, 94
並べ替え:   88, 92, 94, 94, 99
点数の中央値: 94(最小 88、最大 99)
computeMedianRun が選んだ回: run-2.json(点数 94、FCP 753ms、TTI 1236ms)

1回だけ測っていれば、88 が出るか 99 が出るかで判断が変わっていました。run5.mjs で測った4つの条件では、点数の中央値はどれも 94 でした。

ただし、2つの方法がいつも同じ点数になるとは限りません。CPU を使い切る処理を動かしながら測った5回では、点数の中央値は 94 でしたが、computeMedianRun が選んだのは点数 95 の回でした。

console
$ node median.mjs runs/contention
各回の点数: 94, 95, 94, 94, 93
並べ替え:   93, 94, 94, 94, 95
点数の中央値: 94(最小 93、最大 95)
computeMedianRun が選んだ回: run-2.json(点数 95、FCP 825ms、TTI 1478ms)

computeMedianRun は点数ではなく FCP と TTI で回を選ぶので、選んだ回の点数が、点数の中央値と1点ずれることがあります。点数を記録に残すだけなら点数の中央値を、指摘の中身やレポートの画面まで含めて1回分を見たいなら computeMedianRun の選んだ回を使う、という分け方ができます。

ポイント

点数を比べるときは、1回ではなく5回測り、中央値(または computeMedianRun で選んだ回)どうしで比べます。直す前と後で、同じマシン・同じ設定で測ります。

Lighthouse CI なら、回数の指定と代表の回の選択をまとめて行える

Lighthouse CI を使うと、同じことをコマンドだけで行えます。Lighthouse CI の設定の説明によると、lhci collect の -n(--numberOfRuns)で実行回数を指定でき、デフォルトは3回です。lhci upload --target=filesystem で結果をフォルダに書き出すと、manifest.json に各回の点数と、代表の回(中央値の回)かどうかを示す isRepresentativeRun が入ります。

random.html を5回測りました。Chrome の起動オプションと測るカテゴリーは、--settings. を付けて Lighthouse に渡します。結果のファイル名の時刻を見ると、1回の実行は10秒ほどでした。

console
$ npx lhci collect --url=http://localhost:8080/random.html -n 5 --settings.chromeFlags="--headless=new --no-sandbox" --settings.onlyCategories=performance
Running Lighthouse 5 time(s) on http://localhost:8080/random.html
Run #1...done.
Run #2...done.
Run #3...done.
Run #4...done.
Run #5...done.
Done running Lighthouse!
$ npx lhci upload --target=filesystem --outputDir=./lhci-reports
Dumping 5 reports to disk at /path/to/work/lhci-reports...
Done writing reports to disk.

(出力の中のフォルダの場所は /path/to/work に置き換えています。)

manifest.json から、各回の点数、代表の回かどうか、JSON のファイル名を取り出すと、次のようになりました。点数は 0.9〜1 に分かれ、点数 1(100点)の回の1つが代表の回に選ばれています。

console
$ jq -r '.[] | "\(.summary.performance)\t\(.isRepresentativeRun)\t\(.jsonPath | split("/") | last)"' lhci-reports/manifest.json
0.96	false	localhost-random_html-2026_11_14_04_43_58.report.json
1	false	localhost-random_html-2026_11_14_04_44_09.report.json
1	false	localhost-random_html-2026_11_14_04_44_19.report.json
0.9	false	localhost-random_html-2026_11_14_04_44_40.report.json
1	true	localhost-random_html-2026_11_14_04_44_30.report.json

代表の回の JSON を開いて点数を出すスクリプトは、点数のぶれについての文書の例をもとに、次のように書きました。

js
// 使い方: node pick-lhci.mjs <manifest.json>  代表の回(isRepresentativeRun)の点数を出す
import { readFileSync } from 'node:fs';
const manifest = JSON.parse(readFileSync(process.argv[2], 'utf8'));
const entry = manifest.find((e) => e.isRepresentativeRun);
const lhr = JSON.parse(readFileSync(entry.jsonPath, 'utf8'));
console.log('代表の回の点数:', Math.round(lhr.categories.performance.score * 100));
console.log('FCP', Math.round(lhr.audits['first-contentful-paint'].numericValue), 'ms / TTI', Math.round(lhr.audits.interactive.numericValue), 'ms');
console
$ node pick-lhci.mjs lhci-reports/manifest.json
代表の回の点数: 100
FCP 796 ms / TTI 1066 ms

Lighthouse CI の5回は 90〜100点で、中央値は 100 でした。run5.mjs で測った5回の中央値 94 とは違います。random.html は開くたびに処理が変わるので、5回まとめて測り直しても、中央値が同じになるとは限りません。ページ自体の動きが毎回違うことによるぶれは、測る回数を増やすだけでは消えません。そのため点数のぶれについての文書は、ページの中のランダムな動き(ランダムに出るアニメーションなど)や外部のスクリプトの影響を、測るときにはできるだけ切り離すよう勧めています。

測るマシンの側で気をつけること

点数のぶれについての文書は、測るマシンについて、次のことも挙げています。

  • 専用の CPU コアを最低2つ(4つ推奨)、メモリを最低2GB(4〜8GB推奨)用意する
  • 同じマシンで Lighthouse を同時に何回も実行しない。CPU などの奪い合いで結果がゆがむ
  • Lambda のようなサーバーレスの環境や、CPU を他と共有するタイプのクラウドのインスタンスを避ける
  • テスト用のサーバーは、localhost か同じネットワークの中のマシンに置く

この記事の run5.mjs が Lighthouse を並べて動かさず、1回ずつ順番に実行しているのも、このためです。

​Posted by 86