Playwrightで前回失敗したテストだけを再実行する方法

​​Playwright​E2Eテスト,TypeScript

Playwright のテストを npx playwright test --last-failed で動かすと、前回の実行で落ちたテストだけを再実行できます。E2E テストが何本か落ちたとき、直しては全部を動かし直す必要がなくなり、落ちたテストだけで「直ったか」を確かめられます。

このオプションは Playwright 1.44 で追加されました(1.44 のリリースノート)。落ちたテストの記録がどこに残り、どの実行で書き換わるのかも、検証環境で確かめました。

補足

検証環境は Ubuntu 24.04、Node.js 22.23.4、@playwright/test 1.63.0 です。テストは TypeScript で書き、ブラウザは Chromium(ヘッドレス)だけ、worker は1つで動かしました。GitHub Actions などの CI サービス上での実行、--shard による分割、UI モード、複数のプロジェクト(ブラウザ)を並べた設定は試していません。

2つのテストが落ちる状態を用意する

検証用に、カートの画面とログインの画面を、HTML ファイルとして用意しました。どちらにも、わざとバグを1つずつ入れています。カートは合計金額が 450円ではなく 400円と表示され、ログインは空のままボタンを押してもエラーの文言が出ません。

テストは2つのファイルに、合わせて5つ書きました。tests/cart.spec.ts は次のとおりです。

ts
import { test, expect } from '@playwright/test';
import { readFileSync } from 'node:fs';

test.beforeEach(async ({ page }) => {
  await page.setContent(readFileSync('site/cart.html', 'utf8'));
});

test('商品が2つ並ぶ', async ({ page }) => {
  await expect(page.getByRole('listitem')).toHaveCount(2);
});

test('合計金額が450円になる', async ({ page }) => {
  await expect(page.locator('#total')).toHaveText('合計 450円', { timeout: 1000 });
});

test('購入ボタンがある', async ({ page }) => {
  await expect(page.getByRole('button', { name: '購入する' })).toBeVisible();
});

tests/login.spec.ts には、入力欄があるかを見るテストと、空のまま「ログイン」を押すと「メールアドレスを入力してください」と出るかを見るテストを書きました。設定ファイルは次のとおりです。

ts
// playwright.config.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  testDir: './tests',
  workers: 1,
  projects: [{ name: 'chromium', use: { browserName: 'chromium' } }],
});

まず、全部のテストを動かしました。この記事の出力は、各テストの行、集計、失敗したテストの見出しだけを残し、エラーの詳しい内容は省いています。

bash
npx playwright test --reporter=list
text
  ✓  1 [chromium] › tests/cart.spec.ts:8:1 › 商品が2つ並ぶ (129ms)
  ✘  2 [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる (1.1s)
  ✓  3 [chromium] › tests/cart.spec.ts:16:1 › 購入ボタンがある (141ms)
  ✓  4 [chromium] › tests/login.spec.ts:8:1 › メールアドレスの入力欄がある (82ms)
  ✘  5 [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る (1.1s)
  2 failed
    [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる ────────────────────────────────────────────
    [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る ──────────────────────────────────────────
  3 passed (3.8s)

落ちたテストは test-results/.last-run.json に残る

実行が終わると、test-results フォルダに .last-run.json というファイルができていました。名前が . で始まるので、ls -A で表示しています。

text
$ ls -A test-results
.last-run.json
cart-合計金額が450円になる-chromium
login-空のまま押すとエラーが出る-chromium

中身は、実行の結果と、落ちたテストの ID の一覧です。

json
{
  "status": "failed",
  "failedTests": [
    "1981448f0b79506fb670-eedaec467fb28aff7eca",
    "41d3fd2474a19feb00a1-d1c4794834b5cfa297a4"
  ]
}

--last-failed は、このファイルの failedTests にあるテストだけを動かします。公式ドキュメントのコマンドラインの説明にあるとおり、ファイルの場所の初期値は <outputDir>/.last-run.json で、outputDir を設定していなければ test-results です。

動かす前に、どのテストが対象になるかを --list で確かめられます。--list を付けたときは、テストは動かず、.last-run.json も書き換わりませんでした。

bash
npx playwright test --last-failed --list
text
Listing tests:
  [chromium] › cart.spec.ts:12:1 › 合計金額が450円になる
  [chromium] › login.spec.ts:12:1 › 空のまま押すとエラーが出る
Total: 2 tests in 2 files

直しながら –last-failed で再実行する

何も直さずに --last-failed で動かすと、落ちた2つのテストだけが動き、2つとも落ちました。記録の中身は変わりませんでした。

次に、カートの合計金額を 450円に直してから、もう一度 --last-failed で動かしました。

bash
npx playwright test --last-failed --reporter=list
text
  ✓  1 [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる (120ms)
  ✘  2 [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る (1.1s)
  1 failed
    [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る ──────────────────────────────────────────
  1 passed (1.9s)

この実行のあと、.last-run.json の failedTests は、ログインのテストの ID 1つだけになりました。続けてログインのエラー表示を直して --last-failed で動かすと、ログインのテストだけが動いて通り、記録は "status": "passed"、"failedTests": [] になりました。

text
  ✓  1 [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る (182ms)
  1 passed (798ms)

--last-failed で動かすたびに、動かしたテストの結果で記録が書き換わります。そのため、--last-failed をくり返すと、動くテストが直したテストのぶんだけ減っていきます。

3段の図。1段目「全部を動かす」では5つのテストのうち「合計金額」と「エラー表示」がピンクの「落ちた」で、記録される失敗は2件。2段目「カートを直して --last-failed」では「合計金額」が通り、「エラー表示」が落ち、ほかの3つは点線の「動かない」で、記録される失敗は1件。3段目「続けてログインを直して --last-failed」では「エラー表示」だけが動いて通り、記録される失敗は0件
–last-failed をくり返したときに動くテストと、記録される失敗の数

失敗がなくなると「No tests found」で終了コードが1になる

記録の failedTests が空のまま --last-failed を付けて動かすと、動かすテストがなくなり、エラーになりました。

bash
npx playwright test --last-failed --reporter=list
text
Error: No tests found

このときの終了コードは1でした。テストが落ちたときと同じ終了コードなので、終了コードで成否を判断するスクリプトからは、失敗に見えます。--pass-with-no-tests を一緒に付けると、テストを1つも動かさず、終了コード0で終わりました。

bash
npx playwright test --last-failed --pass-with-no-tests --reporter=list

逆に、.last-run.json がないとき(test-results を消したあとなど)に --last-failed を付けると、絞り込みがかからず、5つのテストが全部動きました。

記録は、最後の実行で上書きされる

.last-run.json は、--last-failed を付けていない実行でも毎回書き換わります。

全部のテストを動かして2つが落ちたあと、tests/cart.spec.ts だけを動かしました。

bash
npx playwright test tests/cart.spec.ts --reporter=list
text
  ✓  1 [chromium] › tests/cart.spec.ts:8:1 › 商品が2つ並ぶ (129ms)
  ✘  2 [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる (1.1s)
  ✓  3 [chromium] › tests/cart.spec.ts:16:1 › 購入ボタンがある (128ms)
  1 failed
    [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる ────────────────────────────────────────────
  2 passed (2.7s)

このあとの .last-run.json には、カートのテストの ID 1つだけが入っていました。続けて --last-failed で動かすと、動いたのはカートのテストだけで、ログインの失敗は対象から外れていました。

注意

まだ直していない失敗を見落とさないよう、全部のテストを動かしたあとは、--last-failed の前にほかの実行をはさまないようにします。

最初の失敗で止めたときは、動かなかったテストも対象になる

-x(最初の失敗で止める)を付けて動かすと、カートの合計金額のテストが落ちたところで止まり、残りの3つは動きませんでした。

text
  ✓  1 [chromium] › tests/cart.spec.ts:8:1 › 商品が2つ並ぶ (125ms)
  ✘  2 [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる (1.1s)
  1 failed
    [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる ────────────────────────────────────────────
  3 did not run
  1 passed (1.8s)

このときの .last-run.json の failedTests には、落ちた1つと、動かなかった3つの、合わせて4つの ID が入っていました。続けて --last-failed で動かすと、通った「商品が2つ並ぶ」以外の4つが動きました。動かなかったテストも次の --last-failed で動くので、まだ確かめていないテストが漏れません。

text
  ✘  1 [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる (1.1s)
  ✓  2 [chromium] › tests/cart.spec.ts:16:1 › 購入ボタンがある (137ms)
  ✓  3 [chromium] › tests/login.spec.ts:8:1 › メールアドレスの入力欄がある (95ms)
  ✘  4 [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る (1.1s)
  2 failed
    [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる ────────────────────────────────────────────
    [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る ──────────────────────────────────────────
  2 passed (3.7s)

リトライで通った flaky なテストは対象にならない

retries: 1 を設定し、「いつも通る」「1回目だけ落ちる」「いつも落ちる」の3つのテストを動かしました。2つ目は testInfo.retry が0のときだけ落ちるように書いたテストで、リトライで通るので flaky になります。

text
  ✓  1 tests-flaky/flaky.spec.ts:3:1 › いつも通る (6ms)
  ✘  2 tests-flaky/flaky.spec.ts:7:1 › 1回目だけ落ちる (4ms)
  ✓  3 tests-flaky/flaky.spec.ts:7:1 › 1回目だけ落ちる (retry #1) (7ms)
  ✘  4 tests-flaky/flaky.spec.ts:11:1 › いつも落ちる (5ms)
  ✘  5 tests-flaky/flaky.spec.ts:11:1 › いつも落ちる (retry #1) (7ms)
  1 failed
  1 flaky
  1 passed (1.6s)

.last-run.json に入った ID は1つだけで、続けて --last-failed で動かすと、「いつも落ちる」だけが動きました。flaky なテストは、--last-failed では見つけられません。リトライを設定したときの集計に「flaky」として出るので、そちらで確かめます。

記録の置き場所を –last-failed-file で変える

.last-run.json は test-results の中にできるので、このフォルダを消すと記録もなくなります。--last-failed-file を使うと、記録を書く場所と読む場所を指定できます。環境変数 PLAYWRIGHT_LAST_RUN_OUTPUT_FILE でも同じ指定ができます。

全部のテストを --last-failed-file=ci/last-run.json を付けて動かすと、ci/last-run.json に2つの ID が書かれ、test-results には .last-run.json ができませんでした。

bash
npx playwright test --last-failed-file=ci/last-run.json --reporter=list
text
$ ls -A test-results ci
ci:
last-run.json

test-results:
cart-合計金額が450円になる-chromium
login-空のまま押すとエラーが出る-chromium

そのあと test-results を消してから、同じファイルを指定して --last-failed で動かすと、落ちた2つのテストだけが動きました。

bash
npx playwright test --last-failed --last-failed-file=ci/last-run.json --reporter=list
text
  ✘  1 [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる (1.1s)
  ✘  2 [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る (1.1s)
  2 failed
    [chromium] › tests/cart.spec.ts:12:1 › 合計金額が450円になる ────────────────────────────────────────────
    [chromium] › tests/login.spec.ts:12:1 › 空のまま押すとエラーが出る ──────────────────────────────────────────

--last-failed-file の代わりに PLAYWRIGHT_LAST_RUN_OUTPUT_FILE=ci/last-run.json を付けて動かしたときも、同じ2つが動きました。test-results を片づける手順があるプロジェクトでも、記録を別の場所に置いておけば、あとから落ちたテストだけを動かせます。

​Posted by 86