Node.jsでEMFILEエラーが出たときの直し方

​​Node.js​graceful-fs,JavaScript,Linux,トラブルシュート

Node.js で、フォルダの中の大量のファイルを Promise.all でまとめて読み込むと、Error: EMFILE: too many open files で止まることがあります。原因は、1つのプロセスが同時に開けるファイルの数の上限を超えたことです。同時に開く数を一定に抑えるように書き換えると、上限が小さいままでもエラーは消えます。

私は、5000個の小さなファイルを一度に読み込むスクリプトでこのエラーを起こし、出たメッセージと、直し方ごとにエラーが消えることを確かめました。ビルドスクリプトやログの集計など、多くのファイルをまとめて読み書きする処理で出るエラーです。

補足

検証環境は Ubuntu 24.04 で、Node.js 24.22.1 と 22.23.4、graceful-fs 4.2.11 を使いました。Windows と macOS での動き、fs.watch などのファイル監視やネットワークの接続で出る EMFILE、systemd や Docker でハードの上限を設定する方法は試していません。

エラーの全文

検証用に、data/0001.txt から data/5000.txt まで、1行だけの小さなファイルを5000個作りました。これを読み込むのが、次の read-all.mjs です。ファイルの一覧を取り、全部の readFile を同時に始めて、Promise.all で待ちます。

js
// data/ のファイルを、全部同時に読み込む
import { readdir, readFile } from 'node:fs/promises';

const names = await readdir('data');
const texts = await Promise.all(names.map((name) => readFile(`data/${name}`, 'utf8')));
console.log('files:', texts.length);

検証環境の上限(20000)のままでは、エラーにならずに files: 5000 と出ました。そこで、シェルの ulimit -n 256 で上限を256に下げて実行すると、次のように出て止まりました(終了コードは1)。作業フォルダのパスは /path/to/app に置き換え、Node.js の実行ファイルの場所は省いて node と書いています(以下も同じ)。

text
$ ulimit -n 256; node read-all.mjs
node:internal/fs/promises:1345
  return new FileHandle(await PromisePrototypeThen(
                        ^

Error: EMFILE: too many open files, open 'data/0237.txt'
    at async open (node:internal/fs/promises:1345:25)
    at async readFile (node:internal/fs/promises:2003:14)
    at async Promise.all (index 236)
    at async file:///path/to/app/read-all.mjs:5:15 {
  errno: -24,
  code: 'EMFILE',
  syscall: 'open',
  path: 'data/0237.txt'
}

Node.js v24.22.1

syscall: 'open' は、ファイルを開くところで失敗したことを表します。path は、開けなかったファイルです。上限は256でも、全部をファイルの読み込みに使えるわけではありません。検証環境の Node.js は、起動した時点で、すでに21個のファイルディスクリプター(開いているファイルを指す番号)を使っていました(/proc/self/fd の数を数えた値)。

Node.js 22.23.4 でも、Error: EMFILE: too many open files, open 'data/0237.txt' の行と、その下の errno から path までは同じでした。違ったのは、Node.js の内部の行番号(promises:639 など)と、最後の行のバージョンです。

コールバックの fs.readFile で同じことをしても、[Error: EMFILE: too many open files, open 'data/0237.txt'] と、同じエラーになりました。

Node.js の公式ドキュメントにある、よくあるシステムエラーの一覧でも、EMFILE は「たくさんのファイルを並行して一度に開いたときに起こる」と説明されています。

上限は「ハード」のほうを見る

Linux では、開けるファイルの数の上限に、ソフトとハードの2つがあります。シェルでは ulimit -Sn でソフト、ulimit -Hn でハードの値が分かります。動いているプロセスの値は、/proc/<プロセス番号>/limits の Max open files の行で見られます。

検証すると、Node.js は起動するときに、ソフトの上限をハードの上限まで自分で上げていました。ソフトだけを256に下げたシェルで、Node.js の中から /proc/self/limits を読むと、次のように両方とも20000になっていました。1行目はシェルから起動した grep の値(シェルと同じ)で、2行目が Node.js の中の値です。limits.mjs は、その行を表示するだけのスクリプトです。Node.js 22 での表示と read-all.mjs の実行は、コマンドと出力から省いています。

text
$ ulimit -Sn 256; grep 'Max open files' /proc/self/limits; node limits.mjs
Max open files            256                  20000                files
Max open files            20000                20000                files

この状態では read-all.mjs もエラーにならず、files: 5000 と出ました。Node.js 22.23.4 でも、上限は両方とも20000になりました。Node.js のソースコード(src/node.cc)の起動の処理にも、「Raise the open file descriptor limit.」というコメントの下で、ソフトの上限をハードの上限まで上げるコードがあります。最初の例で ulimit -n 256 と -S を付けずに書いたのは、ソフトとハードの両方を256にするためです。

つまり、Linux の Node.js で EMFILE が出たときに効いているのは、ハードの上限です。ulimit -Sn の値が小さくても、それが原因とは限りません。

直し方1:同時に開く数を抑える

いちばん確実なのは、全部を同時に開かず、同時に開く数に上限を付けることです。次の read-limited.mjs は、32個の「読み手」を動かし、それぞれが1つ読み終えたら次のファイルを取りに行きます。同時に開いているのは、最大でも32個です。

js
// data/ のファイルを、同時に開くのを 32 個までにして読み込む
import { readdir, readFile } from 'node:fs/promises';

const names = await readdir('data');
const texts = new Array(names.length);
let next = 0;

// 32 個の「読み手」が、空いたら次のファイルを取りに行く
async function worker() {
  while (next < names.length) {
    const i = next++;
    texts[i] = await readFile(`data/${names[i]}`, 'utf8');
  }
}
await Promise.all(Array.from({ length: 32 }, worker));
console.log('files:', texts.length);

エラーが出たときと同じ ulimit -n 256 で実行すると、最後まで読み込めました。Node.js 22.23.4 でも同じでした。

text
$ ulimit -n 256; node read-limited.mjs
files: 5000

texts[i] に入れているので、結果の並びは names と同じ順になります。ファイルの数がこの先増えても、同時に開く数は変わりません。

直し方2:graceful-fs を使う(コールバックの場合)

コールバックの fs.readFile などを使っているコードなら、npm パッケージの graceful-fs に置き換える方法もあります。graceful-fs の README には、EMFILE が出たら open と readdir の呼び出しを待ち行列に入れ、何かが閉じられたらやり直すと書かれています。

js
// graceful-fs の readFile で、data/ のファイルを全部同時に読み込む
const fs = require('graceful-fs');

const names = fs.readdirSync('data');
let done = 0;
for (const name of names) {
  fs.readFile(`data/${name}`, 'utf8', (err) => {
    if (err) throw err;
    if (++done === names.length) console.log('files:', done);
  });
}

require('node:fs') で同じように書いたスクリプトは EMFILE で止まりましたが、require('graceful-fs') に変えただけで、ulimit -n 256 でも files: 5000 と出ました。

注意

graceful-fs の promises(gfs.promises.readFile)を使って Promise.all で全部同時に読み込むと、ulimit -n 256 では最初の例と同じ EMFILE: too many open files, open 'data/0237.txt' が出ました。fs/promises を使っているコードは、graceful-fs の promises に置き換えても直りませんでした。直し方1で、同時に開く数を抑えてください。

閉じ忘れでも同じエラーになる

同時に開いているつもりがなくても、開いたファイルを閉じ忘れていると、開いたままのファイルがたまっていき、同じエラーになります。次の leak-fd.mjs は1つずつ順番に開いていますが、closeSync を呼んでいません。

js
// 1つずつ順番に開くが、閉じ忘れている
import { readdirSync, openSync, readFileSync } from 'node:fs';

const names = readdirSync('data');
for (const name of names) {
  const fd = openSync(`data/${name}`, 'r');
  const text = readFileSync(fd, 'utf8');
  // closeSync(fd) を忘れている
}
console.log('files:', names.length);

ulimit -n 256 で実行すると、Error: EMFILE: too many open files, open 'data/0237.txt' が at openSync (node:fs:621:18) から出ました。並行して開いていないのに、止まったファイルは最初の例と同じです。

import に closeSync を足し、読み終えたら finally の中で必ず閉じるように直すと、同じ上限で最後まで動きました(Node.js 24.22.1、22.23.4 とも files: 5000)。

js
// 1つずつ順番に開き、読み終えたら必ず閉じる
import { readdirSync, openSync, readFileSync, closeSync } from 'node:fs';

const names = readdirSync('data');
for (const name of names) {
  const fd = openSync(`data/${name}`, 'r');
  try {
    const text = readFileSync(fd, 'utf8');
  } finally {
    closeSync(fd);
  }
}
console.log('files:', names.length);

直し方3:上限を大きくする

書き換える前にとりあえず動かしたいときは、ハードの上限をはじめから大きくしておく方法もあります。公式ドキュメントでは、上限が小さいときの対策として、Node.js を動かすシェルで ulimit -n 2048 を実行するよう案内しています。

ただし、ハードの上限は、シェルの中で自由に上げられるとは限りません。検証環境では、ulimit -n 256 にしたシェルで ulimit -n 8192 を実行すると、root で動かしていても cannot modify limit: Operation not permitted で失敗し、ハードの上限は256のままでした。一方、ハードの上限が20000のシェルで ulimit -n 8192 と設定してから実行すると、read-all.mjs は最後まで動きました。256では止まった処理も、8192あれば足りるということです。

text
$ ulimit -n 8192; ulimit -Hn; node read-all.mjs
8192
files: 5000

上限を上げても、読み込むファイルがさらに増えれば、いずれまた上限に達します。ファイルの数が決まっていない処理なら、直し方1のように同時に開く数を抑えるほうが確実です。

​Posted by 86