AWS EmulatorでS3のマルチパートアップロードを試す方法
AWS Emulator を手元で動かすと、S3 のマルチパートアップロード(大きなファイルをいくつかのパートに分けて送り、最後に1つのオブジェクトにまとめる仕組み)を、AWS のアカウントなしで一通り試せます。動画やバックアップのような大きなファイルを分割アップロードする処理を、本物の S3 に送らずにテストしたいときの手順です。aws s3api で1段ずつ進める方法と、aws s3 cp が自動で分けるときの動き、つまずきやすいエラー、エミュレーターに特有の大きさの上限を、検証環境で実行したコマンドと出力のまま載せます。
検証環境は Ubuntu 24.04(x86_64)、AWS Emulator 1.0.385(2026年11月14日リリース)、AWS CLI 2.40.3 です。AWS のアカウントと認証情報は使っていません。本物の S3 での動き(料金、転送の速さ、ライフサイクルルールで実際にアップロードが消されるところ、中止したアップロードをもう一度中止したときの結果など)は確かめていません。本物の S3 について書いているところは、公式ドキュメントを出どころにしています。
エミュレーターを起動して、AWS CLI を向ける
AWS Emulator は、AWS の API を手元で受け付けるエミュレーターです。入れ方は別の記事「AWS EmulatorをUbuntuに入れて使い始める方法」で詳しく扱っています。ここでは、Linux 向けの手順にある Debian パッケージを、gpg で署名を確かめてから入れ、-t off(テレメトリーを切る指定)を付けて起動しました。
aws-emulator -t off
別の端末で、公式ドキュメントにある環境変数を設定します。
export AWS_ENDPOINT_URL=https://127.0.0.1:9297
export AWS_SHARED_CREDENTIALS_FILE=~/.aws/emulator/9297/emulator_credentials
export AWS_CONFIG_FILE=~/.aws/emulator/9297/config
export AWS_CA_BUNDLE=~/.aws/emulator/9297/ca.pem
export AWS_EC2_METADATA_DISABLED=true
export AWS_DISABLE_HOST_PREFIX_INJECTION=true
export AWS_REGION=us-east-1
export AWS_DEFAULT_REGION=us-east-1
unset AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY AWS_SESSION_TOKEN AWS_PROFILE
公式ドキュメントでは、AWS_ENDPOINT_URL が設定されていないシェルでコマンドを実行すると、見つかった認証情報を使って本物の AWS に送られると注意しています。本物の認証情報があるマシンでは、上の環境変数がすべて設定されたシェルで実行してください。
バケットを作り、12MiB(12,582,912バイト)のファイルを split で 5MiB ずつに分けておきます。最後の part-02 だけが 2MiB になります。
$ aws s3 mb s3://example-bucket
make_bucket: example-bucket
$ head -c 12582912 /dev/urandom > big.bin && split -b 5242880 -d big.bin part- && ls -l big.bin part-*
-rw-r--r-- 1 user user 12582912 Nov 15 02:13 big.bin
-rw-r--r-- 1 user user 5242880 Nov 15 02:13 part-00
-rw-r--r-- 1 user user 5242880 Nov 15 02:13 part-01
-rw-r--r-- 1 user user 2097152 Nov 15 02:13 part-02
ls -l の持ち主の列は user に置き換えています。
マルチパートアップロードは3段階で進む
マルチパートアップロードの説明によると、手順は「始める」「パートを送る」「完了させる」の3段階です。始めるときに返るアップロード ID を、そのあとの操作に毎回渡します。パートを送るたびに返る ETag は、パートの番号と組にして控えておき、完了させるときに一覧で渡します。

S3 のマルチパートアップロードの上限のページでは、パートの大きさは 5MiB〜5GiB で、最後のパートだけは下限がありません。パートの番号は 1〜10,000 です。同じページで、オブジェクトが 100MB ほどになったら、1回で送る代わりにマルチパートアップロードを考えるよう勧めています。
始める:create-multipart-upload
aws s3api create-multipart-upload で始めます。Content-Type やメタデータを付けたいときは、ここで指定します。応答の UploadId が、このアップロードの ID です。
$ aws s3api create-multipart-upload --bucket example-bucket --key big.bin --content-type application/octet-stream --metadata purpose=demo
{
"ServerSideEncryption": "AES256",
"Bucket": "example-bucket",
"Key": "big.bin",
"UploadId": "L5aAX8JrqYJ70UE1apUcaiKKLJpHz9-aDkoKMarB3qU"
}
$ UPLOAD_ID=L5aAX8JrqYJ70UE1apUcaiKKLJpHz9-aDkoKMarB3qU
最後の行では、返った値を変数に入れています。
始めたアップロードは、aws s3api list-multipart-uploads に出ます。この時点では、まだオブジェクトはできていないので、aws s3 ls には何も出ません(Owner の ID とアカウントIDは置き換えています)。
$ aws s3api list-multipart-uploads --bucket example-bucket
{
"Uploads": [
{
"UploadId": "L5aAX8JrqYJ70UE1apUcaiKKLJpHz9-aDkoKMarB3qU",
"Key": "big.bin",
"Initiated": "2026-11-15T02:13:39+00:00",
"StorageClass": "STANDARD",
"Owner": {
"ID": "<オーナーID>"
},
"Initiator": {
"ID": "arn:aws:iam::<アカウントID>:user/emulator",
"DisplayName": "emulator"
}
}
],
"RequestCharged": null,
"Prefix": null
}
$ aws s3 ls s3://example-bucket/
パートを送る:upload-part
パートは aws s3api upload-part で、--part-number に番号を、--body にファイルを指定して送ります。公式ドキュメントのとおり、送る順番は自由です。ここでは、3番を先に送り、1番にはわざと2番目のファイル(part-01)を送りました。
$ aws s3api upload-part --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --part-number 3 --body part-02
{
"ServerSideEncryption": "AES256",
"ETag": "\"b14c72ffcf40df0a287bd0dc170a6aff\"",
"ChecksumCRC64NVME": "Ja5CbIGSMiI="
}
$ aws s3api upload-part --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --part-number 1 --body part-01
{
"ServerSideEncryption": "AES256",
"ETag": "\"2c9e09e3a995c56e870db8e4a5c8d849\"",
"ChecksumCRC64NVME": "3o/N7XWGolI="
}
間違えたパートは、同じ番号でもう一度送れば置き換わります。マルチパートアップロードの説明のページにも、同じ番号で送ると前のパートは上書きされると書かれています。1番を正しいファイルで送り直し、2番も送ってから、aws s3api list-parts で受け取られたパートを見ました。
$ aws s3api upload-part --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --part-number 1 --body part-00
{
"ServerSideEncryption": "AES256",
"ETag": "\"24e71e3a91d42729991e2099c7395617\"",
"ChecksumCRC64NVME": "H3oxJAuVADA="
}
$ aws s3api upload-part --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --part-number 2 --body part-01
(応答は省略。ETag は "2c9e09e3a995c56e870db8e4a5c8d849")
$ aws s3api list-parts --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --query "Parts[].{PartNumber: PartNumber, Size: Size, ETag: ETag}"
[
{
"PartNumber": 1,
"Size": 5242880,
"ETag": "\"24e71e3a91d42729991e2099c7395617\""
},
{
"PartNumber": 2,
"Size": 5242880,
"ETag": "\"2c9e09e3a995c56e870db8e4a5c8d849\""
},
{
"PartNumber": 3,
"Size": 2097152,
"ETag": "\"b14c72ffcf40df0a287bd0dc170a6aff\""
}
]
$ md5sum part-*
24e71e3a91d42729991e2099c7395617 part-00
2c9e09e3a995c56e870db8e4a5c8d849 part-01
b14c72ffcf40df0a287bd0dc170a6aff part-02
1番は送り直したほうの ETag だけが残り、3つのパートが番号の順に並びました。どのパートも、ETag は送ったファイルの MD5 と同じ値でした。
最後の --query は、見やすくするために番号と大きさ、ETag だけに絞っています。マルチパートアップロードの説明のページでは、この一覧は確かめるためだけに使い、完了させるときに渡す一覧は、送ったときに自分で控えた番号と ETag から作るよう求めています。
番号に 10001 を指定すると、エミュレーターは InvalidArgument で断りました。
$ aws s3api upload-part --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --part-number 10001 --body part-02
aws: [ERROR]: An error occurred (InvalidArgument) when calling the UploadPart operation: Part number must be an integer between 1 and 10000, inclusive
完了させる:complete-multipart-upload
aws s3api complete-multipart-upload の --multipart-upload に、番号と ETag の一覧を JSON で渡します。私は、控えた ETag が各ファイルの MD5 と同じだったので、md5sum の値から次の parts.json を作りました。ETag の値には、前後の " も含めます。
{
"Parts": [
{
"PartNumber": 1,
"ETag": "\"24e71e3a91d42729991e2099c7395617\""
},
{
"PartNumber": 2,
"ETag": "\"2c9e09e3a995c56e870db8e4a5c8d849\""
},
{
"PartNumber": 3,
"ETag": "\"b14c72ffcf40df0a287bd0dc170a6aff\""
}
]
}
$ aws s3api complete-multipart-upload --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --multipart-upload file://parts.json
{
"ServerSideEncryption": "AES256",
"Location": "https://127.0.0.1:9297/example-bucket/big.bin",
"Bucket": "example-bucket",
"Key": "big.bin",
"ETag": "\"a8dac85f3f2a079da5dcb64b5e7bb2ad-3\"",
"ChecksumCRC64NVME": "9Nfxa1CG5CY=",
"ChecksumType": "FULL_OBJECT"
}
完了すると、list-multipart-uploads からは消え、同じアップロード ID で list-parts を実行すると NoSuchUpload になりました。マルチパートアップロードの説明のページにも、完了したあとはパートが残らないと書かれています。
$ aws s3api list-multipart-uploads --bucket example-bucket
{
"RequestCharged": null,
"Prefix": null
}
$ aws s3api list-parts --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID"
aws: [ERROR]: An error occurred (NoSuchUpload) when calling the ListParts operation: The specified upload does not exist. The upload ID may be invalid, or the upload may have been aborted or completed.
一覧の順番や ETag を間違えたとき
parts.json を作る前に、わざと間違えた一覧を渡して、エラーを確かめました。番号を 2、1 の順に並べると InvalidPartOrder に、送っていない ETag を書くと InvalidPart になりました。どちらも終了コードは 254 です。CompleteMultipartUpload の API リファレンスにある、この2つのエラーの説明と同じ内容です。
$ aws s3api complete-multipart-upload --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --multipart-upload '{"Parts":[{"PartNumber":2,"ETag":"\"2c9e09e3a995c56e870db8e4a5c8d849\""},{"PartNumber":1,"ETag":"\"24e71e3a91d42729991e2099c7395617\""}]}'
aws: [ERROR]: An error occurred (InvalidPartOrder) when calling the CompleteMultipartUpload operation: The list of parts was not in ascending order. Parts must be ordered by part number.
$ aws s3api complete-multipart-upload --bucket example-bucket --key big.bin --upload-id "$UPLOAD_ID" --multipart-upload '{"Parts":[{"PartNumber":1,"ETag":"\"00000000000000000000000000000000\""}]}'
aws: [ERROR]: An error occurred (InvalidPart) when calling the CompleteMultipartUpload operation: One or more of the specified parts could not be found. The part may not have been uploaded, or the specified entity tag may not match the part's entity tag.
検証では、ETag の値を md5sum の結果からコマンドの中で差し込んでいます。上は、その値を書き入れた形です。この記事のあとの節で、完了させるコマンドに ETag を書いているところも同じです。
できたオブジェクトを確かめる
head-object で見ると、12,582,912 バイトのオブジェクトが1つでき、始めるときに付けた Content-Type とメタデータも付いていました。
$ aws s3api head-object --bucket example-bucket --key big.bin
{
"AcceptRanges": "bytes",
"LastModified": "2026-11-15T02:13:50+00:00",
"ContentLength": 12582912,
"ETag": "\"a8dac85f3f2a079da5dcb64b5e7bb2ad-3\"",
"ContentType": "application/octet-stream",
"ServerSideEncryption": "AES256",
"Metadata": {
"purpose": "demo"
}
}
ETag は、ファイル全体の MD5(1c621139deecbecfe25d40bd96bbb6cd)とは違い、末尾に -3 が付いています。CompleteMultipartUpload の API リファレンスでは、この ETag は MD5 とは限らないとされています。エミュレーターの値は、3つのパートの MD5 をつなげて、さらに MD5 をとり、-パートの数 を付けたものと一致しました。
$ md5sum big.bin
1c621139deecbecfe25d40bd96bbb6cd big.bin
$ python3 -c "import hashlib,sys; d=b\"\".join(hashlib.md5(open(f,\"rb\").read()).digest() for f in sys.argv[1:]); print(hashlib.md5(d).hexdigest() + \"-\" + str(len(sys.argv)-1))" part-00 part-01 part-02
a8dac85f3f2a079da5dcb64b5e7bb2ad-3
中身が壊れていないかは、ダウンロードして SHA-256 で比べました。同じ値です。
$ aws s3 cp --no-progress s3://example-bucket/big.bin dl.bin && sha256sum big.bin dl.bin
download: s3://example-bucket/big.bin to ./dl.bin
a7a43c04b9a8e0c0f1b53d842fa99801431eaaa8f0b5f824dee4ac545388e366 big.bin
a7a43c04b9a8e0c0f1b53d842fa99801431eaaa8f0b5f824dee4ac545388e366 dl.bin
get-object に --part-number を付けると、そのパートの範囲だけを取り出せました。2番を取り出すと、ContentRange は 5,242,880 バイト目からの 5MiB で、PartsCount は 3 でした。取り出した中身は part-01 と同じです。
$ aws s3api get-object --bucket example-bucket --key big.bin --part-number 2 p2.bin --query "{ContentLength: ContentLength, ContentRange: ContentRange, PartsCount: PartsCount}" && cmp p2.bin part-01 && echo same
{
"ContentLength": 5242880,
"ContentRange": "bytes 5242880-10485759/12582912",
"PartsCount": 3
}
same
最後以外のパートが 5MiB より小さいとき
ここからは、small.bin のアップロードを別に始め、その UploadId を変数 SMALL_ID に入れて試しています(あとの節の LEFT_ID、CAP_ID、CAP2_ID も同じです)。1MiB のパートを2つ送って完了させようとすると、EntityTooSmall になりました。CompleteMultipartUpload の API リファレンスでは、最後のパート以外は 5MB 以上でなければならないと説明されています。このエラーは、パートを送ったときではなく、完了させるときに出ました。
$ aws s3api complete-multipart-upload --bucket example-bucket --key small.bin --upload-id "$SMALL_ID" --multipart-upload '{"Parts":[{"PartNumber":1,"ETag":"\"5d614baf66b60d417151fac8d5f51050\""},{"PartNumber":2,"ETag":"\"d7e9f1b0759f4250dc3e4d7d37ff1ae2\""}]}'
aws: [ERROR]: An error occurred (EntityTooSmall) when calling the CompleteMultipartUpload operation: Your proposed upload is smaller than the minimum allowed size
同じアップロードを、2番のパートだけを一覧に入れて完了させると、通りました。パートが1つなら、それが最後のパートになるからです。できたオブジェクトは 1MiB で、中身は2番に送ったファイル(small-2)と同じでした。一覧に入れなかった1番は、オブジェクトに含まれません。API リファレンスにも、一覧で渡したパートをつなげると書かれています。ただし同じページでは、一覧には送ったパートをすべて入れるよう求めています。
$ aws s3api complete-multipart-upload --bucket example-bucket --key small.bin --upload-id "$SMALL_ID" --multipart-upload '{"Parts":[{"PartNumber":2,"ETag":"\"d7e9f1b0759f4250dc3e4d7d37ff1ae2\""}]}'
(応答の ETag は "e82f36eb3e04e1435738146354675ec3-1")
$ aws s3api head-object --bucket example-bucket --key small.bin --query "{ContentLength: ContentLength, ETag: ETag}"
{
"ContentLength": 1048576,
"ETag": "\"e82f36eb3e04e1435738146354675ec3-1\""
}
$ aws s3 cp s3://example-bucket/small.bin - | cmp - small-2 && echo same-as-small-2
same-as-small-2
途中でやめる:abort-multipart-upload
始めたまま完了させないアップロードは、aws s3 ls には出ないまま残ります。left.bin のアップロードを始めて1つパートを送ると、list-multipart-uploads にだけ出ました。
$ aws s3 ls s3://example-bucket/
2026-11-15 02:13:50 12582912 big.bin
2026-11-15 02:13:58 1048576 small.bin
$ aws s3api list-multipart-uploads --bucket example-bucket --query "Uploads[].{Key: Key, UploadId: UploadId}"
[
{
"Key": "left.bin",
"UploadId": "VSvAb2IraXidCRkDwZx4V6pD2LyPLzauRqD5ZP5szuM"
}
]
やめるときは aws s3api abort-multipart-upload です。出力はなく、終了コードは 0 でした。そのあとは一覧から消え、同じアップロード ID でパートを送ると NoSuchUpload になりました。
$ aws s3api abort-multipart-upload --bucket example-bucket --key left.bin --upload-id "$LEFT_ID"
$ aws s3api list-multipart-uploads --bucket example-bucket --query "Uploads[].{Key: Key, UploadId: UploadId}"
null
$ aws s3api upload-part --bucket example-bucket --key left.bin --upload-id "$LEFT_ID" --part-number 2 --body part-01
aws: [ERROR]: An error occurred (NoSuchUpload) when calling the UploadPart operation: The specified upload does not exist. The upload ID may be invalid, or the upload may have been aborted or completed.
同じアップロード ID でもう一度 abort-multipart-upload を実行しても、エミュレーターではエラーにならず、終了コードは 0 でした。AbortMultipartUpload の API リファレンスには、エラーとして NoSuchUpload(アップロードが存在しない)が載っています。
本物の S3 では、完了も中止もしていないアップロードのパートにも保存の料金がかかります。マルチパートアップロードの説明のページでは、完了させるか中止するまでパートの保存料金がかかり続けるとし、ライフサイクルルールの AbortIncompleteMultipartUpload で、始めてから決まった日数が過ぎたアップロードを消すよう勧めています。エミュレーターでも、公式ページの例にならった、7日後に消すルールは設定でき、そのまま読み出せました。確かめたのは、設定と読み出しまでです。
$ aws s3api put-bucket-lifecycle-configuration --bucket example-bucket --lifecycle-configuration '{"Rules":[{"ID":"abort-incomplete-mpu","Status":"Enabled","Filter":{"Prefix":""},"AbortIncompleteMultipartUpload":{"DaysAfterInitiation":7}}]}'
{
"TransitionDefaultMinimumObjectSize": "all_storage_classes_128K"
}
$ aws s3api get-bucket-lifecycle-configuration --bucket example-bucket
{
"TransitionDefaultMinimumObjectSize": "all_storage_classes_128K",
"Rules": [
{
"ID": "abort-incomplete-mpu",
"Filter": {
"Prefix": ""
},
"Status": "Enabled",
"AbortIncompleteMultipartUpload": {
"DaysAfterInitiation": 7
}
}
]
}
aws s3 cp が自動で分けるとき
ふだんは、ここまでの手順を自分で書かなくても、aws s3 cp が大きなファイルを自動でマルチパートアップロードにします。20MiB のファイルが3つに分かれることは、別の記事「AWS EmulatorでS3にファイルを置いて取り出す方法」でも触れました。ここでは、分けて送るかどうかが変わるファイルの大きさと、パートの大きさの変え方を試します。AWS CLI の S3 の設定のページによると、ファイルが multipart_threshold(既定は 8MB)以上だと分けて送り、1つのパートの大きさは multipart_chunksize(既定は 8MB)です。
7MiB、9MiB、20MiB のファイルを aws s3 cp で置いて ETag を見ると、7MiB はファイルの MD5 そのままで、9MiB は -2、20MiB は -3 でした。
$ for f in f7m f9m f20m; do echo "$f $(aws s3api head-object --bucket cp-bucket --key $f.bin --query ETag --output text)"; done; md5sum f7m.bin
f7m "bba1e5500a7a749e826777b3003e1171"
f9m "0baedbd619d66d212fa4db8b14ecd49c-2"
f20m "702d54b3d3fc61cac83703a0ebb05eeb-3"
bba1e5500a7a749e826777b3003e1171 f7m.bin
--debug を付けて 20MiB を置き、パートを送るときのログの行を数えると、3行でした。
$ aws s3 cp --debug --no-progress f20m.bin s3://cp-bucket/debug.bin 2>&1 | grep -c "UploadPart for Multi-part Upload"
3
パートの大きさを変えるときは、aws configure set default.s3.multipart_chunksize を使います。ただ、そのまま実行すると、エミュレーターが書き出した設定ファイル(AWS_CONFIG_FILE)を書き換えてしまいます。このファイルは起動のたびに書き直されるので、公式ドキュメントの案内のとおり、設定ファイルをコピーして、そのコピーを AWS_CONFIG_FILE で指定しました。5MB にすると、20MiB のファイルの ETag は -4 になりました。
$ cp ~/.aws/emulator/9297/config ./mpu-config && AWS_CONFIG_FILE=./mpu-config aws configure set default.s3.multipart_chunksize 5MB
$ AWS_CONFIG_FILE=./mpu-config aws s3 cp --no-progress f20m.bin s3://cp-bucket/f20m-5mb.bin && aws s3api head-object --bucket cp-bucket --key f20m-5mb.bin --query ETag --output text
upload: ./f20m.bin to s3://cp-bucket/f20m-5mb.bin
"481a660235ae2a24731ccfbc0b469033-4"
16MB にすると、アップロードは HTTP の 413(Content Too Large)で失敗しました。理由は次の節に書きます。失敗したあと、list-multipart-uploads に、完了していないアップロードは残っていませんでした。
$ AWS_CONFIG_FILE=./mpu-config aws configure set default.s3.multipart_chunksize 16MB && AWS_CONFIG_FILE=./mpu-config aws s3 cp --no-progress f20m.bin s3://cp-bucket/f20m-16mb.bin
upload failed: ./f20m.bin to s3://cp-bucket/f20m-16mb.bin An error occurred (413) when calling the UploadPart operation: Content Too Large
$ aws s3api list-multipart-uploads --bucket cp-bucket --query "Uploads[].Key"
null
エミュレーターで送れる大きさの上限
検証に使ったバージョンのエミュレーターには、大きさの上限が3つありました。公式ドキュメントの制限の項とコマンドのリファレンスには、この数字は書かれていません。以下は、検証環境で試した結果とエラーメッセージです。
1つ目は、1回のリクエストで送れる大きさです。put-object で 15MiB(15,728,640バイト)は置けましたが、16MiB(16,777,216バイト)では 413 になりました。前の節で aws s3 cp のパートを 16MB にしたときも、パートを送る UploadPart が同じ 413 で断られました。5MB と 8MB(既定)のパートは通っています。正確な境目は確かめていません。
$ head -c 15728640 /dev/zero > z15 && aws s3api put-object --bucket limit-bucket --key z15 --body z15 --query ETag --output text
"14b17234e237505421b6492b8d757507"
$ head -c 16777216 /dev/zero > z16 && aws s3api put-object --bucket limit-bucket --key z16 --body z16 --query ETag --output text
aws: [ERROR]: An error occurred (413) when calling the PutObject operation: Content Too Large
2つ目は、1つのバケットに置ける合計で、エラーメッセージでは 67,108,864 バイト(64MiB)でした。空のバケットで 5MiB のパートを送り続けると、13個目で ValidationException になりました。このとき、バケットにオブジェクトは1つもありません。完了していないパートも合計に数えられていて、5MiB のファイルを put-object で置こうとしても同じ理由で断られました。
$ for n in $(seq 1 20); do aws s3api upload-part --bucket limit-bucket --key cap.bin --upload-id "$CAP_ID" --part-number $n --body part-00 --query ETag --output text > /dev/null || { echo "part $n failed"; break; }; done
aws: [ERROR]: An error occurred (ValidationException) when calling the UploadPart operation: recording part 13 would leave the bucket "limit-bucket" holding 68158298 bytes, past the 67108864 bytes this emulator keeps per bucket
part 13 failed
$ aws s3 ls s3://limit-bucket/ --recursive --summarize
Total Objects: 0
Total Size: 0
$ aws s3api put-object --bucket limit-bucket --key after.bin --body part-00 --query ETag --output text
aws: [ERROR]: An error occurred (ValidationException) when calling the PutObject operation: storing "after.bin" would leave the bucket "limit-bucket" holding 68158331 bytes of objects, past the 67108864 bytes this emulator keeps per bucket
3つ目は、エミュレーター全体で置ける合計で、エラーメッセージでは 134,217,728 バイト(128MiB)でした。別のバケット limit-bucket-2 で同じようにパートを送ると、11個目で、すべてのバケットの合計が上限を超えるという ValidationException になりました。このときの合計には、limit-bucket の完了していないパートのほか、example-bucket に置いた big.bin と small.bin も入っています。
$ for n in $(seq 1 20); do aws s3api upload-part --bucket limit-bucket-2 --key cap.bin --upload-id "$CAP2_ID" --part-number $n --body part-00 --query ETag --output text > /dev/null || { echo "part $n failed"; break; }; done
aws: [ERROR]: An error occurred (ValidationException) when calling the UploadPart operation: recording part 11 would leave this emulator holding 134219464 bytes across every bucket, past the 134217728 bytes it keeps in total
part 11 failed
2つのアップロードを abort-multipart-upload でやめると、断られていた put-object が通りました。
$ aws s3api abort-multipart-upload --bucket limit-bucket-2 --key cap.bin --upload-id "$CAP2_ID"
$ aws s3api abort-multipart-upload --bucket limit-bucket --key cap.bin --upload-id "$CAP_ID"
$ aws s3api put-object --bucket limit-bucket --key after.bin --body part-00 --query ETag --output text
"24e71e3a91d42729991e2099c7395617"
エミュレーターでマルチパートアップロードのテストを続けて流すと、やめ忘れたパートがたまって、関係のないアップロードまで ValidationException で断られることがあります。テストの後片付けで list-multipart-uploads を見てやめるか、エミュレーターを起動し直して空の状態から始めます。エミュレーターはリソースをすべてメモリーに置き、止めると消すと公式ドキュメントの制限の項に書かれています。空の状態から始める使い方は、別の記事「AWS Emulatorでテストのたびに空の状態から始める方法」で扱っています。





