AWS EmulatorでSNSからSQSにメッセージを届ける方法

​​AWS Emulator​Amazon SNS,Amazon SQS,AWS CLI,テスト

AWS Emulator の中で SNS のトピックに SQS のキューをサブスクライブし、キューのポリシーで SNS からの送信を許可すると、トピックに送ったメッセージがキューに届きます。注文や更新のイベントを SNS から複数のキューに配る仕組み(ファンアウト)を、AWS のアカウントなしでローカル環境や CI で試したいときの手順です。ポリシーを付けないと届かないこと、届いた本文の形、本文をそのまま届ける設定とメッセージの絞り込みを、検証環境で実行したコマンドと出力のまま載せます。

補足

検証環境は Ubuntu 24.04.5(x86_64)、AWS Emulator 1.0.385(2026年11月14日リリース、Debian パッケージ)、AWS CLI 2.40.3、jq 1.7 です。AWS のアカウントは使わず、リクエストはすべて手元のエミュレーターに送りました。本物の AWS での動き(届くまでの時間、失敗したときの再試行、料金など)は確かめておらず、触れるところは公式ドキュメントを出どころにしています。FIFO のトピックとキュー、別のアカウントのキュー、暗号化のキー(KMS)を使うキュー、SDK からの呼び出しは試していません。

準備:エミュレーターを起動して、AWS CLI を向ける

エミュレーターは、公式ガイドの Linux 向けの手順のとおり、Debian パッケージの署名を gpg で確かめてから入れました。テレメトリーを切って起動し、別の端末で公式ドキュメントにある環境変数を設定します。

bash
aws-emulator -t off
bash
export AWS_ENDPOINT_URL=https://127.0.0.1:9297
export AWS_SHARED_CREDENTIALS_FILE=~/.aws/emulator/9297/emulator_credentials
export AWS_CONFIG_FILE=~/.aws/emulator/9297/config
export AWS_CA_BUNDLE=~/.aws/emulator/9297/ca.pem
export AWS_EC2_METADATA_DISABLED=true
export AWS_DISABLE_HOST_PREFIX_INJECTION=true
export AWS_REGION=us-east-1
export AWS_DEFAULT_REGION=us-east-1
unset AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY AWS_SESSION_TOKEN AWS_PROFILE

検証では、エミュレーターをスクリプトの中でバックグラウンドで起動し、ログをファイルに書き出しました。aws sts get-caller-identity の ARN がエミュレーターのユーザーになっていれば、つながっています(アカウントIDの0の並びは <12桁の0> と書いています。以下も同じです)。

text
$ aws sts get-caller-identity --query Arn --output text
arn:aws:iam::<12桁の0>:user/emulator

トピックとキューを作り、キューをサブスクライブする

流れは、SNS の開発者ガイドにある、SQS のキューをトピックにサブスクライブする手順と同じです。トピックとキューの ARN を調べ、キューのポリシーで送信を許可し、キューをサブスクライブします。この記事では、ポリシーがないときの様子を先に見るため、サブスクライブを先にしています。

aws sns publish から SNS トピックへ、サブスクリプションを通り、キューのポリシーで許可されたときだけ SQS キューに入り、receive-message で受け取る流れ
トピックからキューに届くまでの流れ。ポリシーの許可がないとキューに入らない

トピックとキューを作ります。

text
$ aws sns create-topic --name orders-topic
{
    "TopicArn": "arn:aws:sns:us-east-1:<12桁の0>:orders-topic"
}
$ aws sqs create-queue --queue-name orders-queue
{
    "QueueUrl": "https://sqs.us-east-1.amazonaws.com/<12桁の0>/orders-queue"
}

キューの URL は、本物の AWS と同じ形の https://sqs.us-east-1.amazonaws.com/... で返りました。この URL を --queue-url に渡しても、AWS_ENDPOINT_URL を設定したシェルでは、エミュレーターのキューを相手に送受信できました。

サブスクライブには、キューの URL ではなく ARN を使います。ARN は get-queue-attributes で調べます。あとのコマンドで使うので、3つとも変数に入れておきます。

bash
TOPIC_ARN=$(aws sns create-topic --name orders-topic --query TopicArn --output text)
QUEUE_URL=$(aws sqs get-queue-url --queue-name orders-queue --query QueueUrl --output text)
QUEUE_ARN=$(aws sqs get-queue-attributes --queue-url "$QUEUE_URL" --attribute-names QueueArn --query Attributes.QueueArn --output text)

検証では、ARN を変数に入れるために create-topic をもう一度実行しました。同じ名前で2回目を実行すると、1回目と同じ ARN が返りました。

text
$ echo "$TOPIC_ARN"; echo "$QUEUE_URL"; echo "$QUEUE_ARN"
arn:aws:sns:us-east-1:<12桁の0>:orders-topic
https://sqs.us-east-1.amazonaws.com/<12桁の0>/orders-queue
arn:aws:sqs:us-east-1:<12桁の0>:orders-queue

aws sns subscribe で、プロトコルに sqs、エンドポイントにキューの ARN を指定します。

text
$ aws sns subscribe --topic-arn "$TOPIC_ARN" --protocol sqs --notification-endpoint "$QUEUE_ARN"
{
    "SubscriptionArn": "arn:aws:sns:us-east-1:<12桁の0>:orders-topic:e572f79f-7616-4e1d-b21e-1ffcd32a63eb"
}

返ってきた SubscriptionArn には、サブスクリプションの ARN が入っています。Subscribe の API リファレンスによると、確認が要るサブスクリプションでは、ARN の代わりに pending confirmation という文字列が返ります。公式の手順によると、キューの持ち主がサブスクリプションを作ると自動で確認済みになります。確認が要るのは、別のアカウントのキューをサブスクライブするときです。あとで RawMessageDelivery などを設定するときに使うので、この ARN も SUB_ARN という変数に入れておきます。

bash
SUB_ARN=$(aws sns list-subscriptions-by-topic --topic-arn "$TOPIC_ARN" --query 'Subscriptions[0].SubscriptionArn' --output text)

キューのポリシーがないと、publish は成功しても届かない

この状態でトピックにメッセージを送ります。--subject は、届いた本文に入る件名です。

text
$ aws sns publish --topic-arn "$TOPIC_ARN" --message "{\"orderId\":\"A-001\"}" --subject "new order"
{
    "MessageId": "e3d2d2f0-e686-4b8e-b041-07299bf87c16"
}

publish は MessageId を返して成功しました。ところが、キューから受け取ろうとしても、3秒待って何も返りません。キューのメッセージの数も 0 のままです。

text
$ aws sqs receive-message --queue-url "$QUEUE_URL" --wait-time-seconds 3
$ aws sqs get-queue-attributes --queue-url "$QUEUE_URL" --attribute-names ApproximateNumberOfMessages ApproximateNumberOfMessagesNotVisible
{
    "Attributes": {
        "ApproximateNumberOfMessages": "0",
        "ApproximateNumberOfMessagesNotVisible": "0"
    }
}

理由は、エミュレーターの標準出力のログにありました。ログは1行ずつの JSON です。fields を jq で取り出すと、キューのポリシーがこのサービスからの送信を許可していないため、通知を止めた(withheld)と書かれています。

text
$ grep withheld emu.out | jq .fields
{
  "message": "the subscribed queue's policy does not allow this service to send it a message, so the notification is withheld",
  "subscription": "arn:aws:sns:us-east-1:<12桁の0>:orders-topic:e572f79f-7616-4e1d-b21e-1ffcd32a63eb",
  "queue": "https://sqs.us-east-1.amazonaws.com/<12桁の0>/orders-queue"
}

emu.out は、エミュレーターの標準出力を書き出したファイルです。AWS CLI の側にはエラーが返らないので、テストで「届かない」ときは、まずエミュレーターのログでこの行を探すと原因が分かります。

キューのポリシーで、SNS からの SendMessage を許可する

公式の手順では、トピックがキューに送れるように、キューに sqs:SendMessage を許可するポリシーを付けるよう書かれています。Principal を SNS のサービス(sns.amazonaws.com)にし、aws:SourceArn の条件で送り元をこのトピックに限ります。条件は、混乱した代理(confused deputy)の問題を防ぐためのものと説明されています。

json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": { "Service": "sns.amazonaws.com" },
      "Action": "sqs:SendMessage",
      "Resource": "arn:aws:sqs:us-east-1:<12桁の0>:orders-queue",
      "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:sns:us-east-1:<12桁の0>:orders-topic" } }
    }
  ]
}

Resource と aws:SourceArn には、さきほど調べたキューとトピックの ARN を入れます。これを policy.json に保存します。set-queue-attributes に渡すときは、ポリシーの JSON を文字列にして、Policy という属性の値にします。手で引用符をエスケープすると間違えやすいので、jq の tostring で変換しました。

text
$ jq -c "{Policy: tostring}" policy.json > attributes.json && cat attributes.json
{"Policy":"{\"Version\":\"2012-10-17\",\"Statement\":[{\"Effect\":\"Allow\",\"Principal\":{\"Service\":\"sns.amazonaws.com\"},\"Action\":\"sqs:SendMessage\",\"Resource\":\"arn:aws:sqs:us-east-1:<12桁の0>:orders-queue\",\"Condition\":{\"ArnEquals\":{\"aws:SourceArn\":\"arn:aws:sns:us-east-1:<12桁の0>:orders-topic\"}}}]}"}
$ aws sqs set-queue-attributes --queue-url "$QUEUE_URL" --attributes file://attributes.json

set-queue-attributes は何も出力せずに終わりました。get-queue-attributes で Policy を読むと、付けたとおりのポリシーが返りました。

もう一度 publish すると、今度はキューから受け取れました。

text
$ aws sns publish --topic-arn "$TOPIC_ARN" --message "{\"orderId\":\"A-002\"}" --subject "new order"
{
    "MessageId": "6b0443f4-d547-4c21-88bc-66626f7c3e6e"
}
$ aws sqs receive-message --queue-url "$QUEUE_URL" --wait-time-seconds 5 > received.json

ポリシーを付ける前に送った A-001 は、付けたあとも届きませんでした。止められた通知が、あとからキューに入ることはありませんでした。

届いた本文は、SNS の情報で包んだ JSON になる

received.json の Body を取り出すと、送ったメッセージがそのまま入っているのではなく、SNS の情報で包んだ JSON になっていました(Signature と SigningCertURL の値は長いので省略しています)。

text
$ jq -r ".Messages[0].Body" received.json
{
  "Type" : "Notification",
  "MessageId" : "6b0443f4-d547-4c21-88bc-66626f7c3e6e",
  "TopicArn" : "arn:aws:sns:us-east-1:<12桁の0>:orders-topic",
  "Subject" : "new order",
  "Message" : "{\"orderId\":\"A-002\"}",
  "Timestamp" : "2026-11-15T01:43:52.961Z",
  "SignatureVersion" : "1",
  "Signature" : "(省略)",
  "SigningCertURL" : "https://127.0.0.1:9297/SimpleNotificationService-(省略)",
  "UnsubscribeURL" : "https://sns.us-east-1.amazonaws.com/?Action=Unsubscribe&SubscriptionArn=arn:aws:sns:us-east-1:<12桁の0>:orders-topic:e572f79f-7616-4e1d-b21e-1ffcd32a63eb"
}

並んでいる項目は、公式の手順に載っている例と同じです。MessageId は publish が返した ID と同じで、送ったメッセージは Message に文字列として入っています。署名の証明書の URL(SigningCertURL)は、エミュレーターのアドレスを指していました。

受け取る側のコードでは、Body を JSON として読み、その中の Message をもう一度 JSON として読むことになります。jq で書くと次のとおりです。

text
$ jq -r ".Messages[0].Body | fromjson | .Message | fromjson" received.json
{
  "orderId": "A-002"
}

処理が終わったメッセージは、受け取ったときの ReceiptHandle を使って delete-message で消します。消したあとにもう一度受け取ろうとすると、何も返りませんでした。

bash
aws sqs delete-message --queue-url "$QUEUE_URL" --receipt-handle "$(jq -r ".Messages[0].ReceiptHandle" received.json)"

条件と違うトピックからは届かない

ポリシーの aws:SourceArn の条件も見られているかを確かめるため、別のトピック other-topic を作り、その ARN を変数 OTHER_ARN に入れて、同じキューをサブスクライブしてから publish しました。

text
$ aws sns publish --topic-arn "$OTHER_ARN" --message "{\"orderId\":\"B-001\"}" --query MessageId --output text
146a4c4a-ab8a-4ed1-ad84-c57bbcc2b751
$ aws sqs receive-message --queue-url "$QUEUE_URL" --wait-time-seconds 3
$ grep withheld emu.out | tail -1 | jq -c .fields
{"message":"the subscribed queue's policy does not allow this service to send it a message, so the notification is withheld","subscription":"arn:aws:sns:us-east-1:<12桁の0>:other-topic:8e80852e-1dcc-4e13-9b06-a4b117ab007c","queue":"https://sqs.us-east-1.amazonaws.com/<12桁の0>/orders-queue"}

キューには届かず、ログには other-topic のサブスクリプションで同じ行が出ました。1つのキューを複数のトピックにサブスクライブするときは、公式の手順によると、トピックごとに Statement を1つずつ書きます。

注意

AWS Emulator の公式ドキュメントでは、IAM のポリシーとリソースベースのポリシーを AWS と同じようには評価しないとして、セキュリティのテストに使わないよう書かれています。この検証では SNS から SQS に届けるときにキューのポリシーが確かめられましたが、本物の AWS でポリシーが正しいかは、エミュレーターの結果だけでは確かめられません。

RawMessageDelivery で、送った本文をそのまま届ける

受け取る側で JSON を2回読むのが手間なら、サブスクリプションの RawMessageDelivery を true にします。公式ドキュメントの raw message delivery の説明によると、SQS に届けるときは SNS の情報が取り除かれ、送ったメッセージがそのまま届きます。

text
$ aws sns set-subscription-attributes --subscription-arn "$SUB_ARN" --attribute-name RawMessageDelivery --attribute-value true

メッセージ属性 kind を付けて publish し、受け取るときに --message-attribute-names All を付けると、Body は送った JSON そのものになり、メッセージ属性は SQS のメッセージ属性として届きました。

text
$ aws sns publish --topic-arn "$TOPIC_ARN" --message "{\"orderId\":\"A-003\"}" --message-attributes "{\"kind\":{\"DataType\":\"String\",\"StringValue\":\"paid\"}}" --query MessageId --output text
acea8499-12b5-4b88-bb6b-637fa69a78b2
$ aws sqs receive-message --queue-url "$QUEUE_URL" --wait-time-seconds 5 --message-attribute-names All > raw.json; jq ".Messages[0] | {Body, MessageAttributes}" raw.json
{
  "Body": "{\"orderId\":\"A-003\"}",
  "MessageAttributes": {
    "kind": {
      "StringValue": "paid",
      "DataType": "String"
    }
  }
}

同じ公式ドキュメントには、RawMessageDelivery を有効にした SQS のサブスクリプションに送れるメッセージ属性は10個までで、それより多いメッセージは届けずに捨てると書かれています。

フィルターポリシーで、届けるメッセージを絞る

1つのトピックから、キューごとに必要なメッセージだけを受け取りたいときは、サブスクリプションにフィルターポリシーを付けます。kind が paid のものだけを届けるようにしました。

text
$ aws sns set-subscription-attributes --subscription-arn "$SUB_ARN" --attribute-name FilterPolicy --attribute-value "{\"kind\":[\"paid\"]}"
$ aws sns get-subscription-attributes --subscription-arn "$SUB_ARN" --query "Attributes.{Raw:RawMessageDelivery,FilterPolicy:FilterPolicy,Scope:FilterPolicyScope}"
{
    "Raw": "true",
    "FilterPolicy": "{\"kind\":[\"paid\"]}",
    "Scope": "MessageAttributes"
}

FilterPolicyScope は指定していませんが、MessageAttributes になっていました。フィルターポリシーを付ける手順によると、メッセージ属性で絞るのが既定で、本文の JSON で絞るときは MessageBody に変えます。

kind が paid のもの、cancelled のもの、kind を付けないものの3つを publish しました。

text
$ for k in paid cancelled; do aws sns publish --topic-arn "$TOPIC_ARN" --message "{\"orderId\":\"F-$k\"}" --message-attributes "{\"kind\":{\"DataType\":\"String\",\"StringValue\":\"$k\"}}" --query MessageId --output text; done
e8846776-eec6-4a82-b422-026eff2f398d
74884d28-801c-4ac9-828e-7e591e7b69fc
$ aws sns publish --topic-arn "$TOPIC_ARN" --message "{\"orderId\":\"F-none\"}" --query MessageId --output text
1e18c406-10d2-4419-bbf4-ad80a857b44b
$ aws sqs receive-message --queue-url "$QUEUE_URL" --wait-time-seconds 3 --max-number-of-messages 10 --query "Messages[].Body"
[
    "{\"orderId\":\"F-paid\"}"
]

3つとも publish は成功しましたが、キューに届いたのは paid の1つだけでした。フィルターで外れたときは、ポリシーで止められたときと違い、withheld の行はログに出ませんでした(最後に数えると、ログの withheld の行は、ポリシーで止められた2回分だけでした)。

エミュレーターでは、フィルターポリシーを付けた直後の publish から絞り込みが効いていました。公式ドキュメントによると、本物の AWS ではフィルターポリシーの追加や変更が行き渡るまでに最大15分かかります。エミュレーターで通ったテストが、本物の AWS で設定の直後に同じ結果になるとは限りません。

SNS から SQS に届けるのに必要な3つ

ここまでの手順で、SNS から SQS に届けるのに必要だったのは次の3つです。

  1. トピックとキューを作り、キューの ARN を調べる
  2. キューのポリシーで、sns.amazonaws.com に sqs:SendMessage を許可し、aws:SourceArn をトピックの ARN に限る
  3. aws sns subscribe で、プロトコル sqs、エンドポイントにキューの ARN を指定する

2を忘れても publish は成功し、AWS CLI にはエラーが返りません。エミュレーターではログの withheld の行で気づけます。エミュレーターは止めると中のリソースがすべて消えるので、テストのたびに起動し直せば、トピックもキューも最初から作り直す形で試せます。

​Posted by 86