https://hdknr.github.io/blogs/tags/cloudwatch/Recent content in Cloudwatch on hdknr blogHugo -- 0.157.0jaMon, 06 Apr 2026 00:00:00 +0000https://hdknr.github.io/blogs/wiki/tools/grafana/Mon, 06 Apr 2026 00:00:00 +0000https://hdknr.github.io/blogs/wiki/tools/grafana/メトリクス可視化・ダッシュボード作成ツールhttps://hdknr.github.io/blogs/posts/2026/03/aws-dms-serverless-%E3%81%AE-oom-%E9%9A%9C%E5%AE%B3%E3%81%A8%E7%9B%A3%E8%A6%96%E3%81%AE%E7%9B%B2%E7%82%B9-%E6%A4%9C%E7%9F%A5%E6%BC%8F%E3%82%8C%E3%81%AE%E6%A0%B9%E6%9C%AC%E5%8E%9F%E5%9B%A0%E3%81%A8%E5%AF%BE%E7%AD%96/Thu, 26 Mar 2026 00:00:00 +0000https://hdknr.github.io/blogs/posts/2026/03/aws-dms-serverless-%E3%81%AE-oom-%E9%9A%9C%E5%AE%B3%E3%81%A8%E7%9B%A3%E8%A6%96%E3%81%AE%E7%9B%B2%E7%82%B9-%E6%A4%9C%E7%9F%A5%E6%BC%8F%E3%82%8C%E3%81%AE%E6%A0%B9%E6%9C%AC%E5%8E%9F%E5%9B%A0%E3%81%A8%E5%AF%BE%E7%AD%96/<p>AWS DMS Serverless Replication（CDC モード）が OOM（Out of Memory）で <code>failed</code> 状態になり、自動再起動の仕組みが検知できずに長期間停止していた問題について、根本原因と対策をまとめます。</p> <h2 id="構成">構成</h2> <pre tabindex="0"><code>RDS (MySQL) → DMS Serverless (CDC) → S3 (Parquet) </code></pre><ul> <li>DMS Serverless Replication で全テーブルの CDC（Change Data Capture）を実行</li> <li>S3 に Parquet 形式で日付パーティション付きで出力</li> <li>EventBridge + Lambda で DMS 停止を検知し自動再起動する仕組みを構築済み</li> </ul> <h2 id="発生した事象">発生した事象</h2> <h3 id="症状">症状</h3> <ul> <li>prod 環境の DMS Serverless Replication が <code>failed</code> 状態で停止</li> <li>エラーメッセージ: <code>Replication out of memory. Stop Reason FATAL_ERROR Error Level FATAL</code></li> <li>CDC が完全に停止し、S3 へのデータ同期が止まっていた</li> </ul> <h3 id="発覚の経緯">発覚の経緯</h3> <p>手動確認で発見。自動再起動 Lambda の最終実行は約2ヶ月前で、それ以降は検知されていなかった。</p> <h2 id="根本原因">根本原因</h2> <h3 id="原因-1-eventbridge-ルールのイベントパターンが不完全">原因 1: EventBridge ルールのイベントパターンが不完全</h3> <p>自動再起動用の EventBridge ルールが <code>REPLICATION_TASK_STOPPED</code> のみを監視していた。</p>