データアナリティクス事業本部のnkhrです。今回のブログでは、ETLの前処理を想定し、IFごとのS3ファイルに対して、共通の処理を実行するための構成（前処理自体は行っていません）を検証します。 具体的には、S3 Even […]…
EventBridge を使用して、S3 イベント発生時にStep Functionsを実行してみた。
Amazon EventBridge とは? EventBridge はサーバーレスのイベントバスサービスです。EventBridgeを使用して、アプリケーションをさまざまなソースからのデータに接続できます。EventB […]
EventBridge+SNS+Chatbot으로 Slack 통지해 보기
안녕하세요 클래스메소드 김재욱(Kim Jaewook) 입니다. 이번에는 EventBridge+SNS+Chatbot을 이용해서 Slack으로 EC2 인스턴스 상태를 통지하는 작업을 정리해 봤습니다. […]
[AWS Step Functions] 複数先行ステートマシンの実行完了かつ指定起動開始時刻を満たしていることを条件に後続ステートマシンを実行してみた
何があってもジョブ管理システムをAWS Step Functionsに置き換えたい こんにちは、のんピ(@non____97)です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思ってい […]…
DataSyncとEventBridgeルールを使用してS3バケット間のデータ移行を同期してみた。
DataSyncとは？ AWS DataSyncはオンラインデータ転送サービスです。AWS DataSyncを使用すると、AWSストレージサービス間、およびオンプレミスストレージシステムとAWSストレージサービス間でデー […]…
[アップデート]S3 ライフサイクルの実行アクションをAmazon EventBridgeのトリガーにすることが出来るようになりました！ #reinvent
こんにちは！ コンサルティング部の繁松(shigematsu)です！ 今回は、こちらの恩塚さんの記事（[アップデート]S3のオブジェクトレベルのイベント通知がAmazon EventBridgeとシームレスに統合されまし […]…
New – Use Amazon S3 Event Notifications with Amazon EventBridge
We launched Amazon EventBridge in mid-2019 to make it easy for you to build powerful, event-driven applications at any scale. Since that launch, we have added several important features including a Schema Registry, the power to Archive and Replay Events, support for Cross-Region Event Bus Targets, and API Destinations to allow you to send events […]
[アップデート] Amazon EventBridgeのリージョン間イベント転送が全リージョンで送受信できるようになりました！
みなさん、こんにちは！ 福岡オフィスの青柳です。 今年 (2021年) の4月、Amazon EventBridgeに関して発表されたこちらのアップデートを覚えていますでしょうか？ このアップデートによって、単一アカウン […]…
AWS Systems Manager State ManagerのEC2インスタンスへの関連付け成功/失敗イベントのメール通知を実装してみた
Systems Manager Agentの自動更新結果をメール通知させたい こんにちは、のんピ(@non____97)です。 皆さんは、Systems Manager Agent(以降SSM Agent)の自動更新は行 […]
AWS DataSync タスクのログ設定違いと、タスク実行エラーの検知方法を確認してみた
AWS DataSyncを利用しエージェントが不要なリソース間でのデータ転送していました。タスクにエラーが起きてタスクが失敗した際に有用そうな設定は何か気になったので確認してみました。 タスクのログ設定が2種類あったので […]…