本記事ではFargateで起動するFireLens（Fluent Bit）のログルーティングについて以下の設定例を紹介します。Parserは使わず設定ファイル1つでやってみます。 エラーログは CloudWatch Lo […]
FirelensでCloudWatch Logsにログ出力する際、特定JSONキーだけを出力する
こんにちは、岩城です。 小ネタです。 Firelens(Fluent Bit)を使ってCloudWatch Logにログ出力すると、アクセスログやアプリケーションのログだけ構わないのに、コンテナIDやECSタスクの情報な […]…
FireLens（Fluent Bit）で利用するaws-for-fluent-bitイメージ内のFlunet Bitのバージョン確認方法
FireLensでカスタムログルーティングする用途にaws-for-fluent-bitイメージをよく利用しています。伝えたいことはaws-for-fluent-bitのバージョンと、イメージ内に収まってるFluent […]
FireLens（Fluent Bit）CloudWatch Logsの新プラグインを使ったログストリーム作成方法
以前Fluent Bitで利用できるCloudWatch Logsの新旧プラグインの注意点を紹介しました。新プラグインではECSメタデータの利用した変数が使えないため、CloudWatch Logsのログストリームをタス […]
FireLens(Fluent Bit)のカスタムログルーティングで「cannot increase buffer: current=4096 requested=36864 max=4096」が出力したときの対策
Fluent Bitからkinesis_firehoseプラグインを利用し、Kinesis Data Firehose経由でS3バケットへログを保存しています。Fluent Bitを起動しているFireLnesのログに以 […]
AWS Fargateにサイドカー構成のFireLensコンテナも含めて一式作成するCloudFormationテンプレート
コンテナの実行基盤としてAWS Fargateを利用しています。FireLens（Fluent Bit）の動作確認のため手軽にクラスターごと作成・削除できる検証環境を欲していました。素のNginx（Webサーバ）にFir […]…
FireLens（Fluent Bit）CloudWatch Logsの新プラグインを使ったログストリーム作成の注意点
ECSのタスク（コンテナ）のログ出力先を変更できるFireLens機能があります。FireLensでFluent Bitを起動し、プラグインを利用し各種ログ保存先へ振り分けます。CloudWatch Logsや、Kine […]
FireLens（Fluent Bit）からCloudWatch Logsへログを送信時、ThrottlingExceptionエラー回避のためログストリーム設定を見直す
Fargateで起動するFireLens（Fluent Bit）のログルーティングでCloudWatch Logsへの送信設定を検証していました。負荷試験時にFireLensコンテナのログにスロットリングエラーのログが記 […]
FireLensコンテナのログをCloudWatch Logsへ保存したときのログストリームの名は。
ECSのタスク（コンテナ）のログ出力先を変更できるFireLens機能があります。アプリケーションコンテナのログルーティングはFireLensで起動するFluent Bitか、Fluendの機能を利用して実現しています。 […]…
FireLnes（Fluent Bit）の設定ファイルをローカル実行時とFireLensで起動したときの違いを見比べてみる
以下のAWSブログで説明されている文章が何を示しているのか、AWS FargateとFireLens（Fluent Bit）を使って調べました。調べてわかったことはFluent Bitの設定ファイルとECSのタスク定義の […]