GitHub Actionsのcomposite run stepsにて、遂にusesも使えるようになったとのアップデートが来ました。 このusesがこれまでcomposite run stepsに含められなかったために […]
S3からBigQueryへの転送をリトライしてハマった部分を調査及び回避手順を検討してみた
BigQuery Data Transfer Service for Amazon S3にて転送設定を組んだものの、正常に取り込まれるケースとそうでないケースが混在する状態に陥っていました。公式ドキュメントにある転送設定 […]
AthenaからUNLOADにてORC形式で書き出した後にBigQuery Data Transfer Service for Amazon S3でBigQueryに取り込んでみた
今月始めにAmazon AthenaがUNLOADコマンドにてSELECTクエリによる結果をS3へ出力できるようになったのは記憶に新しいところです。 以前、BigQueryを通してGoogle DataStudioでの可 […]
cdkでよくあると思う npm WARN をとにかく解消してみた
コーディング、及びビルドをする時には出来るだけWarningの表記を合わせて解消しておきたいものですが、原因がわかりづらく面倒で放置することはよくあります。 新規で追加したcdkのプロジェクトにて、ビルドする際に大量の […]…
datastudio-aws-athena-connectorを使ってGoogleデータスタジオのデータソースにAthenaを指定してみた
データ可視化手段のメンテナンス負荷軽減を目的にGoogle データスタジオを触ってみました。 事前に色々と聞いていたところでは、 データスタジオに用いるためBigQuery用のデータ書き出しがいる ストレージ料金がS3と […]…
cdk-deployで自動生成されるユニークIDのリソースから出力されるlogsにCDで期間指定を行ってみる
AWSの利用料金はまさに地理も積もれば山となりうるものです。特にCloudWatch Logsの料金は曲者です。不要になった古いログによる利用費は気がつくと嵩みやすく、破棄することでの利用費圧縮はよくある手段です。 cd […]…
pytestで無害なwarningsを隠してオールグリーンとする手続きを備忘録として書いてみた
テストケースは出来る限りグリーンを保ちたいところですが、利用しているライブラリの実装によっては頭を抱えることもあります。例えば以下のケース。 flake8内で実行している関数がDeprecatedになっており、且つテスト […]…
coc-pythonがArchive入りしていることに気がついたのでcoc-jediに変えてみた
coc.nvimを通したneovim上での非同期編集環境を整えていく中で、肝心のPythonに用いているExtensionがcoc-pythonでした。これは既にArchive入しており、メンテナンスがなされません。 c […]
手作業で行っていたpipenv installをdirenvのlayoutに任せてみた
Pythonの仮想環境をセットアップする必要がでてくると、これまでは以下の手続きを取っていました。 .envrcは既にグローバルの .gitignore へ追加済みの上で、惰性の操作になりつつあったので余り気にしていませ […]…
ShellScriptでの事故防止としてShellCheckを適用してみた
Linterを用いてのチェックを行う場合、個人的に一番厄介なのはシェルスクリプト。いずれの環境でも問題なく動かせることを見送るとしても、それでもWarning表示がなかなか消えません。 ShellCheckを使った、OS […]…