Skip to content
  • coron
  • Connect :
  • clip
  • cheese
  • tumblr
  • takimura official site
  • coron
  • Connect :
  • clip
  • cheese
  • tumblr
  • takimura official site

TechWatch

Header Image
Author

haoyayoi

50 Posts

Featured

Posted byHaoyayoi
BigQueryへフィールドが一部欠落しているJSON Linesデータをエラー抑止の上で正常転送させてみた
Posted byHaoyayoi
Coc.nvimを触ってみようアドベントカレンダー 25日目 – ふりかえり
Posted byHaoyayoi
Coc.nvimを触ってみようアドベントカレンダー 23日目 – coc-tabnine
Posted byHaoyayoi
Coc.nvimを触ってみようアドベントカレンダー 22日目 – coc-ltex

[GitHub Actions]composite-run-stepsでusesが利用可能になったので試してみた

  • Posted inGitHubGitHub Actions
  • Posted byHaoyayoi
  • 08/26/2021

GitHub Actionsのcomposite run stepsにて、遂にusesも使えるようになったとのアップデートが来ました。 このusesがこれまでcomposite run stepsに含められなかったために […]

S3からBigQueryへの転送をリトライしてハマった部分を調査及び回避手順を検討してみた

  • Posted inAmazon S3AWSGCPGoogle BigQuery
  • Posted byHaoyayoi
  • 08/25/2021

BigQuery Data Transfer Service for Amazon S3にて転送設定を組んだものの、正常に取り込まれるケースとそうでないケースが混在する状態に陥っていました。公式ドキュメントにある転送設定 […]

AthenaからUNLOADにてORC形式で書き出した後にBigQuery Data Transfer Service for Amazon S3でBigQueryに取り込んでみた

  • Posted inAmazon AthenaGoogle BigQueryGoogle DataStudioその他
  • Posted byHaoyayoi
  • 08/23/2021

今月始めにAmazon AthenaがUNLOADコマンドにてSELECTクエリによる結果をS3へ出力できるようになったのは記憶に新しいところです。 以前、BigQueryを通してGoogle DataStudioでの可 […]

cdkでよくあると思う npm WARN をとにかく解消してみた

  • Posted inAWS CDKNode.jsTypeScript
  • Posted byHaoyayoi
  • 08/17/2021

コーディング、及びビルドをする時には出来るだけWarningの表記を合わせて解消しておきたいものですが、原因がわかりづらく面倒で放置することはよくあります。 新規で追加したcdkのプロジェクトにて、ビルドする際に大量の […]…

datastudio-aws-athena-connectorを使ってGoogleデータスタジオのデータソースにAthenaを指定してみた

  • Posted inAmazon AthenaAWSGoogle DataStudio
  • Posted byHaoyayoi
  • 08/12/2021

データ可視化手段のメンテナンス負荷軽減を目的にGoogle データスタジオを触ってみました。 事前に色々と聞いていたところでは、 データスタジオに用いるためBigQuery用のデータ書き出しがいる ストレージ料金がS3と […]…

cdk-deployで自動生成されるユニークIDのリソースから出力されるlogsにCDで期間指定を行ってみる

  • Posted inAWSAWS CDKCloudWatch Logs
  • Posted byHaoyayoi
  • 08/06/2021

AWSの利用料金はまさに地理も積もれば山となりうるものです。特にCloudWatch Logsの料金は曲者です。不要になった古いログによる利用費は気がつくと嵩みやすく、破棄することでの利用費圧縮はよくある手段です。 cd […]…

pytestで無害なwarningsを隠してオールグリーンとする手続きを備忘録として書いてみた

  • Posted inpytestPythonユニットテスト
  • Posted byHaoyayoi
  • 08/03/2021

テストケースは出来る限りグリーンを保ちたいところですが、利用しているライブラリの実装によっては頭を抱えることもあります。例えば以下のケース。 flake8内で実行している関数がDeprecatedになっており、且つテスト […]…

coc-pythonがArchive入りしていることに気がついたのでcoc-jediに変えてみた

  • Posted incoc.nvimNeovimツール
  • Posted byHaoyayoi
  • 07/29/2021

coc.nvimを通したneovim上での非同期編集環境を整えていく中で、肝心のPythonに用いているExtensionがcoc-pythonでした。これは既にArchive入しており、メンテナンスがなされません。 c […]

手作業で行っていたpipenv installをdirenvのlayoutに任せてみた

  • Posted indirenvpipenvPython
  • Posted byHaoyayoi
  • 07/28/2021

Pythonの仮想環境をセットアップする必要がでてくると、これまでは以下の手続きを取っていました。 .envrcは既にグローバルの .gitignore へ追加済みの上で、惰性の操作になりつつあったので余り気にしていませ […]…

ShellScriptでの事故防止としてShellCheckを適用してみた

  • Posted inツール
  • Posted byHaoyayoi
  • 07/27/2021

Linterを用いてのチェックを行う場合、個人的に一番厄介なのはシェルスクリプト。いずれの環境でも問題なく動かせることを見送るとしても、それでもWarning表示がなかなか消えません。 ShellCheckを使った、OS […]…

Posts navigation

Previous Posts 1 … 3 4 5
TechWatch
WordPress theme by componentz

Archives

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Hit enter to search or ESC to close