(あんちべ! 俺がS式だ） @AntiBayesian 統計屋。 データ解析やDMP開発、データ解析組織作りなどご相談ください。 主著：「データ解析の実務プロセス入門(amzn.to/3vgVTmS)」 プロフィール：engineer-lab.findy-code.io/jobs-in-statis… (あんちべ! 俺がS式だ） @AntiBayesian 飲食やアパレルなど、市場の先行きも不安で…
SQLクエリを実行、可視化できるウェブアプリ「SQLPad」を試してみた
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 SQLクエリをローカル環境でウェブアプリとして実行できるものが無いか少し探していたのですが、「SQLPad」というアプリケーションを […]…
[アップデート] CloudTrailログ分析環境が超絶簡単に手に入る！「CloudTrail Lake」がリリースされました | DevelopersIO
[アップデート] CloudTrailログ分析環境が超絶簡単に手に入る！「CloudTrail Lake」がリリースされました これまでAthenaテーブル等の作成が必要でしたが、超絶簡単にSQL分析環境を手に入れることが可能になりました！監査対応、セキュリティに関するログ分析など様々な用途で利用できます。 本日のアップデートでCloudT…
BigQueryでSaaSのjsonデータを処理するSQLサンプル集 – 下町柚子黄昏記 by @yuzutas0
この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現…
pingcap/parser (MySQL互換) で SQL を手軽に解析 – freee Developers Blog
この記事は freee Developers Advent Calendar 2021 の23日目の記事です🎄 freee の DBRE チームに所属している caterpillar です. なんだか大きなデータベースを眺める仕事をしています. 突然ですが, pingcap/parser を使って SQL を簡単に解析していきたいと思います. Go 製 の SQL Parser で, MySQL への高い互換性を…
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 – freee Developers Blog
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題…
SQream acquires no-code data platform Panoply
SQream, a well-funded Israel-based data analytics platform, today announced that it has acquired no-code data platform Panoply in an effort to expand its cloud services. At the core of SQream’s service is its GPU-centric “data acceleration platform,” which promises to speed up SQL queries and enable users to run their queries on more data. Panoply, on […]
巨大なSQLファイルの編集にはEmEditor！ギガバイト単位でも置換、編集可能
今日も僕が愛用している、超高機能テキストエディタ「EmEditor」の話です。 データベースの移行やデータ修正で、巨大なSQLファイルを扱うことがよくあります。 100MB、200MBといった単位ならまだマシなのですが、 […]…
Modern Data Stack / モダンデータスタックというトレンドについて – satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headl…
Google’s Looker partners with Tableau
In 2019, Google acquired the business intelligence service Looker for $2.6 billion and Salesforce picked up Tableau for $15.7 billion. But today, the two competitors are growing closer together thanks to a new integration between the two. Specifically, Tableau users will soon be able to access Looker’s semantic layer, while Google’s Looker users will soon […]