データ

Google Colaboratory でデータフローのドキュメントを書く試み

この記事ははてなエンジニアのカレンダー | Advent Calendar 2021 - Qiita 2日目の記事です。 最近、データパイプラインの整備や営業チームの人力混じりの運用フローを機械化するなどの業務改善に取り組んでいます。 その過程で、運用ドキュメントを読んだり…

BigQuery GENERATE_ARRAY でバケットを作って集計

昨日やった作業。 例えばこういうテーブルがあったとして count timestmap 3 2020-07-07 10:30:00 5 2020-07-07 12:34:50 7 2020-07-07 21:07:10 11 2020-07-07 21:10:00 1時間ごとの count の合計値を出したい場合以下みたいなクエリを書く WITH data AS ( …