データエンジニアリング
この記事は データ基盤 Advent Calendar 2020 の 14日目の記事となります。 BigQuery Advent Calendar 2020 というのもあるので、BigQuery に興味のある方はこちらもどうぞ。 はじめに BigQuery は小規模なデータをとりあえずをつっこむ先としては使い勝手の…
https://t.co/vJRqKxEB3lBigQueryのテーブルパーティションがhourlyで切れるようになったぽい。これは超助かる。 pic.twitter.com/ZAlgat4VNC— tama (@mscle11) 2020年9月22日 BigQueryのテーブルのパーティションがHOURでも切れるようになったので試してみ…
モチベーション S3のファイルをHDFSに持っていく場合、これまでは aws s3 cp でS3からローカルにダウンロード hdfs dfs -put でローカルからHDFSにアップロード の手順をやっていました。 単純なスクリプトならこれで十分なのですが、ある程度複雑になってく…
最近、本業の方ではBigQuery + RedashによるBI環境構築をやっていたりします。 Redash*1はなかなかよくできたツールですが、 それなりに触ってみるとイケてないところに気が付くこともあります。 Redash以外に使えそうなBIツールがないか探したところ、Metab…
