記憶力が無い

プログラミングとランニングとカメラと何か

データエンジニアリング

BigQueryテーブルのHOURパーティショニングを使ってみる

https://t.co/vJRqKxEB3lBigQueryのテーブルパーティションがhourlyで切れるようになったぽい。これは超助かる。 pic.twitter.com/ZAlgat4VNC— tama (@mscle11) 2020年9月22日 BigQueryのテーブルのパーティションがHOURでも切れるようになったので試してみ…

今更Anacondaを使ってみた

モチベーション S3のファイルをHDFSに持っていく場合、これまでは aws s3 cp でS3からローカルにダウンロード hdfs dfs -put でローカルからHDFSにアップロード の手順をやっていました。 単純なスクリプトならこれで十分なのですが、ある程度複雑になってく…

BIツール比較(Metabase・Redash・Superset) データソース偏

最近、本業の方ではBigQuery + RedashによるBI環境構築をやっていたりします。 Redash*1はなかなかよくできたツールですが、 それなりに触ってみるとイケてないところに気が付くこともあります。 Redash以外に使えそうなBIツールがないか探したところ、Metab…

Copyright © 2017 ttk1