記憶力が無い

プログラミングと室内園芸と何か

データエンジニアリング

BigQuery でビッグデータを扱うのはそんなに簡単じゃなかった話

この記事は データ基盤 Advent Calendar 2020 の 14日目の記事となります。 BigQuery Advent Calendar 2020 というのもあるので、BigQuery に興味のある方はこちらもどうぞ。 はじめに BigQuery は小規模なデータをとりあえずをつっこむ先としては使い勝手の…

BigQueryテーブルのHOURパーティショニングを使ってみる

https://t.co/vJRqKxEB3lBigQueryのテーブルパーティションがhourlyで切れるようになったぽい。これは超助かる。 pic.twitter.com/ZAlgat4VNC— tama (@mscle11) 2020年9月22日 BigQueryのテーブルのパーティションがHOURでも切れるようになったので試してみ…

今更Anacondaを使ってみた

モチベーション S3のファイルをHDFSに持っていく場合、これまでは aws s3 cp でS3からローカルにダウンロード hdfs dfs -put でローカルからHDFSにアップロード の手順をやっていました。 単純なスクリプトならこれで十分なのですが、ある程度複雑になってく…

BIツール比較(Metabase・Redash・Superset) データソース偏

最近、本業の方ではBigQuery + RedashによるBI環境構築をやっていたりします。 Redash*1はなかなかよくできたツールですが、 それなりに触ってみるとイケてないところに気が付くこともあります。 Redash以外に使えそうなBIツールがないか探したところ、Metab…

Copyright © 2017 ttk1