この記事は データ基盤 Advent Calendar 2020 の 14日目の記事となります。 BigQuery Advent Calendar 2020 というのもあるので、BigQuery に興味のある方はこちらもどうぞ。 はじめに BigQuery は小規模なデータをとりあえずをつっこむ先としては使い勝手の…
v6プラスに切り替えたらめっちゃ速くなった。VDSLだからほぼMAXの速度が出てる。レイテンシも大分改善した。 pic.twitter.com/XkwdbI31Iv— tama (@mscle11) 2020年12月4日 インターネット接続を PPPoE (IPv4) 接続から v6プラス 接続に切り替えたら、混雑時…
Logstash を使ってログの整形と収集をいい感じにできないかなーとここ数日調べています。 その中で Grok フィルターの細かい挙動が気になったので検証してみました。 Grok フィルター テキストにパターンマッチを行い構造化する Logstash のフィルタープラグ…
blog.ttk1.net いつか書いた記事の続き。 前回の記事のおさらい 二分法で三角関数の実装はできた しかし、Python の math モジュールの三角関数の速度には遠く及ばなかった Python の math モジュールの三角関数はどう実装されてるんだろうか Python の math…
このブログは、はてなオフィシャルテーマの Epic テーマを使っています。 Epic はシンプルで気に入っているテーマなのですが、記事の幅がちょっと狭いのがイマイチなんですよね。。。 ということで、デザイン CSS の設定をいじって幅を広げてみました。 設定…
AppsScript はつらいよ。。。 AppsScript から Drive のファイルに書き込む DriveApp を使うことで、 AppsScript から Drive に保存してあるファイルの読み書きができます。 // ファイルの読み書きの例 // ファイルID から ファイルを取得する(xxxx の部分に…
https://t.co/vJRqKxEB3lBigQueryのテーブルパーティションがhourlyで切れるようになったぽい。これは超助かる。 pic.twitter.com/ZAlgat4VNC— tama (@mscle11) 2020年9月22日 BigQueryのテーブルのパーティションがHOURでも切れるようになったので試してみ…