記憶力が無い

プログラミングと室内園芸と何か

BigQuery でビッグデータを扱うのはそんなに簡単じゃなかった話

この記事は データ基盤 Advent Calendar 2020 の 14日目の記事となります。 BigQuery Advent Calendar 2020 というのもあるので、BigQuery に興味のある方はこちらもどうぞ。 はじめに BigQuery は小規模なデータをとりあえずをつっこむ先としては使い勝手の…

インターネット接続を v6プラス に変更したら快適になった話

v6プラスに切り替えたらめっちゃ速くなった。VDSLだからほぼMAXの速度が出てる。レイテンシも大分改善した。 pic.twitter.com/XkwdbI31Iv— tama (@mscle11) 2020年12月4日 インターネット接続を PPPoE (IPv4) 接続から v6プラス 接続に切り替えたら、混雑時…

Logstash の Grok フィルターの細かい挙動を調べた

Logstash を使ってログの整形と収集をいい感じにできないかなーとここ数日調べています。 その中で Grok フィルターの細かい挙動が気になったので検証してみました。 Grok フィルター テキストにパターンマッチを行い構造化する Logstash のフィルタープラグ…

三角関数を自前実装してみる(後半)

blog.ttk1.net いつか書いた記事の続き。 前回の記事のおさらい 二分法で三角関数の実装はできた しかし、Python の math モジュールの三角関数の速度には遠く及ばなかった Python の math モジュールの三角関数はどう実装されてるんだろうか Python の math…

Epic テーマ(はてなブログテーマ)の記事の幅を広げる

Web

このブログは、はてなオフィシャルテーマの Epic テーマを使っています。 Epic はシンプルで気に入っているテーマなのですが、記事の幅がちょっと狭いのがイマイチなんですよね。。。 ということで、デザイン CSS の設定をいじって幅を広げてみました。 設定…

AppsScript から Drive のファイルに書き込むときはちゃんと書き込まれたか確認が必要(かも?)

AppsScript はつらいよ。。。 AppsScript から Drive のファイルに書き込む DriveApp を使うことで、 AppsScript から Drive に保存してあるファイルの読み書きができます。 // ファイルの読み書きの例 // ファイルID から ファイルを取得する(xxxx の部分に…

BigQueryテーブルのHOURパーティショニングを使ってみる

https://t.co/vJRqKxEB3lBigQueryのテーブルパーティションがhourlyで切れるようになったぽい。これは超助かる。 pic.twitter.com/ZAlgat4VNC— tama (@mscle11) 2020年9月22日 BigQueryのテーブルのパーティションがHOURでも切れるようになったので試してみ…

Copyright © 2017 ttk1