https://t.co/vJRqKxEB3lBigQueryのテーブルパーティションがhourlyで切れるようになったぽい。これは超助かる。 pic.twitter.com/ZAlgat4VNC— tama (@mscle11) 2020年9月22日 BigQueryのテーブルのパーティションがHOURでも切れるようになったので試してみ…
AppsScript で Cloud SQL に接続しようとしてハマった話。 AppsScript + Cloud SQL Cloud SQL は GCP のリレーショナルデータベースのサービスですが、AppsScript でも JDBC サービス経由で利用することが出来ます。 Cloud SQL以外でもIPのアクセス元の許可…
連休何も予定がなく時間を持て余しているので、Bashのクワインについて考えてみました。 さっきのやつの無駄な部分を除去。このアプローチだとこの辺が限界かな。 pic.twitter.com/6ymbsohpMR— tama (@mscle11) 2020年8月12日 クワイン(Quine)とは クワイン …
Plotly の練習がてら、ディスク使用量を Sunburst Chart で可視化してみました。 Plotlyとは Plotly はチャートの生成等を行うためのグラフィックライブラリです。 今回使用するのは Python のライブラリ (plotly.py) ですが、チャート自体は HTML + JavaScr…
Python で標準出力される文字列のテストをすることを考えます。 class Hoge(): def __init__(self, name): self.name = name def hoge(self): print(self.name) 例えば、この Hoge クラスの hoge メソッドをテストするとしましょう。 print にパッチを当てる…
モチベーション S3のファイルをHDFSに持っていく場合、これまでは aws s3 cp でS3からローカルにダウンロード hdfs dfs -put でローカルからHDFSにアップロード の手順をやっていました。 単純なスクリプトならこれで十分なのですが、ある程度複雑になってく…
仕事で書いてるときに思いついたものをメモ。 日付のバリデーション bashで日付の文字列のバリデーションについて考えます。 日付のフォーマットが yyyy-MM-dd (4桁西暦-2桁月-2桁日) 形式になっていることを確認したいです。 # OK/NGの例 # OK date1='2020-…
