2020-07-18から1日間の記事一覧
モチベーション S3のファイルをHDFSに持っていく場合、これまでは aws s3 cp でS3からローカルにダウンロード hdfs dfs -put でローカルからHDFSにアップロード の手順をやっていました。 単純なスクリプトならこれで十分なのですが、ある程度複雑になってく…
モチベーション S3のファイルをHDFSに持っていく場合、これまでは aws s3 cp でS3からローカルにダウンロード hdfs dfs -put でローカルからHDFSにアップロード の手順をやっていました。 単純なスクリプトならこれで十分なのですが、ある程度複雑になってく…