Kotlin

Kotlin + Dataflow(Apache Beam)でCloudSQLからデータを取り出す

tl;dr Kotlinで書いてるDataflow(Apache Beam)にて、CloudSQLからデータを取り出してAvroフォーマットで保持した。 BeamにはJdbcIOが提供されていてそれを利用するのですがドキュメントもなく色々手こずったのでメモしておきます また、例のごとくkotlinで書…

KotlinでDataflow書きたくて、触ってみた その2

tl;dr Apacheログから、その日のパス毎のアクセス数をリアルタイム分析(5分ごとに更新)するやつ をkotlinでかきました (/users/1/ : 800view, /about.html : 2000000view的な) unboundedとbounded そもそもMapReduceはバッチ処理の手法です バッチ処理という…

KotlinでDataflow書きたくて、触ってみた

tl;dr KotlinでDataflowをこれから書いていくことにした、多分 Cloud Dataflow(Apache Beam) Cloud DataflowはGCPのサービスかつプログラミングモデル(SDK)で、 Compute Engineインスタンスを並列に立ち上げて、分散処理ができます オープンソース化して、プ…