バックエンド(環境構築)

KotlinでDataflow書きたくて、触ってみた その2

tl;dr Apacheログから、その日のパス毎のアクセス数をリアルタイム分析(5分ごとに更新)するやつ をkotlinでかきました (/users/1/ : 800view, /about.html : 2000000view的な) unboundedとbounded そもそもMapReduceはバッチ処理の手法です バッチ処理という…

KotlinでDataflow書きたくて、触ってみた

tl;dr KotlinでDataflowをこれから書いていくことにした、多分 Cloud Dataflow(Apache Beam) Cloud DataflowはGCPのサービスかつプログラミングモデル(SDK)で、 Compute Engineインスタンスを並列に立ち上げて、分散処理ができます オープンソース化して、プ…