flightcaster.comはhadoopとclojureで機械学習する
Paul Graham氏のYCombinator出資のスタートアップ「flightcaster.com」が公開された。航空会社が官庁からフライトデータを集め、それをマイニングして、フライトが遅れる確立を航空会社より早く、正確にユーザに知らせるというものらしい。
ユーザ向けのサイトはRuby on Railsらしいが、機械学習の部分は「clouderaAMIを使い、EC2とS3上でhadoopの上層であるcascadingを稼働」そして、hadoop上ではclojureでカスタム分析コードを開発しているようだ。
Hadoop上の開発をしたとき、ジャバで分析コードを書くのを嫌ってStreamingなどと格闘した記憶があるが、clojureが出たときはHadoopの開発にピッタリだと思った。ハイレベル言語でテキスト処理プログラムを書いてそれをjarファイルとしてHadoopに渡せばすんなり動きそうだから。なんで、flightcaster.comがhadoop上でclojureを使ってると聞いてやはりと思った。
clojureはマルチコアマシンでの並列処理も得意ということなんで、こいつでデータ処理とか機械学習とかはやくやってみたいところだ。
