Jubatus Handsonにいってきたのでfluent-plugin-jubatusについてちょっとだけ

Jubatus Handson行ってきました

行ってきました。

fluent-plugin-jubatus 0.0.2をリリースしました

先日大江戸Ruby会議04に行ってみたらやる気が湧いてきたので半年ほど寝かせておいたfluent-plugin-jubatusをアップデートしました。

大きな変更点としては、異常検知(jubaanomaly)をサポートするようになってます。

プラグインの今後

今回も入れなかったのですが、このプラグインでは未だ判定のみのサポートです。 理由としては

  • 計算量
  • メモリ

のふたつがあげられます。計算量に関しては以前手元のMacで異常検出を動作させていたときマシンの動作がもっさりになるほどの計算量があったためです。メモリに関しては今のところ不安には感じてはいないですが、データ量(数)が巨大になったときどこまで必要なのかってのがよくわからない。という理由で積極的に導入していないです。

これらを解消する方法としては忘却(unlearning)が考えられるのですが、じゃぁどの必要のないデータを忘却させるのって問題があります。

とはいえ、そろそろ導入したいのでpull reqまってます。