Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Jubatus 新機能ハイライト
Ähnlich wie Jubatus 新機能ハイライト (20)
Jubatus 新機能ハイライト
- 1. 新機能ハイライト 0.8.0 => 0.9.1 IMAMASU Ryohei Jubatus Casual Talks #4 2016-06-18
- 2. 1. サポートOSの拡大 2 •0.8.0 から RHEL 7 •0.9.0 から Ubuntu 14.04 LTS 最新版の公式サポートOSは • RHEL 6, 7 • Ubuntu 12.04 LTS, 14.04 LTS
- 3. 2. NearestNeighbor 性能改善 3 • 内部処理を見直すことにより、大幅な性能改善を実施 • 内部処理の並列化、乱数生成器の変更、乱数値のキャッシュ など • 詳しくはブログで • http://blog.jubat.us/2016/05/nearest-neighbor.html 効果が大きいケー スでは10倍以上
- 4. 3. Mecabプラグインへの機能追加 4 •3つの機能追加を実施 • テキストデータを扱う際の前処理の手間を削減 • これまでのMecabプラグインを使うよりも精度の向上が 期待できる（?）
- 5. 3.1 原型変換 5 •0.8.8 から サポート 本日は天気が良かった 本日 0.8.0までの特徴量抽出 「良かっ」を原型である「良い」に変換 は 天気 が 良かっ た 本日 原型変換 は 天気 が 良い た
- 6. 3.2 品詞フィルタ 6 •0.8.9 から サポート 本日は天気が良かった 本日 0.8.0までの特徴量抽出 名詞以外は特徴量として利用しない は 天気 が 良かっ た 本日 名詞だけ抽出 は 天気 が 良い た
- 7. 3.3 形態素 N-gram 7 •0.8.6 から サポート 本日は天気が良かった 本日 0.8.0までの特徴量抽出 形態素解析の結果に 2-gram を適用したも のを特徴量に利用 原型変換、品詞フィルタの後に適用される は 天気 が 良かっ た 本日,は 原型変換 + 2-gram は,天気 天気,が が,良い 良い,た
- 8. 4. 特徴量変換デバグ用エンジンの追加 8 •0.9.1 から jubaweight を追加 • 特徴量変換設定（fv_converter）のデバグが容易 ビールが好きだが、焼酎も好き 特徴 特徴量 text$ビール@mecab#tf/bin 1.0 text$焼酎@mecab#tf/bin 1.0 text$好き@mecab#tf/bin 2.0 原型変換 + 名詞だけ抽出
- 9. 5. Recommender::inverted_index_euclid 9 •0.8.7 から 追加 •「inverted_index」の類似性指標はコサイン類似度 •「inverted_index_euclid」はユークリッド距離 近似計算有無 近似計算あり 近似計算なし 類似度指標 コサイン類似度 lsh inverted_index ユークリッド距離 euclid_lsh Inverted_index_euclid Jaccard係数 minhash なし
- 10. 6. Classifier::cosine, euclidian 10 •0.9.0 から 追加 •近似計算を行わない非線形分類アルゴリズム 近似計算有無 近似計算あり 近似計算なし 類似度指標 コサイン類似度 NN::lsh cosine ユークリッド距離 NN::euclid_lsh euclidian Jaccard係数 NN::minhash なし
- 11. 7.1 忘却サポートの拡大（Recommender） 11 •0.9.0 から Recommender の ほぼ全アルゴリズム をサポート アルゴリズム 忘却サポート開始バージョン inverted_index 0.8.1 inverted_index_euclid 0.8.8 minhash 0.8.7 lsh 0.8.5 euclid_lsh 0.9.0 nearest_neighbor_recommender もう少し待ってね
- 12. 7.2 忘却サポートの拡大（Anomaly） 12 •0.9.1 から Anomaly の 全アルゴリズムをサポート アルゴリズム 忘却サポート開始バージョン lof 0.6.0 light_lof 0.9.1 おまたせ!
- 13. 8. classifier::get_labels の仕様変更 13 •0.9.0 から ラベルごとの学習件数を返却 •ラベルごとの学習データ数を揃えるのが容易に [ “ビール”, “焼酎”, “日本酒” ] { “ビール”: 210, “焼酎” : 32, “日本酒” : 5 ]
- 14. 9. デフォルト設定ファイル 14 •0.9.1から各エンジンの「デフォルト設定 ファイル」を用意 • サンプル設定ファイルの「default.json」 • 「ちょっと試してみよう」という方にオススメの設定 • 精度が出ない場合は、これをベースに jubakit などを 使って、チューニング & 評価