Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (16)
Ähnlich wie CROSS 2015 全文検索群雄割拠
Ähnlich wie CROSS 2015 全文検索群雄割拠 (20)
Kürzlich hochgeladen
CROSS 2015 全文検索群雄割拠
- 4. 本セッションの狙い
- 5. 例えば5, 6年前…
- 6. 「全文検索を使い隊！」
- 8. 現在
- 10. （ ³ω³）ﾌｧｯ!?
- 12. はっきりさせようぜ！！
- 14. • Elasticsearch • Elasticsearch 大谷さん • Apache Solr • クックパッド 兼山さん • Amazon CloudSearch • ChatWork 藤原さん • Groonga(Mroonga,Rroonga,Nroonga) • クリアコード 須藤さん
- 16. これでスッキリ！ …するかも
- 21. Copyright Elasticsearch 2014.Copying,publishing and/or distributing without written permission is strictly prohibited Jun Ohtani • Me, Jun Ohtani / Technical Adovocate lucene-gosenコ ミ ッ タ ー ElasticSearch Server日本語版の翻訳 elasticsearch-extended-analysisの開発 http://blog.johtani.info 好き な飲み物： プレ ミ アムモルツ • Elasticsearch, founded in 2012 Products: Elasticsearch, Logstash, Kibana, Marvel, Shield Professional services: Support & development subscriptions
- 22. cookpad 兼山元太 日々の仕事： ・ 検索の満足度を上げる ・ 検索のバッ ク エンド の開発 ・ 辞書の作成/管理 ・ レシピのメ タ データ の作成/管理 ・ 他チームの検索関連のお手伝い 夢は世界中で使われる道具を作るこ と
- 25. やまかつ (@yamakatu) • 本名は秘密（うそ • ヤフー株式会社 ヤフオクカンパニー • 検索、統計、機械学習しつつ、メイン は育児 • ぶっちゃけ、Groonga族とCloudSearch はまともに使ったことない（キリ
- 28. 全文検索エンジン is 何？
- 29. 1.全文検索機能 2.周辺機能
- 30. 1.全文検索機能← 2.周辺機能
- 31. 全文検索機能の おさらい
- 33. How?
- 35. Why 転置インデックス?
- 38. RDBでインデックスを 貼らずに Select (略) where id = 4 1 4 9 10 11 12 13 15 16 20 25 full scan(ex. 11 times) ぜんぶで11件
- 39. B+Tree (ex. 4 times) B+Treeでインデクシング Select (略) where id = 4
- 40. 4 times < 11 times データ量が増加すると、 差は指数的に増加
- 41. B+Tree〜 速い〜 最高〜
- 43. Why?
- 44. 「くろす」で 全文検索したい場合 Select 略 where text like “%くろす%”
- 45. 「くろす」で 全文検索したい場合 Select 略 where text like “%くろす%” つまり部分一致
- 47. そこで 転置インデックス
- 48. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ もと文書
- 49. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス
- 50. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索
- 51. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索
- 52. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索 出現文書：１
- 54. 補足 1. 最近はRDBでも転置インデック スが実装されてます MySQL(innoDB, MyISAM)： FullTextSearch PostgreSQL： GIST Index, GIN Index Oracle：Oracle Text
- 55. 補足 2. B+treeでも 前方一致検であれば有効 select 略 where text like “くろす%”
- 56. 1.全文検索 2.周辺機能←
- 57. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 58. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 59. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 60. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 61. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 62. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 63. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 64. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション
- 65. • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション 周辺機能のおさらい ノード1 シャード1台
- 66. • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション 周辺機能のおさらい ノード1 シャード1台 ノード2 シャード2 2台 ノード1 シャード1 検索クエリへの応答速度向上 インデクシングの高速化
- 67. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション ノード1 シャード1台
- 68. 周辺機能のおさらい • ハイライト • スニペット • ソート • ページング • サジェスト • もしかして • 絞込（カテゴリ） • シャーディング • レプリケーション ノード1 シャード1台 ノード2 (slave) 2台 ノード1 (master) 検索負荷の分散 シャードシャード
- 69. 1.全文検索 2.周辺機能
- 71. • Elasticsearch • Elasticsearch 大谷さん • Apache Solr • クックパッド 兼山さん • Amazon CloudSearch • ChatWork 藤原さん • Groonga(Mroonga,Rroonga,Nroonga) • クリアコード 須藤さん
- 72. 大事なことなので 2回言います