Facettensuche mit Lucene und Solr

5.141 Aufrufe

Veröffentlicht am

Praktische Umsetzung der Facettensuche
Vortrag auf der Froscon 2013
http://programm.froscon.org/2013/events/1206.html

Die Facettensuche ist inzwischen zu einem wichtigen Hilfsmittel für die benutzerfreundliche Erschließung von großen Datenmengen geworden. Doch wie kann man eine Facettensuche realisieren und worauf ist dabei zu achten? Ziel des Vortrages ist es, diese Fragen zu beantworten und praktische Hinweise zu geben.

Das Apache Lucene Projekt beinhaltet mit Lucene Core - dem Java-basierten Index- und Such-Framework - und mit Solr - dem hochperformanten und konfigurierbaren Such-Server - zwei mächtige Werkzeuge, die zur Implementierung von Suchmaschinen als Open Source Software zur Verfügung stehen.

Der Vortrag wird beide Ansätze vorstellen und zeigen, wie sich damit eine Facettensuche realisieren lässt. Dabei wird sowohl die Möglichkeit der konfigurationsbasierten Facettensuche in Solr als auch die komplexere Herangehensweise über das Lucene Framework vorgestellt und beide Methoden miteinander verglichen.

Neben dem Thema der technischen Vorgehensweise werden dabei auch allgemeine Punkte der Facettensuche betrachtet, etwa Fragen zur Struktur der zu durchsuchenden Daten und der Auswahl von Facetten bis zu Hinweisen zur Darstellung an der Benutzerschnittstelle.

Veröffentlicht in: Technologie
0 Kommentare
2 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
5.141
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
25
Aktionen
Geteilt
0
Downloads
29
Kommentare
0
Gefällt mir
2
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Facettensuche mit Lucene und Solr

  1. 1. Facettensuche mit Lucene und Solr Praktische Umsetzung der Facettensuche Thomas Koch @tomy_koch FrOSCon St.Augustin 25. August 2013 Sonntag, 25. August 13
  2. 2. über mich • Thomas Koch • Generation 40+ • Software-Entwickler • Python, JavaScript, Java ... • Python User Group PyCologne • PyCon.DE 2013 (Oktober, Köln) • OrbiTeam Software (Bonn) • BSCW (Collaboration Server) Sonntag, 25. August 13
  3. 3. Agenda • Facettensuche • Kurzeinstieg, Motivation, Beispiele • Grundlegende IR-Konzepte • Index, Hits, Document, Fields • Überblick Lucene & Solr • Features, Gemeinsamkeiten und Unterschiede • Technische Details und Beispiele • Facettensuche in Solr • Facettensuche in Lucene • Verwandte Projekte und Informationsquellen Sonntag, 25. August 13
  4. 4. FACETTENSUCHE Kurzeinführung 4 Sonntag, 25. August 13
  5. 5. Facettensuche: Einführung • Facette: Eigenschaft von Objekten (des Suchraums) • z.B. Preis, Farbe, Hersteller, Kategorie • erlaubt Einschränkung der Suchergebnisse • Facettensuche: ausgehend von einer einfachen Suchanfrage werden die angezeigten Suchergebnisse durch das Filtern nach bestimmten Kriterien (Facetten) fortlaufend eingegrenzt • auch bekannt als: guided navigation, faceted navigation, faceted browsing, explorative Suche Sonntag, 25. August 13
  6. 6. Facettensuche - Motivation • Ziel: benutzerfreundliche, effiziente Erschließung von großen Datenmengen • benutzerfreundlich: Anwender kann Facetten in beliebiger Reihenfolge auswählen (und entfernen) • effizient: Kombination von Facetten wirkt wie Filter: UND-Verknüpfung Sonntag, 25. August 13
  7. 7. Beispiel #1 • Online-Shops: Amazon, Ebay, … –Facetten: Preis, Hersteller, Typ etc. Sonntag, 25. August 13
  8. 8. Beispiel #2 • Seek –facetted email browsing (seek: Erweiterung für Mozilla Thunderbird) Sonntag, 25. August 13
  9. 9. Aspekte der Facettensuche an der Benutzerschnittstelle • Darstellung der Facetten – oben oder seitlich (links) anordnen – alle Facetten anzeigen, die im Kontext sinnvoll/ verfügbar sind – Facette sollte die Anzahl der erwarteten Treffer (bei Auswahl) anzeigen • Auswahl anwenden (=Suche verfeinern) – direkt bei der Auswahl einer Facette – oder nach Bestätigung durch Anwender 9 Sonntag, 25. August 13
  10. 10. Beispiel #3 10 • Suche nach Forschungsvorhaben • Einfache Suchfunktion • Einschränkung über Facetten • Facetten: • Laufzeit • Kosten • Ort: Bundesland / Stadt Sonntag, 25. August 13
  11. 11. GRUNDLEGENDE KONZEPTE Theorie Sonntag, 25. August 13
  12. 12. Bausteine der Suche •Suchraumaufbereitung •Textanalyse •Indexierung •Suche •Trefferanzeige Sonntag, 25. August 13
  13. 13. Bausteine (1/2) • Suchraumaufbereitung • Erfassen der Objekte und Informationsextraktion z.B. Extraktion der Daten (Web-Crawler, DB-Export) • Textanalyse • Vorverarbeitung der Ausgangsdaten (Texte) in ,Wörter‘ (Terme) • Normalisierung mittels Stemmer,Tokenizer, Filter etc. • Indexierung • Textaufbereitung und -erfassung im Suchindex • Aktualisierung und Optimierung der Index-Strukturen Sonntag, 25. August 13
  14. 14. Bausteine (2/2) • Suche • Erfolgt mittels einer Abfragesprache (Query Language) • Verknüpfung von Suchausdrücken per boolscher Logik • Liefert Treffer (Hits) und deren Ranking (Scores) • Trefferanzeige • Letzter Schritt:Visualisierung der Suchergebnisse (Anwendungsabhängig) • Kann interaktiveVerfeinerung der Suche unterstützen (z.B. Facetted Search, Filter) • Facettensuche muss hierbei besonders berücksichtigt werden Sonntag, 25. August 13
  15. 15. Index, Document, Field • Index: verwaltet Dokumente (,Document‘) • Inhalte werden im (invertierten) Index verwaltet (optimiert für Suchanfragen) • Document: repräsentiert Objekt • z.B.Webseite, E-mail, PDF-Dokument,Wikipedia-Artikel etc. ... • Field: Attribute eines Dokuments • Metadaten bzw. Felder (,Fields‘) • grob: key-value pair • Facetten arbeiten auf Feldern Sonntag, 25. August 13
  16. 16. Index-Struktur (in memory / Objekt-Modell) • Inhalte, die durchsucht werden sollen, müssen in Dokumente & Felder (Documents & Fields) transformiert werden => Denormalisierung • Beispiele für Felder (Field): – Autor, Content, Änderungsdatum, Titel, Abstract, Keywords etc. • Suche: – Anfrage über Felder und Werte (sog. „Terme“) – liefert passende Dokumente Dokument …. Feld …Term Term Feld …Term Term Dokument …. Index Sonntag, 25. August 13
  17. 17. LUCENE & SOLR Software Sonntag, 25. August 13
  18. 18. Apache Lucene • Lucene Core • Java-basiertes Framework für Indexing und Suche • bietet API zur Entwicklung von Suchkomponenten • basiert auf invertiertem Index (und effizienterVerwaltung desselben...) Sonntag, 25. August 13
  19. 19. Apache PyLucene • Java Lucene • Ist cross platform: 100%-pure Java • PyLucene • Python Portierung von Lucene Core (über JCC) • API-kompatibel und Index-kompatibel • Python Module aus PyLucene werden (via JCC) direkt aus den Lucene Core Java-Sourcen erzeugt • PyLucene Code benötigt eine JavaVM zur Laufzeit Sonntag, 25. August 13
  20. 20. Lucene Features • Wildcard Search („Pyth*“) • Fuzzy Search (unscharfe Suche) • Phrase Query („deutsche Einheit“) • Related Search (‚More like this‘) • Spell Checker (‚Did you mean …‘) • Hit highlighting (Trefferhervorhebung) • Facetted Search Sonntag, 25. August 13
  21. 21. Aufbau von Lucene • Anwendung (eigener Code) • Lucene (Framework) • Storage (File, RAM, DB,…) Index IndexWriter IndexSearcher Sonntag, 25. August 13
  22. 22. Apache Solr • Solr = Such-Server auf Basis von Lucene Core mit REST-like API. • Solr basiert auf der Lucene Search Library • Solr arbeitet in Servlet Containern • wie Apache Tomcat (oder Jetty) • Indexing: „Dokumente“ zum Index hinzufügen • via XML oder JSON - über HTTP • Suche: query Solr via HTTP GET • Ergebnis als XML oder JSON Sonntag, 25. August 13
  23. 23. 23 Solr Indexing XML Update Handler CSV Update Handler /update /update/csv XML Update with custom processor chain /update/xml Solr CELL: Extracting RequestHandler (PDF, Word, …) via Apache Tika /update/extract Lucene Index Data Import Handler Database pull RSS pull Simple transforms SQL DB RSS feed <doc> <title> Signature processor Logging processor Index processor Custom Transform processor PDF HTTP POST HTTP POST pull pull Update Processor Chain (per handler) Lucene Text Index Analyzers Sonntag, 25. August 13
  24. 24. Solr Features • Alle Lucene Features sowie ... • Caching, Faceted Search und Filter • Extraktion von Inhalt und Metadaten (via Apache Tika) • Alternative Query Parser (dismax, edismax) • Geo-Suche (Distanz) • Data Schema (Numeric Types, Dynamic Fields, Unique Keys…) • Diverse Client APIs für Java, Unix(shell-script), Python etc. • Solr ist flexibel • hochgradig anpassbar (XML-Konfigurationsdateien) • ... und erweiterbar (Lucene/Solr plugins) • ... und performant (unterstützt verteilte Indexes) Sonntag, 25. August 13
  25. 25. Gemeinsamkeiten • Lucene & Solr sind... • Open Source (Apache 2.0 Lizenz) • in Java entwickelt • gut dokumentiert • flexibel erweiterbar • stabil und leistungsfähig Sonntag, 25. August 13
  26. 26. Unterschiede • Lucene ist ein Framework zur Entwicklung von Suchmaschinen • Solr ist eine Server-Software, die Indizierung und Suche als Service bereitstellt • Programmieraufgaben in Lucene sind Konfigurationsaufgaben in Solr • Programmierung mit Lucene erfolgt in Java (mittels PyLucene auch in Python) • Schnittstellen zu Solr sind sprachunabhängig (Rest-like API, Standard-Formate wie XML und JSON) Sonntag, 25. August 13
  27. 27. TECHNISCHE DETAILS & BEISPIELE Praxis Sonntag, 25. August 13
  28. 28. Facetten in Solr Sonntag, 25. August 13
  29. 29. Solr: Getting started • Download, Configure & Run • Etliche XML-Konfigurationsdateien in conf • solrconfig.xml • schema.xml • Start Server $ java -jar start.jar • Solr4 benötigt Java 1.6 • Open Browser: http://localhost:8983/solr/ Sonntag, 25. August 13
  30. 30. Solr Konfiguration • solrconfig.xml • Allgemeine Konfiguration (Data Directory ...) • Index Konfiguration (Lucene Parameter ...) • Diverse Handler: requestHandler, DataImportHandler, queryResponseWriter... • schema.xml • Schema-Definition <schema> <types> <fields> <uniqueKey> <defaultSearchField> <solrQueryParser defaultOperator> <copyField> </schema> Sonntag, 25. August 13
  31. 31. Facetten Konfiguration • Erfolgt in solrconfig.xml • einzelne Felder als Facet definieren • Facetten-Typen wählbar (z.B. Rangefacet) <str name="facet.field">author</str> <str name="facet.mincount">1</str> <str name="facet.range">price</str> <int name="f.price.facet.range.start">0</int> <int name="f.price.facet.range.end">600</int> <int name="f.price.facet.range.gap">50</int> Sonntag, 25. August 13
  32. 32. Solr Anwendung • Daten "importieren" (=indexieren) • via Kommandozeile und XML-Datei (UTF-8 encoding beachten!) • via curl und CSV-Datei • via DIH – Data Import Handler • import aus Datenbank (via JDBC) • import aus Web-Server (via HTTP GET) • etc. (files, IMAP, xslt, ...) $ curl http://localhost:8983/solr/update/csv -F commit=true -F stream.file=/tmp/data.csv $ java -Ddata=files -jar post.jar data*.xml Sonntag, 25. August 13
  33. 33. Solr Suche • Suche via http-Request • z.B. http://localhost:8983/solr/select?q=demo • liefert XML-Darstellung der Ergebnisse (wahlweise auch JSON, Python oder CSV) Sonntag, 25. August 13
  34. 34. Solr Facettensuche • Facetten als Query Parameter • Tipp: rows=0 liefert nur Facetten-Ergebnisse http://localhost:8983/solr/select?q=a_name:abba &facet=true&facet.field=a_type&rows=0 <response> <lst name="responseHeader"> <int name="status">0</int> <int name="QTime">3</int> </lst> <result name="response" numFound="20" start="0"/> <lst name="facet_counts"> <lst name="facet_queries"/> <lst name="facet_fields"> <lst name="a_type"> <int name="person">6</int> <int name="group">3</int> </lst> </lst> </lst> </lst> </response> Sonntag, 25. August 13
  35. 35. Solr: Beispiel • Datenquelle: http://musicbrainz.org • Daten: Solr-Instanz mit Tracks und Artists (Beispiel aus Solr Buch ‘Solr Enterprise Search‘) • Demos • Solr Admin-GUI und Demo-GUI • Beispiel-GUI • ist anpassbar (via velocity templating) • bietet bereits Facetten, highlighting, auto complete etc. • Script zur Suche in Solr • mittels Python client für Solr: SolrPy http://localhost:8983/solr/browse Sonntag, 25. August 13
  36. 36. Facetten in Lucene Sonntag, 25. August 13
  37. 37. Lucene in der Praxis • Suchraumaufbereitung • Anwendungssache! • Textanalyse • Klassen: StandardAnalyzer, SnowballFilter, PorterStemFilter, GermanAnalyzer • Indexierung • Klassen: IndexWriter, Document, Field • Suche • Klassen: IndexSearcher, QueryParser,Term • Trefferanzeige • Klassen: Hit, hit.score, Explanation • Facetten • Klassen: Facet, FacetCollector, ... Sonntag, 25. August 13
  38. 38. Facetten in Lucene • Basis der Facetten: taxonomy of categories • Lucene arbeitet auf Kategorien einer Taxonomie • Taxonomie wird bei Indexierung erstellt • ... und in eigenem Index verwaltet • Klassen: DirectoryTaxonomyWriter und DirectoryTaxonomyReader • Kategorien pro Dokument – category path • Klasse: CategoryPath • Beispiele • year/2012 // year/2011 etc. • Kategorien können unterschiedliche Tiefe haben • Year/2013/August • Location/Germany/NRW/Sankt Augustin Sonntag, 25. August 13
  39. 39. Beispiel: Indexierung • Inhalte hinzufügen: IndexWriter und Document • Eigenschaften der Felder: Stored (yes/no),Analyzed (yes/no) • store = lucene.SimpleFSDirectory(lucene.File(storeDir)) analyzer = StandardAnalyzer(Version.LUCENE_CURRENT) writer = lucene.IndexWriter(store, analyzer, True, #create lucene.IndexWriter.MaxFieldLength.LIMITED) for file in files: doc = lucene.Document() doc.add(lucene.Field("path", get_path(file), lucene.Field.Store.YES, lucene.Field.Index.NOT_ANALYZED)) doc.add(lucene.Field("contents", file.readlines(), lucene.Field.Store.NO, lucene.Field.Index.ANALYZED)) writer.addDocument(doc) # index document Sonntag, 25. August 13
  40. 40. Hilfsklassen für Suche und Indexierung • Indexierung: FacetFields • Erfassung von Kategorien zu einem Dokument (bei der Indexierung) • arbeitet auf Liste von Kategorien • Suche: FacetRequest • eine Suchanfrage (Query) kann Facetten enthalten • Details in FacetSearchParams spezifiziert (...) • Suche: FacetsCollector • ... unterstützt die Facettensuche, liefert (top-level) Kategorien einer Anfrage • Suchergebnisse beinhalten Treffer (hits) und Facetten ("category roots") • Der FacetsCollector liefert einen FacetResult pro FacetRequest • FacetRequest erlaubt facets aggregation Sonntag, 25. August 13
  41. 41. Beispiel: Facetten hinzufügen FacetFields facetFields = new FacetFields(taxoWriter); Document doc = Document(); // add the needed fields to the document to be indexed doc.add(new Field("isbn", "123-ABC ", Field.Store.YES, Field.Index.NOT_ANALYZED)); doc.add(new Field("name", "Lucene in Action", Field.Store.YES, Field.Index.ANALYZED)); // add the categories to the taxonomy List<CategoryPath> facetList = new ArrayList<CategoryPath>(); facetList.add(new CategoryPath("Author", "Erik Hatcher")); facetList.add(new CategoryPath("Author", "Otis Gospodnetić")); facetList.add(new CategoryPath("Published", "2004", "December")); // add the categories to the taxonomy facetFields.addFields(doc, facetList); indexWriter.addDocument(doc); Sonntag, 25. August 13
  42. 42. PyLucene Demo • Eine einfache Suchmaschine für Musik-Alben • Datenquelle: http://musicbrainz.org • Vorgehen: • Script für Index-Erstellung (aus CSV) • Python 2.7 und PyLucene 4.4 : IndexReleases.py • ca. 120 lines of code • Script zur Suche über Index • Kommandozeile: $ python SearchReleases.py • Anzeige von Suchergebnissen und Facetten Sonntag, 25. August 13
  43. 43. Weitere Infos • Solr Buch (veraltet: SolrVersion 3.x) • www.solrenterprisesearchserver.com • Solr Wiki (aktuell: SolrVersion 4.4) • z.B. Details zu Faceted Search in Solr: SolrFacetingOverview • Lucene Buch (2te Auflage) • http://www.manning.com/hatcher2/ • Lucene / PyLucene • http://lucene.apache.org /pylucene • PySolr – Python Client • https://github.com/toastdriven/pysolr Sonntag, 25. August 13
  44. 44. Related Work • Weitere Suchmaschinenframeworks • Whoosh (Python) • Xapian (C++) • Elastiscsearch (Java) Vergleich Solr vs. Elasticsearch http://solr-vs-elasticsearch.com • Facetted Search Implementations • Blog-Artikel von Michael McCandless http://blog.mikemccandless.com/2012/12/fun-with-lucenes-faceted-search-module.html • Meta-Frameworks • z.B. Haystack (Python/Django) • Bietet Suchfunktionalität als „Plugin“ für Web-Framework Django • Definiert einheitliche API • Unterstützt verschiedene „Search backends“ (z.B. Solr, Elasticsearch,Whoosh, Xapian) Sonntag, 25. August 13
  45. 45. Copyrights • Markennamen • Apache Lucene,Apache Solr,Apache PyLucene and their respective logos are trademarks of The Apache Software Foundation. • All other marks mentioned may be trademarks or registered trademarks of their respective owners. • Bildquellen: • Logos: python.org, lucene.apache.org, pycologne.de, 2013.de.pycon.org • Bücher: Packtlib, Manning • Long and winding road: Flickr (Creative Commons) Thanks to Pierre Metivier • Fernsehturm Berlin: Flickr (Creative Commons) Thanks to myyorgda • Statue outside the Centre for Life in Newcastle: Flickr (Share-a-Like) Thanks to Reith Lectures • Indy Car in Garage: Flickr (creative commons share-alike) Thanks to John P. • Eier: http://www.lsg.musin.de/portal/Datei:Eier.jpg • Theoriecartoon: http://kunststoffreport.de • Google Search Results https://developers.google.com/custom-search/images/start_google_wheels_result.png Sonntag, 25. August 13
  46. 46. Kontakt / Fragen • Thomas Koch: @tomy_koch • Quellcode der Beispiele: • Lucene: http://goo.gl/H3Uo23 • Solr: http://goo.gl/QyoHbG • PyCon.DE 2013 http://2013.de.pycon.org • PyCologne: http://wiki.python-forum.de/pycologne • EnArgus-Projekt http://www.enargus.de Sonntag, 25. August 13

×