91-mal heruntergeladen
![Confidential 4
The bright blue butterfly hangs on the breeze.
[the] [bright] [blue] [butterfly] [hangs] [on] [the] [breeze]
Tokens](https://image.slidesharecdn.com/searchingcassandrakn-150805184146-lva1-app6891/75/Solr-Cassandra-Searching-Cassandra-with-DataStax-Enterprise-4-2048.jpg)
Hochgeladen vonDataStax Academy
Solr & Cassandra: Searching Cassandra with DataStax Enterprise
Das Dokument bietet eine technische Einführung in Datastax Enterprise Search und behandelt die Integration von Cassandra mit Solr, einschließlich Funktionen wie Hochverfügbarkeit und Skalierbarkeit. Es enthält Informationen zur Struktur von Daten und Abfragen, sowie zu praktischen Beispielen für die Implementierung von Solr in einer Cassandra-Umgebung. Abschließend werden Schritte zur Erstellung und Überprüfung einer Cassandra-Datenbank mit aktivierter Suche beschrieben.
Solr & Cassandra: Searching Cassandra with DataStax Enterprise
- 1. Searching Cassandra withSolr Rachel Pedreschi Lead Technical Evangelist- Datastax Enterprise @rachelpedreschi An Introductory Technical Overview of Datastax Enterprise Search
- 2.
- 3.
- 4. Confidential 4 The brightblue butterfly hangs on the breeze. [the] [bright] [blue] [butterfly] [hangs] [on] [the] [breeze] Tokens
- 5.
- 6. Confidential It can belonely for Solr 6
- 7. Confidential Cassandra 7 ✓ Highly available ✓Linear scalability ✓ Low latency OLTP queries C*
- 8.
- 9.
- 10. Data Partitioning Application Data Center1 hash(key) => token(43) 80 10 3050 70 60 40 20
- 11. Application Data Center 1 Replication hash(key)=> token(43) replication factor = 3 80 10 3050 70 60 40 20
- 12. Multi-Data Center Replication Application DataCenter 1 hash(key) => token(43) replication factor = 3 80 10 3050 70 60 40 20 Data Center 2 replication factor = 3 81 11 3151 71 61 41 21
- 13. Confidential How does DSEintegrate Solr? 13 C* C*/ S O L R
- 14.
- 15. Confidential 15 SELECT *FROM killrvideo.videos WHERE solr_query='{ "q": "{! edismax qf="name^2 tags^1 description"}datastax" }'; SELECT id, value FROM keyspace.table WHERE token(id) >= -3074457345618258601 AND token(id) <= 3074457345618258603 AND solr_query='id:*'
- 16. Confidential Vocab 16 Cassandra term Solrterm Column Family /Table Core Row Document Column Field SSTable Index
- 17. … … …… … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 17 Node memory Node file system Client partition key1 first:Oscar last:Orange level:42 partition key2 first:Ricky last:Red Memtable (corresponds to a CQL table) Coordinator CommitLog AppendOnly … … … … … … … … … … … … SSTables Flush current state to SSTable Compact related SSTables W rite <3, Betty, Blue, 63> Acknowledge partition key3 first:Betty last:Blue level:63 Compaction Each write request … Periodically … Periodically …
- 18. … … …… … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 18 Node memory Node file system Client 1 best 1 2 bright 2,3 Ram Buffer Coordinator … … … … … … … … … … … … Segments Flushes current state to Segment (Softcommit) Write <1,blue, 2,3> 3 blue 2,3 Merge (STW) Each write request … Periodically … On C* Memtable Flush, In memory segments hard commit to disk Shard Router … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …
- 19. … … …… … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 19 Node memory Node file system 1 best 1 2 bright 2,3 Ram Buffer … … … … … … … … … … … … Segments 3 blue 2,3 Not Searchable Searchable Coordinator Shard Router … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …
- 20.
- 21.
- 22.
- 23.
- 24.
- 25. Confidential 25 Standard SolrIndexing DSE Search Live Indexing
- 26.
- 27. Confidential Let’s go codediving! 27
- 28. Confidential Behind the scenes… 28 //Videos by id CREATE TABLE videos ( videoid uuid, userid uuid, name text, description text, location text, location_type int, preview_image_location text, tags set<text>, added_date timestamp, PRIMARY KEY (videoid) ); // Index for tag keywords CREATE TABLE videos_by_tag ( tag text, videoid uuid, added_date timestamp, userid uuid, name text, preview_image_location text, tagged_date timestamp, PRIMARY KEY (tag, videoid) ); Not a great idea Possible Index
- 29. Confidential 29 //Videos byid CREATE TABLE videos ( videoid uuid, userid uuid, name text, description text, location text, location_type int, preview_image_location text, tags set<text>, added_date timestamp, PRIMARY KEY (videoid) And this? This? This?
- 30.
- 31. Confidential 31 1) Spinup a new C* Cluster with search enabled using the DSE installer. $ sudo service dse cassandra -s 2) Run your schema DDL to create the C* keyspace and tables. 3) Run dse_tool on the videos table $ dsetool create_core killrvideo.videos generateResources=true 4) Use the Solr Admin to check sanity and make sure you have a core. 5) Write a CQL query with a Solr Search in it. SELECT * FROM killrvideo.videos WHERE solr_query='{ "q": "{!edismax qf="name^2 tags^1 description "}datastax" }';
- 32. Confidential Search all ofthe things in 5 easy steps… 32
- 33.
- 34.
- 35. 35 50% off PriortyPass: RachelP50 25% Certification: RachelPCert
- 36.