Torsten Bøgh Köster discusses architectural challenges in search technologies, emphasizing the importance of caching, authentication, and data sharding for optimizing search performance at Shopping24. He highlights the need for dedicated search cores and efficient data processing to enhance user experience and access times. The presentation underscores the necessity of transparency and thorough documentation throughout the development process.

1. Architecture challenges of search.
Torsten Bøgh Köster (Shopping24) University of Hamburg, November, 14th 2011

2. Inhalt
‣ Ich & mein Brötchengeber
‣ Von Totalausfällen und roten
Kleidern
‣ Von „Pimping“ und „Tweaking“
‣ Authentifizierung und Caching
‣ Von Flüssen und Klötzen

3. @tboeghk
‣ Software- and systems- architect
‣ Studied at University of Hamburg (class of 2005)
‣ Thesis on geo-spatial search
‣ 4y experience with Solr / Lucene
‣ 5y software architect at Deutscher Ring insurance developing customer and
sales internet / intranet portals
‣ 2y system administrator & PHP/Perl hacker
‣ Currently team of 8 Java developers at Shopping24

4. shopping24 internet group

6. google legt die messlatte ...

7. ... sehr hoch

8. suche hat viele facetten

9. Suche bei shopping24

10. apache solr

11. aktuelle sucharchitektur

13. Eine neue API!

14. Rahmenbedingungen
‣ Jeder Aspekt ein Deployable
‣ Caching
‣ Authentifizierung
‣ Vollständige fachliche Kapselung
‣ Suchmaschine austauschbar
‣ 1 Request <> 1 Portalseite
‣ 100ms

15. Inhalt
‣ Ich & mein Brötchengeber
‣ Von Totalausfällen und roten
Kleidern
‣ Von „Pimping“ und „Tweaking“
‣ Authentifizierung und Caching
‣ Von Flüssen und Klötzen

16. von totalausfällen
und roten kleidern

19. Precision & Recall

20. Suchqualität manuell ermitteln

21. Entwicklungserfolg wird messbar

22. Zugriffszeiten
minimieren

23. highly effective:
data sharding ...

24. let “sharding“ follow your data ...

25. ... and build separate cores
for every client.

26. Duplicate data as long as
access is fast.
andybahn / photocase.com

27. Authentifizierung
vs. Caching ...

28. ... gelöst durch transparente
Infrastrukturkomponenten

29. Datenfluss zur Suchmaschine

30. Daten werden von Klotz zu Klotz geworfen

31. Extraktion eines denormalisierten Sortiments

32. Wozu brauche ich jetzt nochmal einen Search Consultant?

33. Dedizierte Suchcores - dedizierte ETL-Prozesse

34. Alle Daten maximal vorverarbeiten

35. das auge entwickelt mit:
umfassende doku muss
nicht hässlich sein.

36. zweifel, ein treuer begleiter:
transparenz von anfang an schaffen

37. Questions? Comments?
‣ Twitter:@tboeghk
‣ Github: @tboeghk
‣ Email: torsten.koester@s24.com
‣ Web: s24.com
‣ Developer (old): developer.smatch.com
‣ Developer (new): developer.s24.com
Images: sxc.hu (unless noted otherwise)