O přechodu z Hadoop MapReduce na Apacha Flink.

1. Cesta ke statistikám
v reálném čase
Jiří Mašek
Product manager

3. Sklik
Oslovení nových
zákazníků na pomocí
reklamních ploch Seznam

4. Seznam Partner
Monetizace webů
pomocí reklamních
ploch Seznam

5. ~ 300 milionů relevantních reklam za den
~ 45 ms na výdej reklamy
> 2 TB aktivních relačních dat
> 8 TB zagregovaných statistických dat
Reklamní systém v číslech

6. 0 TB
10 TB
20 TB
30 TB
2010 2011 2012 2013 2014 2015 2016 2017
Kontinuální růst objemu zpracovávaných dat

7. • Statistika pro inzerenty
• Statistika pro partnery
• Fakturace agenturních účtů
• Vyplácení provizí partnerům
• Zpětná vazba pro další výdej reklam
• Retargeting
• Predikce reklamního prostoru
Využití statistických dat

8. Surová data
Sumarizovaná
data
Agregátor
Agregace
Surová data
Surová data

9. Batchové zpracování statistických dat
LogyVýdej
HDFS Agregátory Databáze
LogyVýdej
LogyVýdej
LogyVýdej
LogyVýdej

10. Streamové zpracování statistických dat
Výdej
Fronta zpráv
Streamové
zpracování
Databáze
Výdej
Výdej
Výdej
Výdej

11. Monitoring
On-line výkon reklamního systému

12. Zpětná vazba
Výběr reklamy
Proklik
ReklamaZpětná vazba

13. Zpětná vazba (0)
LogyVýdej
Fronta zpráv Databáze
LogyVýdej
LogyVýdej
LogyVýdej
LogyVýdej
Streamové
zpracování
Konvertor
Fronta zpráv

14. Zpětná vazba (1)
Výdej
Fronta zpráv
Streamové
zpracování
Databáze
Výdej
Výdej
Výdej
Výdej

15. Přechod na streamové zpracování (0)
LogyVýdej
HDFS Databáze
LogyVýdej
LogyVýdej
LogyVýdej
LogyVýdej
Agregátory

16. Přechod na streamové zpracování (1)
LogyVýdej
HDFS Databáze
LogyVýdej
LogyVýdej
LogyVýdej
LogyVýdej
Fronta zpráv
Agregátory
Sloupcově
orientované
úložistě

17. Přechod na streamové zpracování (2)
Výdej
Fronta zpráv
Streamové
zpracování
Databáze
Výdej
Výdej
Výdej
Výdej
Agregátory
Sloupcově
orientované
úložistě
Agregátory

18. Jiří Mašek
Product manager
E-mail: jiri.masek2@firma.seznam.cz
Twitter: @jirimasek
Kontakt