9. Reporting und Controlling
Object Count Report Fill Rate Report Field Rule Report
• Anzahl der tagesaktuell
gecrawlten Anzeigen pro Portal
• Anzahl der durchschnittlich
gecrawlten Anzeigen
• Anzahl der vom jeweiligen
Portal ausgewiesene
Anzeigenanzahl
• Prozentwerte der Abweichung
tagesaktuell / durchschnittlich
gecrawlten Anzeigenanzahl zur
ausgewiesenen Anzeigenzahl
im Portal
• tagesaktueller / vortäglicher /
durchschnittlicher Füllungsgrad
aller gecrawlten Anbieter-
Felder je Portal
• tagesaktueller / vortäglicher /
durchschnittlicher Füllungsgrad
aller gecrawlten Anzeigen-
Felder je Portal
• Alertfunktion falls die Differenz
zwischen dem Tageswert und
dem Vortageswert bzw. dem
Durchschnitt größer ist als der
Standardfehler (Streuung vom
empirischen Mittelwert)
• Tägliche Auflistung aller
Felder inkl. Einträge pro
Portal, welche vom
bereitgestellten Regelwerk
für zulässige Feldinhalte
abweichen
Kunden-Report (täglich bereitgestellt)
Quality Reports (täglich vom Team überprüfte Quality-KPIs)
Unit-Tests für die Entwicklung von Crawler als early stage warning system
Laufende Überwachung der IT-Infrastruktur (DB, Server)
11. Analyse
• Bedarfsanalyse (Workshop oder Einzelgespräch)
• Erstellung der Anforderungsbeschreibung
• Definition des Leistungsumfangs
Umsetzung
• Einrichten und Anpassen der Systeme zur Datenlieferung
• Erstellung der Qualitätsreports und Datenexport ins DWH
• Test und Abnahme
Betrieb
• Tägliche Datenlieferung
• Monitoring der Datenqualität
• Strategische Beratung hinsichtlich BIG DATA Analysen
Proof of Concept - Angebot
PROJEKTSTRUKTUR
14. BEISPIELE ZUM FRÜHINDIKATOR FÜR UMZÜGE
2007 2008 2009
• 400 Mitarbeiter
• 50 Stellanzeigen
• 450 Mitarbeiter
• 200 Online-
Stellanzeigen
• Firmen-Umzug !
• 600 Mitarbeiter
• 50 Stellanzeigen
Immobilienscout 24
Fazit: Anstieg der Stellenanzeigenanzahl einer Firma dient als Frühindikator für einen
Firmenumzug -> Stellanzeigen können gecrawlt und den Firmen zugeordnet werden
Nov. 2016 Dez. 2016 Jan. 2017
Ummeldung des
Firmensitze am
Gewerbeamt
Eintragung eines
neuen Firmen-
standorts im Online-
Handelsregister
• Firmen-Umzug !
Lot Internet GmbH
Fazit: Änderung bezüglich dem Firmenstandort im Handelsregister dienen als
Frühindikator für einen Firmenumzug -> das online Handelsregister kann gecrawlt werden