Eine Markt- und Kundenorientierung ist gefragt, um noch eher die Bedürfnisse und Erwartungen der (potentiellen) Kunden zu entsprechen. Dabei ist die Identifikation des Kundennutzens von Produkt-, Service- und Preisleistungen ein zentraler Hebel für eine einzigartige Positionierung im Markt. Erfolgreiche Unternehmen zeichnen sich stets mit einer ausgeprägten Kundenorientierung aus.
Nutzer, Silos, KPIs und Momente der Wahrheit - Customer Journey Mapping im Pr...Niels Anhalt
Am konkreten Praxisbeispiel wird im Vortrag (IAKonferenz 2014, Berlin) aufgezeigt, wie der Online-Fotoservice Pixum die Brand- und User-Experience mit Hilfe von Customer Journey Mapping verbessert, welcher Geschäftsnutzen daraus entsteht und wie die angewendete Methode im Detail funktioniert.
Diese Aspekte werden im Vortrag angesprochen:
- Was ist Customer Journey Mapping?
- Was genau wurde bei Pixum gemacht?
- Welche Methodik wurde konkret angewendet?
- Welcher Nutzen entsteht für den Nutzer?
- Welche geschäftlichen Nutzen in Bezug auf Conversion, Markenwahrnehmung und Nutzerzufriedenheit entstehen daraus?
- Welcher Nutzen für die Organisation und Geschäftsstrategie entsteht daraus?
- Wie kann das Mapping-Framework selber angewendet werden?
Eine Markt- und Kundenorientierung ist gefragt, um noch eher die Bedürfnisse und Erwartungen der (potentiellen) Kunden zu entsprechen. Dabei ist die Identifikation des Kundennutzens von Produkt-, Service- und Preisleistungen ein zentraler Hebel für eine einzigartige Positionierung im Markt. Erfolgreiche Unternehmen zeichnen sich stets mit einer ausgeprägten Kundenorientierung aus.
Nutzer, Silos, KPIs und Momente der Wahrheit - Customer Journey Mapping im Pr...Niels Anhalt
Am konkreten Praxisbeispiel wird im Vortrag (IAKonferenz 2014, Berlin) aufgezeigt, wie der Online-Fotoservice Pixum die Brand- und User-Experience mit Hilfe von Customer Journey Mapping verbessert, welcher Geschäftsnutzen daraus entsteht und wie die angewendete Methode im Detail funktioniert.
Diese Aspekte werden im Vortrag angesprochen:
- Was ist Customer Journey Mapping?
- Was genau wurde bei Pixum gemacht?
- Welche Methodik wurde konkret angewendet?
- Welcher Nutzen entsteht für den Nutzer?
- Welche geschäftlichen Nutzen in Bezug auf Conversion, Markenwahrnehmung und Nutzerzufriedenheit entstehen daraus?
- Welcher Nutzen für die Organisation und Geschäftsstrategie entsteht daraus?
- Wie kann das Mapping-Framework selber angewendet werden?
Zur Video-Aufzeichnung des Webinars:
http://info.userzoom.de/webinar-on-demand-so-geht-ux-research-heute.html
Im umkämpften Online-Markt haben Unternehmen Bedarf:
- Usability und User Experience zu evaluieren und zu verbessern,
- Feedback und Bewertungen von Kunden zu sammeln und zu nutzen,
- Conversion Rates und Markenwarnehmung zu optimieren,
Websites von Wettbewerbern und Design-Varianten zu vergleichen.
Das ist nicht immer einfach, insbesondere mit traditionellen, eher qualitativ ausgelegten UX Research Methoden wie dem Usability Testing. UX Research heute geht hingegen einfach und schnell, agil und flexibel, kostengünstig und gewinnbringend.
Remote Usability Testing und quantitative Methoden sind dabei das Mittel der Wahl für viele UX Professionals – allen voran das unmoderierte quantitative Usability Testing.
Welche Vorteile bringen Ihnen die neuen Tools und Methoden? Wie funktionieren sie?
Diese Fragen beantwortet das Webinar “So geht UX Research heute” u.a. anhand von Fallstudien.
Inhalt:
- Funktionsweise von quantitativen Online UX Research Tools
- Stärken und Schwächen von Online UX Research Tools und Methoden
- Fallstudien
- Planung und Design von Online UX Research Studien
- Rekrutierung von Teilnehmern
- Ergebnisse und Erkenntnisse aus Online UX Research Studien
- Messwerte und Metriken
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten
Dirk Lewandowski & Sebastian Sünkler
2. DGI-Konferenz, March 22-23, 2012, Düsseldorf, Germany
Lewandowski, D., & Sünkler, S. (2012). Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten In Social Media und Web Science: Das Web als Lebensraum. Proceedings der 2. DGI-Konferenz (S. 237–249). https://searchstudies.org/wp-content/uploads/2021/06/Lewandowski_Sunkler_Relevance_Assessment_Tool_Ein_Werkzeug_zum_Design_von_Retrievaltests_sowie_zur_weitgehend_automatisierten_Erfassung_Aufbereitung_und_Auswertung_von_Daten.pdf
Sie wollen mehr über das Erleben und Verhalten Ihrer Kunden und Benutzer erfahren?
Sie moechten die Erlebnisse Ihrer Zielgruppen verstehen und gestalten? Sie interessieren sich für Customer Experience und User Innovations?
Dann sind Sie bei USECON (www.usecon.com) genau richtig, denn seit mehr als 15 Jahren unterstuetzen wir Europas fuehrende Unternehmen im Bereich Experience Management.
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
Weitere ähnliche Inhalte
Ähnlich wie Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Zur Video-Aufzeichnung des Webinars:
http://info.userzoom.de/webinar-on-demand-so-geht-ux-research-heute.html
Im umkämpften Online-Markt haben Unternehmen Bedarf:
- Usability und User Experience zu evaluieren und zu verbessern,
- Feedback und Bewertungen von Kunden zu sammeln und zu nutzen,
- Conversion Rates und Markenwarnehmung zu optimieren,
Websites von Wettbewerbern und Design-Varianten zu vergleichen.
Das ist nicht immer einfach, insbesondere mit traditionellen, eher qualitativ ausgelegten UX Research Methoden wie dem Usability Testing. UX Research heute geht hingegen einfach und schnell, agil und flexibel, kostengünstig und gewinnbringend.
Remote Usability Testing und quantitative Methoden sind dabei das Mittel der Wahl für viele UX Professionals – allen voran das unmoderierte quantitative Usability Testing.
Welche Vorteile bringen Ihnen die neuen Tools und Methoden? Wie funktionieren sie?
Diese Fragen beantwortet das Webinar “So geht UX Research heute” u.a. anhand von Fallstudien.
Inhalt:
- Funktionsweise von quantitativen Online UX Research Tools
- Stärken und Schwächen von Online UX Research Tools und Methoden
- Fallstudien
- Planung und Design von Online UX Research Studien
- Rekrutierung von Teilnehmern
- Ergebnisse und Erkenntnisse aus Online UX Research Studien
- Messwerte und Metriken
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten
Dirk Lewandowski & Sebastian Sünkler
2. DGI-Konferenz, March 22-23, 2012, Düsseldorf, Germany
Lewandowski, D., & Sünkler, S. (2012). Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten In Social Media und Web Science: Das Web als Lebensraum. Proceedings der 2. DGI-Konferenz (S. 237–249). https://searchstudies.org/wp-content/uploads/2021/06/Lewandowski_Sunkler_Relevance_Assessment_Tool_Ein_Werkzeug_zum_Design_von_Retrievaltests_sowie_zur_weitgehend_automatisierten_Erfassung_Aufbereitung_und_Auswertung_von_Daten.pdf
Sie wollen mehr über das Erleben und Verhalten Ihrer Kunden und Benutzer erfahren?
Sie moechten die Erlebnisse Ihrer Zielgruppen verstehen und gestalten? Sie interessieren sich für Customer Experience und User Innovations?
Dann sind Sie bei USECON (www.usecon.com) genau richtig, denn seit mehr als 15 Jahren unterstuetzen wir Europas fuehrende Unternehmen im Bereich Experience Management.
Ähnlich wie Wie können wir (Suchmaschinen-)Nutzer besser verstehen? (20)
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...Dirk Lewandowski
Die Suche im Internet ist eine einfache Sache: Suchanfrage eingeben, Ergebnis auswählen, lesen, fertig! Doch wie wählen wir eigentlich Ergebnisse aus? Und welche Ergebnisse werden uns überhaupt zur Auswahl angeboten?
In diesem Vortrag werde ich zeigen, wie Nutzer durch bestimmte Formen von Ergebnissen und deren Darstellung beeinflusst werden. Dabei geht es um die Kennzeichnung von Anzeigen, um Googles Eigeninteressen bei der Anzeige seiner eigenen Inhalte (bspw. YouTube) und um die Beeinflussung der Suchergebnisse durch Externe.
Also: Nach diesem Vortrag kann man nicht nur selbst besser suchen, sondern auch besser einschätzen, welchen Einfluss Google darauf hat, welche Informationen wir alle aus dem Web erhalten.
Selbstfahrende Autos, Roboter, Flugtaxis – wenn von künstlicher Intelligenz (KI) die Rede ist, werden oft plastische bis drastische Beispiele gebraucht. Meist werden grundlegende Fragen der künstlichen Intelligenz anhand von Zukunftsszenarien diskutiert. Es lohnt sich jedoch ein Blick auf einen der Bereiche, in denen Verfahren der KI bereits heute deutlich ausgeprägt sind, nämlich die Suchmaschinen im Web.
Suchmaschinen haben sich zu „Next-Generation Search Systems“ (White, 2016) entwickelt. Die von den Suchmaschinen bekannte Technologie wurde erweitert und angepasst, um intelligente Dienste wie Siri, Cortana und Alexa möglich zu machen. Diese zeichnen sich zum einen dadurch aus, dass sie unterschiedliche Eingabeformate (wie Text oder Sprache) verstehen, zum anderen dadurch, dass sie nicht mehr nur Listen von potentiell relevanten Dokumenten, sondern echte Antworten geben.
Der Vortrag zeigt, wie sich Suchmaschinen auf der Basis von Technologien der künstlichen Intelligenz entwickelt haben und was diese Entwicklung für die Informationsrecherche bedeutet. Dass Suchmaschinen einen erheblichen Einfluss darauf haben, welche Informationen gesehen werden, steht außer Zweifel. Sie sind der von den Nutzern bei weitem bevorzugte Weg, um an Informationen (aus dem Web) zu gelangen (Koch & Frees, 2016) und genießen ein hohes Vertrauen (Purcell, Brenner, & Raine, 2012; Stark, Magin, & Jürgens, 2014). Doch ist dieses Vertrauen gerechtfertigt?
Analysing search engine data on socially relevant topicsDirk Lewandowski
This document summarizes a presentation on analyzing search engine data for socially relevant topics. It discusses collecting search results data at scale by automatically querying search engines and scraping results pages. A case study on insurance comparisons is presented where over 20,000 search results were analyzed for 121 queries. The results showed that a small number of domains and providers dominated the top search positions. Limitations and future work are also outlined.
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertDirk Lewandowski
Suchmaschinen haben sich grundlegend geändert: Sie erlauben Eingaben über Text, Sprache und Bilder und geben anstelle der altbekannten Suchergebnislisten zunehmend auch direkte Antworten auf Fragen aus. Um dies zu ermöglichen, analysieren sie neben den Suchanfragen auch persönliche Informationen der Nutzer und ihrer sozialen Netzwerke sowie Massendaten aus vergangenen Suchvorgängen und anderen Interaktionen. Dies verändert die Weise, wie wir suchen und was wir finden.
Doch wie gehen Nutzer mit diesen „Next Generation Search Systems“ in Form von Suchmaschinen, sprachbasierten persönlichen Assistenten und anderen Assistenzsystemen im Alltag um? Und was bedeutet dies auf der einen Seite für das Online-Marketing, auf der anderen Seite für den nach Informationen suchenden Nutzer?
Are Ads on Google search engine results pages labeled clearly enough?Dirk Lewandowski
In an online experiment using a representative sample of the German online population (n=1,000), we compare users’ selection behavior on two versions of the same Google search engine results page (SERP), one showing advertisements and organic results, the other showing organic results only. Selection behavior is analyzed in relation to users’ knowledge on Google’s business model, on SERP design, and on these users’ actual performance in marking advertisements on SERPs correctly. We find that users who were not able to mark ads correctly selected ads significantly more often. This leads to the conclusion that ads need to be labeled more clearly, and that there is a need for more information literacy in search engine users.
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Dirk Lewandowski
Suchmaschinen sind das wichtigste Tor zu den Inhalten des Web – das Web wäre ohne Suchmaschinen gar nicht benutzbar. Doch was wird uns eigentlich auf den Suchergebnisseiten von Google angezeigt? Handelt es sich einfach um neutrale Informationen, die vollautomatisch zusammengestellt werden?
Der Vortrag zeigt, wie die unterschiedlichen Interessen von Suchmaschinenbetreibern, den Inhalteanbietern, den Suchmaschinenoptimierern und uns Nutzern erst im Zusammenspiel die Ergebnisse von Google und Co. generieren. Dabei geht es um die Frage, was diese Einflüsse für uns alles bedeuten, die wir Suchmaschinen zur Informationsrecherche benutzen.
Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Suchmaschinen sind der meistgenutzte Dienst des Internet; täglich werden viele Milliarden Suchanfragen an Google und Co. gestellt. Doch dieser immensen Nutzung steht ein nur mangelhaftes Wissen über die Suchmaschinen gegenüber. Dabei geht es auf der einen Seite natürlich um ein Verständnis der zugrunde liegenden Technik; Suchmaschinen sind aber weit mehr: Hinter ihnen stehen Unternehmen, die mit der Suche im Web Geld verdienen wollen, Suchmaschinen spielen eine wichtige Rolle für den Informationserwerb in der Gesellschaft, und schließlich spielen Suchmaschinen als Plattform für das Online-Marketing eine bedeutende Rolle bei der Vermittlung zwischen Suchenden und Unternehmen.
Im Vortrag werden die zentralen Akteure auf dem Suchmaschinenmarkt vorgestellt und ausgeführt, warum ein Verständnis von Suchmaschinen aus nur einer Perspektive (sei diese technisch, wirtschaftlich oder gesellschaftlich) nicht ausreicht, sondern wir Suchmaschinen tatsächlich nur verstehen können, wenn wir sie ganzheitlich betrachten.
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Dirk Lewandowski
This document discusses a study that examined how ordinary search engine users assess the difficulty, effort, and outcomes of simple and complex search tasks.
The study involved 60 participants who were given 12 search tasks (6 simple, 6 complex) and asked to complete pre- and post-task questionnaires rating the difficulty, time effort, query effort, and likelihood of finding the right information. Results showed that users were generally able to correctly judge simple tasks (~90% accuracy) but accuracy dropped to ~2/3 for complex tasks. Statistical analysis found users were significantly better at judging the complexity of simple vs. complex tasks. The study aimed to provide insights into how well users can estimate efforts and outcomes for different types of search tasks.
5. Nutzer verstehen – was heißt das eigentlich?
• Die Wünsche der Nutzer an ein ideales Suchsystem kennen?
• Die Suchanfragen der Nutzer interpretieren?
• Die konkreten Probleme der Nutzer mit einem konkreten System kennen?
• Die Informationsbedürfnisse der Nutzer eines konkreten Systems kennen?
• ... ?
6. Modell der Suchmaschinen-Qualität
(Lewandowski & Höchstötter 2007, ergänzt)
• Qualität des Index
– Größe des Datenbestands, Abdeckung des Web
– Abdeckung bestimmter Bereiche (Sprachräume, Länder)
– Überschneidungen der Indices
– Aktualität des Datenbestands
• Qualität der Suchresultate
– Retrievaleffektivität
– Zuverlässigkeit der Suchergebnisse
– Zufriedenheit der Nutzer
– Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung
– Aufbau der Trefferseiten
7. Modell der Suchmaschinen-Qualität
(Lewandowski & Höchstötter 2007, ergänzt)
• Qualität des Index
– Größe des Datenbestands, Abdeckung des Web
– Abdeckung bestimmter Bereiche (Sprachräume, Länder)
– Überschneidungen der Indices
– Aktualität des Datenbestands
• Qualität der Suchresultate
– Retrievaleffektivität
– Zuverlässigkeit der Suchergebnisse
– Zufriedenheit der Nutzer
– Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung
– Aufbau der Trefferseiten
8. Methoden
• Logfile-Analysen
– Alle Nutzerinteraktionen in einer Suchmaschine
• Online-Umfrage
– Befragung mittels Online-Fomularen
• Retrievaltest
– Abfrage der Qualität von Suchergebnissen mittels Befragung
• Protokollbasierte Nutzerstudie
– Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
• Usability-Test
– Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen
• Eyetracking
– Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
Angeboten/Elementen von Webseiten
9. Logfile-Analysen
• Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer
Suchmaschine.
+ Komplette Erfassung aller Interaktionen mit der Suchmaschine, daraus in der Regel
eine große Stichprobe.
+ Gut geeignet, um einen Einblick in die Suchanfragen der Nutzer zu bekommen.
- Keine Informationen über die Nutzer.
- Keine Vergleiche möglich, da Daten nur von der eigenen Suchmaschine vorliegen.
- Kann erst eingesetzt werden, wenn ein fertiges System mit echten Nutzern vorliegt.
13. Online-Umfrage
• Befragung der echten Nutzer einer Suchmaschine
+ Es lässt sich relativ schnell eine große Nutzerzahl befragen.
+ Auswertung wenig problematisch.
- Selbstselektion der Befragten.
- Es können nur Nutzer erreicht werden, keine Nichtnutzer.
14. Retrievaltest
• (Anonymisierte) Bewertung der Qualität der Ergebnisse.
+ Etablierte Methode zur Bewertung der Ergebnisqualität.
+ Möglichkeit, große Mengen von Treffern bewerten zu lassen.
+ Die Ergebnisse werden ohne Kenntnis der Suchmaschine(n) bewertet, Markeneffekte
u.ä. entfallen daher.
- Ergebnisse werden isoliert betrachtet, daher Rückschlüsse auf Ergebnismengen
problematisch.
- Suchaufgaben artifiziell, dadurch Verzerrung der Ergebnisse möglich.
17. Protokollbasierte Nutzerstudie
• Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert
auf konkreten Aufgabestellungen.
+ Verbindung von echten Interaktionsdaten mit Daten über die konkreten Nutzer.
+ Vor- und Nachbefragungen möglich.
+ Erfassung problemlos möglich; Protokollierung während des Tests ist nicht störend.
- In der Regel auf eine relativ kleine Nutzerzahl beschränkt.
- Rückmeldungen werden nur über Fragebögen erfasst.
18.
19. Usability-Test
• Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und
befragt.
+ Gute Methode, um Probleme bei der Nutzung und Nutzerwünsche herauszufinden.
+ Möglichkeit der Nachfrage; Eingehen auf den individuellen Nutzer.
- In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen
werden muss.
- Verfälschung durch Laborsituation.
22. Eyetracking
• Beobachtung des Blickverhaltens während der Arbeit am Bildschirm.
+ Gute Methode, um die Platzierung von Elementen auf den Seiten zu prüfen.
- In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen
werden muss.
- Verfälschung durch Laborsituation.
27. Methodenkombinationen
• Typische Beispiele für Grenzen der Untersuchungsmethoden:
– Der Retrievaltest ergibt, dass die Ergebnisse im Vergleich zur Konkurrenz gut
sind. Die Nutzer verwenden die Suchmaschine trotzdem nicht.
– Der Usabilitytest ergibt, dass die Qualität der Ergebnisse schlecht ist.
– Die Logfileanalyse ergibt, dass Nutzer immer wieder an einer bestimmten Stelle
in der Interaktion abbrechen.
– Das Eyetracking zeigt, dass die Drill-Down-Menüs nicht wahrgenommen werden.
à Nur durch Methodenkombination können Suchsysteme adäquat evaluiert werden.
28. Methodenkombination: Beispiele
Evaluierung und Verbesserung der
Musiksuche
• Laborstudie
– Aufgabenbasierte Usability-Tests
– Eyetracking
• Retrievaltest
à U.a. konnten Gründe für die von den
Nutzern bemängelte Ergebnisqualität
gefunden werden.
29. Methodenkombination: Beispiele
Usability-Studie zur lokalen Suche bei T-
Online
• Laborstudie
– Aufgabenbasierte Usability-Tests
– Eyetracking
• Logfile-Analyse
à U.a. konnten in der Laborstudie
aufgetretene Schwierigkeiten mit mehreren
Eingabefeldern anhand der Logfiles belegt
werden.
30. Methodenkombination: Beispiele
Interpretation von Suchanfragen
• Logfile-Analyse
• Online-Umfrage (getriggert)
à U.a. konnte gezeigt werden, dass Nutzer
Schwierigkeiten bei der Beschreibung/
Klassifizierung ihrer eigenen
Informationsbedürfnisse haben.
31. Fazit
1. Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen.
2. Bei der Evaluierung von Suchsystemen sollte jeweils eine geeignete
Methodenkombination gewählt werden.
3. Evaluierung des Suchprozesses und der Suchergebnisse sind
essentiell für die Verbesserung von Suchsystemen.
32. Vielen Dank für Ihre Aufmerksamkeit
Dirk Lewandowski
dirk.lewandowski@haw-hamburg,de
http://www.bui.haw-hamburg.de/lewandowski.html