Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Dirk Lewandowski
This document discusses a study that examined how ordinary search engine users assess the difficulty, effort, and outcomes of simple and complex search tasks.
The study involved 60 participants who were given 12 search tasks (6 simple, 6 complex) and asked to complete pre- and post-task questionnaires rating the difficulty, time effort, query effort, and likelihood of finding the right information. Results showed that users were generally able to correctly judge simple tasks (~90% accuracy) but accuracy dropped to ~2/3 for complex tasks. Statistical analysis found users were significantly better at judging the complexity of simple vs. complex tasks. The study aimed to provide insights into how well users can estimate efforts and outcomes for different types of search tasks.
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Dirk Lewandowski
This document discusses a study that examined how ordinary search engine users assess the difficulty, effort, and outcomes of simple and complex search tasks.
The study involved 60 participants who were given 12 search tasks (6 simple, 6 complex) and asked to complete pre- and post-task questionnaires rating the difficulty, time effort, query effort, and likelihood of finding the right information. Results showed that users were generally able to correctly judge simple tasks (~90% accuracy) but accuracy dropped to ~2/3 for complex tasks. Statistical analysis found users were significantly better at judging the complexity of simple vs. complex tasks. The study aimed to provide insights into how well users can estimate efforts and outcomes for different types of search tasks.
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten
Dirk Lewandowski & Sebastian Sünkler
2. DGI-Konferenz, March 22-23, 2012, Düsseldorf, Germany
Lewandowski, D., & Sünkler, S. (2012). Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten In Social Media und Web Science: Das Web als Lebensraum. Proceedings der 2. DGI-Konferenz (S. 237–249). https://searchstudies.org/wp-content/uploads/2021/06/Lewandowski_Sunkler_Relevance_Assessment_Tool_Ein_Werkzeug_zum_Design_von_Retrievaltests_sowie_zur_weitgehend_automatisierten_Erfassung_Aufbereitung_und_Auswertung_von_Daten.pdf
Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Workshop für die LUH: ForschungsdatenmanagementFrauke Ziedorn
Eine Einführung ins Forschungsdatenmanagement:
Was sind eigentlich Forschungsdaten?
Was sind Metadaten?
Erste Schritte zu Datenmanagementplänen.
Wo kann ich meine Daten ablegen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...Thomas Koch
Am Beispiel des Projektes EnArgus wird eine Methode zur Wissenserschließung und –Modellierung präsentiert, bei der eine Anwendungsdomäne durch Informationsextraktion aus Wiki-Texten (durch Sprachanalyse) erschlossen und in einer Ontologie repräsentiert wird. Die Ontologie dient dabei zur Unterstützung einer intelligenten Volltextsuche.
Information on the frequency and patterns of document usage on open access repositories may give feedback about
a) the value of a document for users
b) the importance of research for the authors
c) the impact of a document (that enhances citation based impact metrics)
Additionally usage information gathered on the repository level may give feedback about
a) how visitors are using a repository (in terms of penetration or navigation)
b) how effectively a repository is connected to other retrieval systems
c) how repository managers may improve their repositories
This presentation discusses
a) the opportunities to utilize usage information as impact scores
b) the opportunities to analyze repository services by usage information
c) an infrastructure to gather interoperable usage information from distributed open access repositories. This infrastructure was implemented in the project OpenAccess Statistics, http://www.dini.de/projekte/oa-statistik/english/ (funded by the German Research Foundation, DFG http://www.dfg.de).
Additionally the results of three surveys focussing on repository services based on ussage information are presented.
Lit:
Bollen, J., Van de Sompel, H., Hagberg, A., Chute, R.: A principal component analysis of 39 scientific impact measures. PLoS ONE 4 (6), art. no. e6022
Bollen, J., Van De Sompel, H., Rodriguez, M.A.: Towards usage-based impact metrics: First results from the MESUR project. Proceedings of the ACM International Conference on Digital Libraries, pp. 231-240
Nicholas, D., Clark, D., Rowlands, I., Jamali, H.R.: Online use and information seeking behaviour: Institutional and subject comparisons of UK researchers. Journal of Information Science 35 (6), pp. 660-676
Herb, U., Scholze, F.: Nutzungsstatistiken elektronischer Publikationen. Zeitschrift fur Bibliothekswesen und Bibliographie 54 (4-5), pp. 234-237
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
Weitere ähnliche Inhalte
Ähnlich wie Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten
Dirk Lewandowski & Sebastian Sünkler
2. DGI-Konferenz, March 22-23, 2012, Düsseldorf, Germany
Lewandowski, D., & Sünkler, S. (2012). Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten In Social Media und Web Science: Das Web als Lebensraum. Proceedings der 2. DGI-Konferenz (S. 237–249). https://searchstudies.org/wp-content/uploads/2021/06/Lewandowski_Sunkler_Relevance_Assessment_Tool_Ein_Werkzeug_zum_Design_von_Retrievaltests_sowie_zur_weitgehend_automatisierten_Erfassung_Aufbereitung_und_Auswertung_von_Daten.pdf
Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Workshop für die LUH: ForschungsdatenmanagementFrauke Ziedorn
Eine Einführung ins Forschungsdatenmanagement:
Was sind eigentlich Forschungsdaten?
Was sind Metadaten?
Erste Schritte zu Datenmanagementplänen.
Wo kann ich meine Daten ablegen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...Thomas Koch
Am Beispiel des Projektes EnArgus wird eine Methode zur Wissenserschließung und –Modellierung präsentiert, bei der eine Anwendungsdomäne durch Informationsextraktion aus Wiki-Texten (durch Sprachanalyse) erschlossen und in einer Ontologie repräsentiert wird. Die Ontologie dient dabei zur Unterstützung einer intelligenten Volltextsuche.
Information on the frequency and patterns of document usage on open access repositories may give feedback about
a) the value of a document for users
b) the importance of research for the authors
c) the impact of a document (that enhances citation based impact metrics)
Additionally usage information gathered on the repository level may give feedback about
a) how visitors are using a repository (in terms of penetration or navigation)
b) how effectively a repository is connected to other retrieval systems
c) how repository managers may improve their repositories
This presentation discusses
a) the opportunities to utilize usage information as impact scores
b) the opportunities to analyze repository services by usage information
c) an infrastructure to gather interoperable usage information from distributed open access repositories. This infrastructure was implemented in the project OpenAccess Statistics, http://www.dini.de/projekte/oa-statistik/english/ (funded by the German Research Foundation, DFG http://www.dfg.de).
Additionally the results of three surveys focussing on repository services based on ussage information are presented.
Lit:
Bollen, J., Van de Sompel, H., Hagberg, A., Chute, R.: A principal component analysis of 39 scientific impact measures. PLoS ONE 4 (6), art. no. e6022
Bollen, J., Van De Sompel, H., Rodriguez, M.A.: Towards usage-based impact metrics: First results from the MESUR project. Proceedings of the ACM International Conference on Digital Libraries, pp. 231-240
Nicholas, D., Clark, D., Rowlands, I., Jamali, H.R.: Online use and information seeking behaviour: Institutional and subject comparisons of UK researchers. Journal of Information Science 35 (6), pp. 660-676
Herb, U., Scholze, F.: Nutzungsstatistiken elektronischer Publikationen. Zeitschrift fur Bibliothekswesen und Bibliographie 54 (4-5), pp. 234-237
Ähnlich wie Ist meine Suchmaschine wirklich so gut, wie ich glaube? (20)
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...Dirk Lewandowski
Die Suche im Internet ist eine einfache Sache: Suchanfrage eingeben, Ergebnis auswählen, lesen, fertig! Doch wie wählen wir eigentlich Ergebnisse aus? Und welche Ergebnisse werden uns überhaupt zur Auswahl angeboten?
In diesem Vortrag werde ich zeigen, wie Nutzer durch bestimmte Formen von Ergebnissen und deren Darstellung beeinflusst werden. Dabei geht es um die Kennzeichnung von Anzeigen, um Googles Eigeninteressen bei der Anzeige seiner eigenen Inhalte (bspw. YouTube) und um die Beeinflussung der Suchergebnisse durch Externe.
Also: Nach diesem Vortrag kann man nicht nur selbst besser suchen, sondern auch besser einschätzen, welchen Einfluss Google darauf hat, welche Informationen wir alle aus dem Web erhalten.
Selbstfahrende Autos, Roboter, Flugtaxis – wenn von künstlicher Intelligenz (KI) die Rede ist, werden oft plastische bis drastische Beispiele gebraucht. Meist werden grundlegende Fragen der künstlichen Intelligenz anhand von Zukunftsszenarien diskutiert. Es lohnt sich jedoch ein Blick auf einen der Bereiche, in denen Verfahren der KI bereits heute deutlich ausgeprägt sind, nämlich die Suchmaschinen im Web.
Suchmaschinen haben sich zu „Next-Generation Search Systems“ (White, 2016) entwickelt. Die von den Suchmaschinen bekannte Technologie wurde erweitert und angepasst, um intelligente Dienste wie Siri, Cortana und Alexa möglich zu machen. Diese zeichnen sich zum einen dadurch aus, dass sie unterschiedliche Eingabeformate (wie Text oder Sprache) verstehen, zum anderen dadurch, dass sie nicht mehr nur Listen von potentiell relevanten Dokumenten, sondern echte Antworten geben.
Der Vortrag zeigt, wie sich Suchmaschinen auf der Basis von Technologien der künstlichen Intelligenz entwickelt haben und was diese Entwicklung für die Informationsrecherche bedeutet. Dass Suchmaschinen einen erheblichen Einfluss darauf haben, welche Informationen gesehen werden, steht außer Zweifel. Sie sind der von den Nutzern bei weitem bevorzugte Weg, um an Informationen (aus dem Web) zu gelangen (Koch & Frees, 2016) und genießen ein hohes Vertrauen (Purcell, Brenner, & Raine, 2012; Stark, Magin, & Jürgens, 2014). Doch ist dieses Vertrauen gerechtfertigt?
Analysing search engine data on socially relevant topicsDirk Lewandowski
This document summarizes a presentation on analyzing search engine data for socially relevant topics. It discusses collecting search results data at scale by automatically querying search engines and scraping results pages. A case study on insurance comparisons is presented where over 20,000 search results were analyzed for 121 queries. The results showed that a small number of domains and providers dominated the top search positions. Limitations and future work are also outlined.
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertDirk Lewandowski
Suchmaschinen haben sich grundlegend geändert: Sie erlauben Eingaben über Text, Sprache und Bilder und geben anstelle der altbekannten Suchergebnislisten zunehmend auch direkte Antworten auf Fragen aus. Um dies zu ermöglichen, analysieren sie neben den Suchanfragen auch persönliche Informationen der Nutzer und ihrer sozialen Netzwerke sowie Massendaten aus vergangenen Suchvorgängen und anderen Interaktionen. Dies verändert die Weise, wie wir suchen und was wir finden.
Doch wie gehen Nutzer mit diesen „Next Generation Search Systems“ in Form von Suchmaschinen, sprachbasierten persönlichen Assistenten und anderen Assistenzsystemen im Alltag um? Und was bedeutet dies auf der einen Seite für das Online-Marketing, auf der anderen Seite für den nach Informationen suchenden Nutzer?
Are Ads on Google search engine results pages labeled clearly enough?Dirk Lewandowski
In an online experiment using a representative sample of the German online population (n=1,000), we compare users’ selection behavior on two versions of the same Google search engine results page (SERP), one showing advertisements and organic results, the other showing organic results only. Selection behavior is analyzed in relation to users’ knowledge on Google’s business model, on SERP design, and on these users’ actual performance in marking advertisements on SERPs correctly. We find that users who were not able to mark ads correctly selected ads significantly more often. This leads to the conclusion that ads need to be labeled more clearly, and that there is a need for more information literacy in search engine users.
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Dirk Lewandowski
Suchmaschinen sind das wichtigste Tor zu den Inhalten des Web – das Web wäre ohne Suchmaschinen gar nicht benutzbar. Doch was wird uns eigentlich auf den Suchergebnisseiten von Google angezeigt? Handelt es sich einfach um neutrale Informationen, die vollautomatisch zusammengestellt werden?
Der Vortrag zeigt, wie die unterschiedlichen Interessen von Suchmaschinenbetreibern, den Inhalteanbietern, den Suchmaschinenoptimierern und uns Nutzern erst im Zusammenspiel die Ergebnisse von Google und Co. generieren. Dabei geht es um die Frage, was diese Einflüsse für uns alles bedeuten, die wir Suchmaschinen zur Informationsrecherche benutzen.
Suchmaschinen sind der meistgenutzte Dienst des Internet; täglich werden viele Milliarden Suchanfragen an Google und Co. gestellt. Doch dieser immensen Nutzung steht ein nur mangelhaftes Wissen über die Suchmaschinen gegenüber. Dabei geht es auf der einen Seite natürlich um ein Verständnis der zugrunde liegenden Technik; Suchmaschinen sind aber weit mehr: Hinter ihnen stehen Unternehmen, die mit der Suche im Web Geld verdienen wollen, Suchmaschinen spielen eine wichtige Rolle für den Informationserwerb in der Gesellschaft, und schließlich spielen Suchmaschinen als Plattform für das Online-Marketing eine bedeutende Rolle bei der Vermittlung zwischen Suchenden und Unternehmen.
Im Vortrag werden die zentralen Akteure auf dem Suchmaschinenmarkt vorgestellt und ausgeführt, warum ein Verständnis von Suchmaschinen aus nur einer Perspektive (sei diese technisch, wirtschaftlich oder gesellschaftlich) nicht ausreicht, sondern wir Suchmaschinen tatsächlich nur verstehen können, wenn wir sie ganzheitlich betrachten.
The document discusses alternatives to Google for web searching. It notes that Google dominates the market, influencing how users perceive and interact with search results. Few true alternatives exist due to economic barriers to creating comprehensive indexes. The author proposes an independent, openly accessible web index to promote diversity and innovation in search applications beyond what any single company can offer. This could motivate new types of search tools and encourage alternatives to the current market dominance.
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
1. Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Evaluierung unter Berücksichtigung von Anfragetyp, Aufgabenkomplexität und
Ergebnispräsentation
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
dirk.lewandowski@haw-hamburg.de
@Dirk_Lew
Berlin, 9. Oktober 2012
Esemos Barcamp Search
4. Fragestellung
• Evaluierung von Suchmaschinen ist meist eindimensional; Problem
der Validität und Reliabilität.
• Resultate aus vereinfachenden Studien geben falsche bzw. ungenaue
Empfehlungen für die Praxis.
• Drei Punkte
– Anfragetypen
– Aufgabenkomplexität
– Ergebnispräsentation
5. Evaluierungsmethoden (Standard)
• Retrievaltests
– Qualität der Suchergebnisse wird anhand einer bestimmten Anzahl von
Suchanfragen und der Ergebnisse dazu überprüft.
• Usabilitytests
– Nutzer bekommen im Labor Aufgaben gestellt und werden bei deren Lösung
beobachtet.
7. Anfragetypen in der Websuche
nach Broder (2002)
• Informational (informationsorientiert)
– Nutzer möchte sich zu einem Thema informieren.
– Ziel sind mehrere Dokumente.
• Navigational (navigationsorientiert)
– Ziel ist es, eine bestimmte Seite (wieder) zu finden.
– Typisch: Suche nach Homepage („Ebay“).
– Ziel ist i.d.R. ein Dokument.
• Transactional (transaktionsorientiert)
– Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll.
– Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
8. Anwendungsfälle: Konkreter vs. problemorientierter
Informationsbedarf
Anwendungsfall Konkret Problemorientiert
Websuche Ebay-Homepage Informationen über die
neue Sherlock-Holmes-
Serie der BBC
Bibliothekskatalog Ist das Buch „Information
Retrieval“ von Stock in
der HAW-Bibliothek
vorhanden?
Welche Bücher gibt es
zum Thema kollaborative
Suche?
Online-Dating Welche Hobbies hat
Natalia73?
Wer passt zu mir?
Produktsuche Was kostet der Roomba
581?
Welcher
Staubsaugroboter ist der
beste?
9. Anfragetypen
• Anfragetypen sind teils maschinell
ermittelbar
• Die Qualität der Studien (vor allem
aus dem SEO-Bereich) ist gering.
Lewandowski, Dirk; Drechsler, Jessica; von Mach, Sonja: Deriving Query Intents From Web Search Engine Queries.
Journal of the American Society for Information Science & Technology 63(2012)9, 1773-1788.
10. Aufgabenkomplexität
• Einfache vs. komplexe Aufgaben
– Wenn man nur mit einfachen Aufgaben evaluiert, greift man zu kurz.
– Komplexe Aufgaben bislang nur in Usabilitytests abgefragt, dort aber i.d.R. zu
wenige Probanden und kein Fokus auf die unterschiedliche Herangehensweise
der Probanden.
– Beispielaufgabe: „Von Zeit zu Zeit werden die Motive auf britischen Banknoten gewechselt.
Im Jahr 2003 musste ein Schriftsteller einem Wissenschaftler auf dem 10 Pfund Schein
Platz machen. Beide Persönlichkeiten haben denselben Vornamen - bitte finden Sie den
Vornamen!“
Singer, G..; Norbisrath, U.; Lewandowski, D.: Ordinary Search Engine Users assessing Difficulty, Effort, and
Outcome for Simple and Complex Search Tasks. Proceedings of the Fourth Information Interaction in Context Symposium.
New York: ACM, 2012, 110-119.
13. Ergebnispräsentation
• Retrievaltests orientieren sich an gerankten Ergebnislisten.
• Ergebnisdarstellung hat sich aber geändert.
– Kennzahlen in Retrievaltests modifizieren?
• Sichtbarkeit (sichtbarer Bereich, unsichtbarer Bereich)
• Screen real estate
• Click-through rates
15. Methodenspektrum
• Logfile-Analysen
• Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer
• Relevanztests
• Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte
Nutzer(gruppen)
• Online-Umfrage
• Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und
Selbstselektion
• Protokollbasierte Nutzerstudien
• Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
(zusätzliche Informationen über den Nutzer; ergänzende Befragung)
• Usability-Test
• Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und
Beweggründen; Problem der geringen Fallzahlen
• Eyetracking
– Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
Angeboten/Elementen von Webseiten
17. Methodenspektrum
• Logfile-Analysen
• Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer
• Relevanztests
• Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte
Nutzer(gruppen)
• Online-Umfrage
• Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und
Selbstselektion
• Protokollbasierte Nutzerstudien
• Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
(zusätzliche Informationen über den Nutzer; ergänzende Befragung)
• Usability-Test
• Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und
Beweggründen; Problem der geringen Fallzahlen
• Eyetracking
– Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
Angeboten/Elementen von Webseiten
Was suchen die Nutzer tatsächlich?
Wie gut sind die angezeigten Ergebnisse?
Wie bewerten Nutzer Musicload im Vergleich
mit anderen Anbietern?
Welche Wünsche haben die Nutzer an eine
ideale Musiksuche?
Welche Elemente auf den Musicload-Seiten
werden wahrgenommen? Wie verlaufen die
Blicke auf den Konkurrenzangeboten?
18. „Korrelationsstudien“
• Kombination aus Retrievaltests und Klassifikationsaufgaben
– Jurorenurteile (Laien) + Klassifikation (Expertenbewertungen)
– Beispiele
• Werden Suchergebnisse, hinter denen eine kommerzielle Intention steht, von den
Nutzern schlechter bewertet?
• Ist die hohe Positionierung von Wikipedia-Ergebnissen in den Suchmaschinen-
Trefferlisten gerechtfertigt?
Lewandowski, Dirk: The influence of commercial intent of search results on their perceived relevance.
Proceedings of the 2011 iConference (iConference '11). ACM, New York, NY, USA, 2011, 452-458.
Lewandowski, Dirk; Spree, Ulrike: Ranking of Wikipedia articles revisited: Fair ranking for reasonable quality?
Journal of the American Society for Information Science and Technology 62(2011)1, 117-132.
19. Tool Support
• Relevance Assessment Tool (RAT)
– Testdesign im Baukastenprinzip
– Automatisches Erfassen von Suchergebnissen von Google, Bing, T-Online,
Amazon, Ebay, ...
– Verteilte Bewertung durch Juroren
• Search Logger
– Aufgabenbasiertes Loggingtool (Entwicklung der Uni Tartu, Estland)
• Search Logger + RAT
– Erst Aufgabe bearbeiten, dann die Relevanz der Dokumente (ob gefunden oder
nicht gefunden) bewerten.
Singer, Georg; Norbisrath, Ulrich; Vainikko, Eero; Kikkas, Hannu: Search Logger: Analyzing Exploratory Search Tasks.
Proceedings of SAC 2011. ACM, New York, USA, 2011, 751-756.
Lewandowski, Dirk; Sünkler, Sebastian: Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests
sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten. In: Proceedings der 2. DGI-
Konferenz: Social Media und Web Science - Das Web als Lebensraum. Frankfurt am Main: DGI, 2012, S. 237-249.
21. Fazit
1. Die aktuell eingesetzten Testmethoden sind nur zum Teil für die
Fragestellungen der Praxis geeignet.
2. Die Auswahl der geeigneten Methode ist essentiell für den Erfolg der
Studie und darf nicht nur vom verfügbaren Equipment bzw. den
„Testgewohnheiten“ abhängig sein.
3. Multimethodenstudien erlauben einen wesentlich detaillierteren Blick
und sind mit entsprechender Softwareunterstützung kostengünstig
durchführbar.
22. Vielen Dank für die Aufmerksamkeit.
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg,
Department Information
http://www.bui.haw-hamburg.de/lewandowski.html
dirk.lewandowski@haw-hamburg.de
@Dirk_Lew