2 июля 2011, Я.Субботник в Екатеринбурге Яна Нехорошева "Как мы оцениваем качество поиска" О докладе: О службе асессоров и оценке качества поиска в Екатеринбурге. Что такое качество поиска, как его измерить? Кто такие асессоры и чем они занимаются? Как мы используем оценки? Что делает служба асессоров в Екатеринбурге? Что делать, если вы хотите стать асессором?

1. Как мы оцениваем качество
поиска
Яна Нехорошева
Администратор группы асессоров
Я.Субботник, Екатеринбург, 2 июля 2011 года

2. Качество поиска: зачем и как
его измерять?
2

3. 3

4. 4

5. Что такое хороший ответ?
Решает задачу пользователя
Дает конкретный ответ
Удовлетворяет все потребности по запросу
Актуальный
Чистый
5

6. Зачем мы оцениваем качество поиска?
— Оценить свой прогресс
— Настройка поискового алгоритма
Как мы оцениваем качество?
Асессоры
6

7. Асессоры
Кто такие асессоры?
Релевантность – соответствие документа запросу.
Шкала релевантности:
— Отвечает запросу
— Слабо отвечает
— Не отвечает запросу
7

8. nokia n8 (Москва)
http://www.nokia.ru/products/phones/nokia-n8
8

9. Пример спама
9

10. [поисковик]
10

11. [пистолет грач]
http://nashaataka.narod.ru/b55p54.html
11

12. Как мы используем оценки
асессоров?
12

13. Настройка: обучение робота
отличать хорошие документы от
плохих
Как научить машину отличать яблоки от груш?
У Робота есть факторы: Форма; Цвет; Вкус.
У нас есть набор для обучения – N яблок и М груш.
13

14. Для наших наборов робот определяет факторы:
Теперь для неизвестного фрукта робот сможет по
аналогии определить его тип:
14

15. Аналогично с релевантностью:
У робота есть факторы: Робот сопоставляет факторы и
оценки:
— текстовые
— документ1: содержит слова
— линковые запроса, на него часто кликают.
оценка Рел+
— пользовательские
— документ2: ссылок на него нет, на
У нас есть оценки асессоров: него не кликают. Оценка Нерел.
— документ1: Рел+ Для любого неоцененного документа
из Веба робот знает факторы:
— документ2: Нерел
Документ Х: Есть слова запроса; на
документ кликают; на документ
ссылаются. Вероятно, Документ Х
15 Релевантен запросу

16. Служба асессоров
16

17. Разные виды оценок
Документы Видео
Картинки Сниппеты
17

18. Яна Нехорошева
Администратор группы асессоров
yanan@yandex-team.ru