Презентация с вебинара группы 789 - "Что делать с аудиозаписями формализованных интервью?"

1. Что делать с аудиозаписями
формализованных интервью?
Аудит аудиозаписей опросов,
вебинар группы 7/89, 23 июня 2016 г.
Тимур Османов,
Фонд «Общественное мнение»,
Методический Цех

2. Правила

3. Благодарности
• Дмитрий Рогозин, Анна Ипатова, Надежда
Галиева, РАНХиГС, Методический Цех.
• Семён Костин, Марина Роман, ФОМ.
• Наталия Лосенкова, Контекст.
• Павел Иванов, Марина Алексеева, Максима.

4. Ключевая мысль
Прослушивание аудиозаписей –
полноценный исследовательский
инструмент, а не только средство
контроля интервьюеров

5. Зачем прослушивать аудиозаписи?
• Контроль качества полевого этапа исследования – соблюдения
интервьюером методики проведения опроса:
– отбор респондента;
– ведение интервью;
– зачитывание вопросов;
– проверка ввода ответов и исправление ошибок в массиве данных (в т.ч. коррекция
ответов на открытые вопросы).
• Анализ качества инструментария, содержательная аналитика. Восприятие
вопросов и способы ответа на них:
– «Как люди отвечают на вопросы?» (качество формулировок вопросов);
– «Как комментируют выбор той или иной альтернативы» (поиск инсайтов, кейсов);
– «Что вообще происходит во время опроса?»

6. Кому нужно прослушивание
аудиозаписей?
А ребята-то и не знают…
Интервьюер
(звонковый центр)
- обратная связь
- обучение лучшим практикам работы
Заказчик
- качество данных
- методический отчёт
Аналитик-методолог
- поиск инсайтов, кейсов
- понимание работы
вопросов

7. Как отбираются аудиозаписи для
прослушивания?
Задача: отобрать наиболее интересные для
основных целей прослушивания аудиозаписи.
Например:
1. наиболее успешных интервьюеров (лучшие практики);
2. интервью с наибольшим количеством «брака» (контроль);
3. самых осведомлённых респондентов (кейсы, проблемы);
…

8. Как отбираются аудиозаписи для
контроля?
При случайном отборе доля «брака» в непрослушанных
записях не изменится. Задача контроля: локализовать
максимальное число интервью с нарушениями и
прослушивать только их. Это позволит существенно
сэкономить ресурсы на контроль и «почистить» массив.
Проблема: Как это сделать?
отбор записей с учётом параданных,
отбор с учётом логинов интервьюеров (новички, плохо себя
зарекомендовавшие ранее, давно не контролированные)

9. Как проводится прослушивание?
Аудиторы получают:
• Аудиозаписи интервью;
• Анкету опроса;
• Массив ответов или доступ к ответам в ПО, используемом
для сбора данных (Survey Studio, Simple Forms, ForApp и
др.);
• Бланк аудитора с указанием фиксируемых параметров;

10. Как проводится прослушивание?
Что делают аудиторы:
• Прослушивают аудиозапись интервью;
• Сверяют ответы респондентов с отмеченными в массиве;
• Заполняют бланк аудитора – фиксируют заданные в нём параметры
интервью;
• Вносят исправления в массив ответов. Особенно актуально для
открытых вопросов;
• Если по аудиозаписи невозможно установить ответ респондента
(например, вопрос не задавался), перезванивают респонденту и
уточняют ответы на вопросы.

11. Что же фиксируют аудиторы?
Коды должны быть
• понятны
• объективны
• воспроизводимы

12. Кодирование соблюдения методики
• Выборка: фальсификация отбора
• Пропуск вопроса
• Склонение к определённому ответу
• Несоблюдение инструкции к вопросу
• Неверное фиксирование ответа
• Качество связи

13. Кодирование поведения интервьюера
• скорость речи
• вежливость
• нейтральность
o доминирование, подталкивание к
определённому ответу
o реакция интервьюера на реплики респондента
– комментарии, высказывание своего мнения
• участие третьих лиц в интервью
• нефокусированность

14. Кодирование поведения респондента
• нефокусированность
• реакция на вопросы анкеты
• комментарии к вопросам анкеты
• обоснование ответов

15. УСПЕШНЫЕ КЕЙСЫ

16. ПРИМЕР 1: НАЦИОНАЛЬНЫЙ ОПРОС
О ФИНАНСОВЫХ УСЛУГАХ
Успешные кейсы

17. Общий объём выборки – 2431 интервью.
Прослушано 432 интервью (18%).
Анкета содержала несколько табличных вопросов. Инструкция
предписывала интервьюерам зачитывать все позиции.
Интервью на прослушивание в основном отбирались с учётом
параданных (не случайный отбор). При прослушивании
отмечались случаи, когда интервьюер не зачитывал все варианты
ответа.

18. 1. сталкивались 2. не сталкивались 3. затрудняюсь ответить,
отказ от ответа, не
имеет ко мне
отношения
4.1. потеря основной работы 1 2 3
4.2. потеря дополнительной работы,
приработка
1 2 3
4.3. уменьшение или неполная выплата
зарплаты, премии, в том числе из-за
перевода на неполный рабочий день
1 2 3
4.4. сокращение доходов от сдачи в
аренду жилья или другого имущества
1 2 3
4.5. сокращение сбережений из-за того,
что их пришлось тратить на жизнь
1 2 3
4.6. потеря денег на банковском вкладе,
счёте из-за отзыва лицензии, проблем у
банка
1 2 3
4.7. снижение процентов, доходов по
вкладам, инвестициям
1 2 3
4.8. другие финансовые потери 1 2 3
4. Скажите, пожалуйста, в течение последнего года Вы или члены Вашей
семьи сталкивались или не сталкивались с какими-либо денежными,
финансовыми потерями? Я буду перечислять ситуации, а Вы говорите,
случалось ли такое с Вами или кем-то из членов Вашей семьи.
(Последовательно зачитывайте варианты 4.1-4.8. Один ответ по строке.)

19. Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 70,39 130 61 12 20% 22% 5%
70,40 - 80,89 349 61 4 7% 41% 20%
80,90 - 87,20 344 62 2 3% 51% 34%
87,21 - 94,68 366 61 2 3% 61% 49%
94,69 - 104,13 365 60 4 7% 81% 64%
104,14 - 121,49 434 60 2 3% 94% 82%
121,50+ 443 60 1 2% 100% 100%
Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
992 103,2 35,3 95,4
Вопрос 4

20. 1. сможет произойти 2. не может
произойти
3. затрудняюсь ответить,
отказ от ответа, не
имеет ко мне
отношения
5.1. потеря основной работы 1 2 3
5.2. потеря дополнительной работы,
приработка
1 2 3
5.3. уменьшение или неполная выплата
зарплаты, премии, в том числе из-за
перевода на неполный рабочий день
1 2 3
5.4. сокращение доходов от сдачи в
аренду жилья или другого имущества
1 2 3
5.5. сокращение сбережений из-за того,
что их пришлось тратить на жизнь
1 2 3
5.6. потеря денег на банковском вкладе,
счёте из-за отзыва лицензии, проблем у
банка
1 2 3
5.7. снижение процентов, доходов по
вкладам, инвестициям
1 2 3
5.8. другие финансовые потери 1 2 3
5. Как Вы считаете, а что из того, о чём мы сейчас говорили,
с большой вероятностью может произойти с Вами или с кем-то
из членов Вашей семьи в ближайший год?
(Последовательно зачитывайте варианты 5.1-5.8. Один ответ по
строке.)

21. Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
633 82,0 33,7 75,6
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 46,58 140 59 47 80% 67% 6%
46,59 - 57,63 266 62 6 10% 83% 17%
57,64 - 67,88 427 61 1 2% 87% 34%
67,89 - 76,08 400 61 2 3% 95% 51%
76,09 - 89,36 499 62 1 2% 100% 71%
89,37 - 106,59 332 60 0 0% 100% 85%
106,60+ 367 61 0 0% 100% 100%
Вопрос 5

22. 8. Скажите, пожалуйста, за последний год Вы или кто-либо
из членов Вашей семьи делали ли что-нибудь из того,
что я Вам перечислю, чтобы увеличить свои доходы?
(Последовательно зачитывайте варианты 8.1-8.6. Один ответ по
строке.)
1. делали 2. не делали 3. затрудняюсь
ответить, отказ от
ответа
8.1. сменили работу на более денежную,
вышли на работу после перерыва
1 2 3
8.2. нашли приработок, дополнительную
работу, брали больше работы
на основном месте
1 2 3
8.3. вкладывали деньги под более высокие
проценты в банк или в другие финансовые
инструменты, покупали или продавали
валюту
1 2 3
8.4. начали сдавать квартиру или другое
имущество в аренду
1 2 3
8.5. выращивали больше продуктов
в подсобном хозяйстве
1 2 3
8.6. другое 1 2 3

23. Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
530 61,7 22,8 56,6
Вопрос 8
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 39,89 125 60 13 22% 17% 5%
39,90 - 46,21 309 61 5 8% 33% 18%
46,22 - 50,20 304 62 6 10% 51% 30%
50,21 - 56,13 446 61 2 3% 61% 49%
56,14 - 61,98 391 62 2 3% 69% 65%
61,99 - 73,73 424 61 2 3% 77% 82%
73,74+ 432 60 5 8% 100% 100%

24. 9. А в ближайший год что из того, о чём мы сейчас говорили, Вы или
члены Вашей семьи планируете делать, чтобы увеличить свои
доходы? (Последовательно зачитывайте варианты 9.1-9.6. Один ответ
по строке.)
1. делали 2. не делали 3. затрудняюсь
ответить, отказ от
ответа
9.1. сменить работу на более денежную,
выйти на работу после перерыва
1 2 3
9.2. найти приработок, дополнительную
работу, брать больше работы
на основном месте
1 2 3
9.3. вкладывать деньги под более высокие
проценты в банк или другие финансовые
инструменты, покупать или продавать
валюту
1 2 3
9.4. сдавать квартиру или другое имущество
в аренду
1 2 3
9.5. выращивать больше продуктов в
подсобном хозяйстве
1 2 3
9.6. другое 1 2 3

25. Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
498 56,1 22,1 52,6
Вопрос 9
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 22,01 102 59 59 100% 39% 4%
22,02 - 38,28 211 60 21 35% 67% 13%
38,29 - 45,05 390 62 6 10% 82% 29%
45,06 - 51,37 419 60 2 3% 87% 46%
51,38 - 56,89 385 62 3 5% 94% 62%
56,90 - 67,81 442 61 2 3% 100% 80%
67,82+ 482 61 0 0% 100% 100%

26. 20. Скажите, пожалуйста, какими банковскими услугами Вы лично
пользуетесь в настоящее время? (Последовательно зачитывайте
варианты 20.1-20.11. Один ответ по строке.)
1. пользуюсь 2. не пользуюсь 3. затрудняюсь ответить,
отказ от ответа
20.1. пластиковая карта для получения зарплаты, пенсии,
стипендии
1 2 3
20.2. оплата коммунальных услуг через банк 1 2 3
20.3. потребительский кредит 1 2 3
20.4. кредитная карта – карта, по которой можно взять в долг у
банка
1 2 3
20.5. вклад на определённый срок, депозит 1 2 3
20.6. текущий счёт, вклад до востребования, для начисления
пенсии
1 2 3
20.7. дебетовая пластиковая карта, по которой можно
расходовать только имеющиеся на ней средства
1 2 3
20.8. денежные переводы 1 2 3
20.9. автокредит 1 2 3
20.10. ипотечный кредит 1 2 3
20.11. другие банковские услуги 1 2 3

27. Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
530 82,0 27,4 76,4
Вопрос 20
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 53,57 161 60 24 40% 36% 7%
53,58 - 61,04 276 62 6 10% 51% 18%
61,05 - 68,55 393 62 3 5% 62% 34%
68,56 - 75,35 332 60 3 5% 71% 48%
75,36 - 87,45 503 60 3 5% 86% 68%
87,46 - 104,01 402 62 3 5% 97% 85%
104,02+ 364 61 1 2% 100% 100%

28. 21. Какими банковскими услугами Вы лично планируете продолжать
пользоваться в ближайшем году? (Последовательно зачитывайте
варианты 21.1-21.11. Один ответ по строке. В вопросе №21
показываются только те позиции, которые были отмечены в столбце 1
в вопросе №20)
1. планирую
продолжать
2. не планирую
продолжать
3. затрудняюсь ответить,
отказ от ответа
20.1. пластиковая карта для получения зарплаты, пенсии,
стипендии
1 2 3
20.2. оплата коммунальных услуг через банк 1 2 3
20.3. потребительский кредит 1 2 3
20.4. кредитная карта – карта, по которой можно взять в долг у
банка
1 2 3
20.5. вклад на определённый срок, депозит 1 2 3
20.6. текущий счёт, вклад до востребования, для начисления
пенсии
1 2 3
20.7. дебетовая пластиковая карта, по которой можно
расходовать только имеющиеся на ней средства
1 2 3
20.8. денежные переводы 1 2 3
20.9. автокредит 1 2 3
20.10. ипотечный кредит 1 2 3
20.11. другие банковские услуги 1 2 3

29. Вопрос 21
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 11,51 110 59 2 3% 4% 5%
11,52 - 17,52 377 57 11 19% 75% 21%
17,53 - 22,68 368 59 2 3% 88% 38%
22,69 - 28,30 380 59 1 2% 94% 54%
28,31 - 34,29 349 57 1 2% 100% 70%
34,30 - 43,57 369 59 0 0% 100% 86%
43,58+ 318 58 0 0% 100% 100%
Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
530 29,3 14,6 26,7

30. В большинстве случаев диагностировать
несоблюдение инструкций по зачитыванию всех
вариантов ответа можно по времени ответа на
вопрос.
Прослушав 4-7% интервью с минимальным
временем ответа на вопрос можно выявить
существенную часть интервью, в которых
варианты ответа зачитывались не полностью.

31. ПРИМЕР 2: РЕГИОНАЛЬНЫЙ
ЭЛЕКТОРАЛЬНЫЙ ОПРОС
Успешные кейсы

32. Общий объём выборки – 7210 интервью.
Прослушано 1125 интервью (16%).
Анкета содержала несколько вопросов с длинными
списками партий / кандидатов.
Интервью на прослушивание в основном отбирались с
учётом параданных (не случайный отбор). При
прослушивании отмечались случаи, когда интервьюер
не зачитывал все варианты ответа.

33. 18. За какую партию Вы, скорее всего, проголосуете на выборах
в Государственную думу? (Зачитайте позиции 1–14. Один ответ)
1. за партию №1
2. за партию №2
3. за партию №3
4. за партию №4
5. за партию №5
6. за партию №6
7. за партию №7
8. за партию №8
9. за партию №9
10. за партию №10
11. за партию №11
12. за партию №12
13. за партию №13
14. за партию №14
15. испорчу бюллетень
16. не пойду на выборы
17. затрудняюсь ответить

34. Вопрос 18
Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
506 36,6 18,3 33,3
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во "брака"
в прослушанном
Доля "брака"
Прогноз:
Найдено брака
Доля
прослушанного
<= 10,94 196 112 104 93% 16% 3%
10,95 - 17,99 354 112 103 92% 45% 8%
18,00 - 24,37 470 113 57 50% 66% 14%
24,38 - 26,59 470 112 12 11% 71% 21%
26,60 - 28,58 585 113 5 4% 73% 29%
28,59 - 31,13 838 111 4 4% 76% 40%
31,14 - 33,99 937 113 6 5% 80% 53%
34,00 - 37,60 878 112 4 4% 83% 66%
37,61 - 45,05 1168 112 7 6% 89% 82%
45,06+ 1314 111 10 9% 100% 100%

35. Вопрос на знание кандидатов содержал от 17 до 21 фамилий с
должностями (от 1350 до 1700 символов).
Инструкция предписывала интервьюерам зачитывать список
фамилий и должностей полностью без сокращений.
19. Я назову нескольких людей, а Вы скажите про каждого,
известен он Вам или Вы ничего о нём не слышали. Известен или
неизвестен Вам… (Один ответ в каждой строке.
Последовательно зачитывайте каждое имя вместе с
должностью.)

36. Вопрос 19.
Символов в вопросе с
пробелами
Время ответа на вопрос, секунд
Среднее
значение
Стандартное
отклонение
Медиана
1500 178,1 47,4 170,9
Время ответа на вопрос,
секунд
Интервью в
массиве
Прослушано
интервью
Кол-во “брака” в
прослушанном
Доля "брака"
Прогноз:
Найдено
“брака”
Доля
прослушанного
<= 119,42 327 112 25 22% 27% 5%
119,43 - 130,43 394 112 9 8% 39% 10%
130,44 - 139,26 475 113 3 3% 44% 17%
139,27 - 147,24 568 112 1 1% 46% 24%
147,25 - 156,37 691 113 6 5% 60% 34%
156,38 - 166,28 818 111 1 1% 63% 45%
166,29 - 178,17 946 113 0 0% 63% 59%
178,18 - 192,94 874 113 3 3% 71% 71%
192,95 - 216,64 976 112 4 4% 85% 84%
216,65+ 1141 111 4 4% 100% 100%
*Под “браком” понимается неполное зачитывание должностей кандидатов.

37. Что побуждает интервьюеров не
зачитывать все варианты ответов?

38. При прослушивании фиксировалась реакция
респондентов на длинный список кандидатов:
Реакция респондента на вопрос Частота Проценты
положительная 132 11,7
нейтральная 732 65,1
нейтральная, но с комментарием 109 9,7
негативная 152 13,5

39. Реакция респондента на вопрос 19 Частота
Не все варианты
полностью
зачитаны
Доля "брака"
положительно 132 4 3%
нейтрально 732 21 3%
нейтрально с комментарием 109 9 8%
негативно 152 22 14%
Несоблюдение инструкций связано с
поведением респондента:

40. Была и крайне негативная реакция респондентов на
зачитывание всех вариантов:
На вопросе о знании кандидатов было прервано 424
интервью (каждый 18-ый респондент прерывал интервью).
0,0%
1,0%
2,0%
3,0%
4,0%
5,0%
6,0%
Доляпрерванныхинтервьюнавопросе
Порядковый номер вопроса

41. Какие люди прерывали интервью?
Не интересующиеся политикой.
Чаще затрудняются оценить работу
президента, правительства, губернатора,
положение дел в области.
Чаще не знают о выборах в Госдуму и не
собираются в них участвовать.

42. Из-за прерванных интервью
распределения ответов на
содержательные вопросы
сместились на 1-2 п.п.

43. Оборотная сторона соблюдения
инструкций – недовольство
респондентов, прерывание
интервью
Должен ли опрос быть комфортен
для респондента?

44. Что считать ошибкой?
Интервьюер Методолог
Заказчик
Аналитик
Бригадир
Аудитор
Стандартизация
Удержание респондента
Отказ
Переформулирование
вопроса
Фальсификация отбора
Пропуск вопроса
Профессиональное
сообщество
KPI интервьюера
Респондент
Информант
Зачитывание всех вариантов ответа
Склонение к ответу
Высказывание своего мнения
Прерывание
интервью
Короткое интервью
Длинное интервью

45. Ключевая мысль
Прослушивание аудиозаписей –
полноценный исследовательский
инструмент, а не только средство
контроля интервьюеров
Тимур Османов, osmanovtim@yandex.ru

46. ©Рогозин, Д., Картавцев, В., Вьюговская, Е., Галиева, Н. Методический аудит полевых работ. М.: Изд-во Дело, 2016.