Доказательная практика

1. Доказательная практика в сфере
защиты детства:
реестры «доказанных практик»
2017
Обзор материалов, подготовленных
по заказу Фонда Тимченко

2. 2
«Доказательная практика» в сфере защиты детства
Данное определение
опирается на базовые
принципы научных
исследований, но при этом
отдает должное
практическому опыту
специалистов сферы защиты
детства, а также полностью
признает ценности семей,
получающих услуги.
Для сравнения: «практические доказательства» (ПД; practice-based
evidence) – это свидетельства эффективности, которые поступают от
профессионалов и работников, оказывающих услуги на местах, и
согласуются с потребностями и ценностями местного сообщества.

3. 3
Зачем нужны реестры доказательных практик (программ)?
• Получать доказательства, позволяющие понять, способствуют
ли разрабатываемые, приобретаемые или финансируемые
продукты или услуги положительным изменениям, и не
приводят ли они при этом к негативным (нежелательным)
изменениям [выявить ятрогенные эффекты].
• Достичь уровня точности данных, признанного научным
сообществом, и одновременно с этим создать условия, при
которых работа по измерению социального эффекта будет
соответствовать этапам разработки продуктов, услуг и
программ широкого спектра.
• Упростить специалистам поиск программ, которые решают
проблемы, имеющие отношение к их работе.
• Точно определять, какую именно потребность эффективно
удовлетворяет данная программа (однозначно отвечать на
вопрос «в чем она эффективна»).
Здесь и далее используется литература: http://socialvalue.ru/?p=1071

4. 4
Стандарты доказательной информации: Задачи
На примере Стандартов NESTA Standards of Evidence for Impact Investing
1. Обеспечение скрининга инвестиционных проектов сведениями о
потенциальном социальном эффекте: прежде чем принять инвестиционное
решение, фонд анализирует сведения о продуктах и услугах, чтобы понять (а) на
каком уровне Стандартов пребывают инновации в настоящий момент, и (b) в
какой мере можно доверять озвученным прогнозам.
2. Разработка плана воздействия на общество: если принято решение в пользу
инвестиций, то Стандарты используются для оказания помощи в разработке
оценочной стратегии.
3. Проработка дальнейших финансовых решений: фонд намерен измерять
социальный эффект всех поддержанных продуктов и услуг, чтобы понять,
являются ли они эффективными, как они работают, и смогут ли претендовать на
инвестиции в дальнейшем.
4. Базис для изучения и проверки доказательств социальной эффективности
конкретных интервенций или услуг. Инновации, претендующие на поддержку
со стороны Инновационного фонда, проходят оценку на основе Стандартов
доказательной информации и получают финансирование при условии
соответствия (как минимум) Уровню 1 после согласования плана, отражающего
действия по переходу инновации на более высокие уровни Стандартов.

5. 5
РЕЕСТРЫ ДОКАЗАТЕЛЬНЫХ
ПРАКТИК, НЕ
ПРЕДЪЯВЛЯЮЩИЕ
ТРЕБОВАНИЙ К
КОНКРЕТНЫМ ТИПАМ
ДАННЫХ ИЛИ МЕТОДАМ
ИССЛЕДОВАНИЙ

6. 6
Примеры реестров доказательных практик
• Калифорнийский информационно-
координационный центр доказательной практики
(The California Evidence-based Clearinghouse, CEBC ),
США: Реестр программ (Program Registry)
http://www.cebc4cw.org/home
• Инвестиционный фонд Nesta, Великобритания:
Стандарты доказательной информации фонда Nesta
(The Nesta Standards of Evidence).
http://www.nesta.org.uk/publications/nesta-standards-
evidence

7. 7
CEBC - The California Evidence-based Clearinghouse
Центр CEBC не характеризует программы
как «основанные» или «не основанные на
доказательствах», а применяет Научную
рейтинговую шкалу (SRS - Scientific Rating
Scale), которая детально рассматривает
различные уровни подтверждающей
информации, полученной в ходе
исследований, и ранжирует их по шкале от
1 до 5 баллов.
Некоторые программы CEBC относит к
категории «нерейтинговых практик»,
которые не поддаются оценке по данной
шкале. Более 40% всех программ,
указанных в реестре CEBC, не располагают
доказательствами, которые можно было
бы оценить по научной шкале.
Сведения, на основе которых проводится
ранжирование, на сайте CEBC
определены как «искомые конечные
результаты исследований,
опубликованные в рецензируемых
научных журналах».

8. 8
NESTA Standards of Evidence for Impact Investing
NESTA не связывает «доказательства» с конкретными типами данных или методиками
исследований. Фонд заинтересован в получении высококачественной, надежной и
достоверной информации, позволяющей выявлять самые перспективные инновации,
и, затем, продолжать работу по формированию релевантных доказательств,
свидетельствующих об эффективности продуктов и услуг.

9. 9
Выбор имеющихся практик или доказательная база своей?
Далеко не всегда освоение «доказательной
практики», предлагаемой коллегами по сектору,
является для организации единственным способом
удовлетворения своих потребностей в развитии
услуг. Формирование доказательной базы для
перспективной действующей программы может
оказаться достойной альтернативой применению
«чужих» практик.

10. 10
Формирование доказательной базы
• Развивать партнерские отношения
с исследовательскими
организациями
• Начинать подобную работу с
процессной оценки (process
evaluation), которая изучает
структуру и практику программы
(логическую модель, систему
работы с данными, и процесс
выполнения инициативы).
Оценка оцениваемости
(Evaluability Assessment) – это
разновидность процессной оценки,
которая помогает выяснить, в какой
мере оценка социальных
результатов/изменений является
обоснованной, целесообразной и
способной предоставить полезную
информацию.
Ресурсы, посвященные проведению
оценки оцениваемости
http://betterevaluation.org/themes/eva
luability_assessment
Первые шаги

11. 11
Методы исследования
«Золотой стандарт»
• Рандомизированное
контролируемое исследование
(РКИ/ Randomized Controlled Trial) –
Измеряет эффект программы
посредством произвольного
(случайного) формирования
выборки, включающей выпускников
программы, либо контрольной
группы, объединяющей тех, кто в
программе не участвовал.
При его недоступности
• Ситуационные эксперименты
(Opportunistic Experiment) – это РКИ,
использующие практические
возможности для рандомизации
[например участники интервенции и
клиенты, внесенные в лист
ожидания, определяются на основе
лотереи].
• Квазиэксперименты (Quasi-
Experiments) создание контрольной
группы и группы людей, которые
подвергались воздействию, но при
этом формирование групп не
предполагает применения метода
случайной выборки.

12. 12
РЕЕСТРЫ ДОКАЗАТЕЛЬНЫХ
ПРАКТИК,
ПРЕДЪЯВЛЯЮЩИЕ
ТРЕБОВАНИЯ К
КОНКРЕТНЫМ ТИПАМ
ДАННЫХ ИЛИ МЕТОДАМ
ИССЛЕДОВАНИЙ

13. 13
Примеры реестров доказательных практик
• Организация Blueprints for Healthy Youth
Development («Программы воспитания
жизнеспособного поколения молодежи»), США:
Доказательный континуум (Evidence Continuum)
http://www.blueprintsprograms.com/programs
• Управление делами в сфере профилактики и
лечения наркотической зависимости и психических
расстройств (The Substance Abuse and Mental Health
Services Administration), США: Национальный реестр
программ и практик с доказанной эффективностью
(The National Registry of Evidence-based Programs and
Practices, NREPP)
http://nrepp.samhsa.gov/reviews_program.aspx
• Корпорация служения нации и обществу (The
Corporation for National & Community Service), США:
Стандарты доказательства Фонда социальных
инноваций (SIF - The Social Innovation Fund)
https://www.nationalservice.gov/programs/social-
innovation-fund/evidence-evaluation

14. 14
Рейтинг программ The NREPP Outcome Rating Instrument
1. Строгость.
2. Размер эффекта: удалось ли программе
получить социальный эффект; насколько
значительным он оказался; и каким был
его характер (при наличии необходимых
данных).
3. Корректность выполнения программы:
выполнена ли программа в соответствии с
изначальным планом, и получила ли
вмешательство/услуги целевая аудитория.
4. Рамочная концепция
А. Цели программы: четкость
формулировки.
Б. Компоненты программы: какое
значение имеют виды деятельности или
компоненты программы для достижения
поставленной цели.
В. Теория изменений: степень
правдоподобности теории воздействия на
общество, разработанной для данной
программы.
Критерий «Строгость» (Rigor)
1.Дизайн/набор в группы
2.Изначальное распределение по группам
3.Статистическая точность
4.Претестовая эквивалентность
5.Претестовая корректировка
6.Аналитический метод
7.Дополнительные угрозы внутренней
валидности
8.Надежность измерений
9.Валидность измерений
10.Выбывание

15. 15
Критерии SIF - The Social Innovation Fund
Определение Пример
Доказательства начального уровня
Модель или практика располагает подтверждениями
эффективности, основанными на рациональной
гипотезе, подкрепленной убедительными выводами
исследования.
1) анализ социальных результатов, включающий
контроль состояния участников в период выполнения
программы и изучение отзывов участников на этапе ее
завершения; 2) исследования, включающие
проведение начальных и заключительных тестов.
Доказательства среднего уровня
Данные предыдущих оценок программы, дизайны
которых способны обеспечить подтверждение
заключений о причинно-следственных связях, но
ограничены в возможностях для обобщения данных.
1) (квази)экспериментальное исследование,
подтверждающее эффективность программы, но с
ограниченными возможностями для обобщения; или
2) корреляционные исследования со строгим
статистическим контролем за объективностью
формирования выборок и методами оценки влияния
внутренних факторов.
Надежные доказательства
Данные предыдущих оценок программы, дизайны
которых обеспечивают подтверждение заключений о
причинно-следственных связях и включают
достаточно обширный круг участников, необходимых
для внедрения практики в широких масштабах на
уровне региона или всей страны.
(1) более одного тщательно спланированного и
профессионально проведенного экспериментального
или квазиэкспериментального исследования,
подтверждающего эффективность практики, стратегии
или программы; или (2) одно крупное, тщательно
спланированное РКИ, проведенное на многих
площадках.

16. 16
Доказательный континуум (Evidence Continuum) Blueprints for Healthy Youth Development
.

17. 17
Перспективные (Promising) программы по Blueprints (1)
Качество оценки
A. Для оценки программы было проведено
как минимум одно РКИ или два
квазиэксперимента на этапах запуска и
внедрения модели
A1. Направление на интервенцию
согласуется с уровнем, который приемлем
для данного вмешательства (т.е. это может
быть индивидуальный уровень, класс, школа
и т.д.).
A2. Используются надежные объективные
показатели, отражающие особенности
целевой аудитории данного вмешательства
и желаемых результатов.
A3. Анализ строится на первоначальной
рандомизации участников.
A4. Проводится надлежащий статистический
анализ.
A5. Анализ базовых различий
свидетельствует об эквивалентности
экспериментальной и
сравнительной/контрольной групп.
B. Имеется четкое описание
демографических характеристик аудитории
исследования.
С. Представлены документы, в которых
сообщается о том, «что именно» получили
участники в ходе испытаний в рамках
данного вмешательства. Любые
существенные отклонения от дизайна
интервенции должны быть
запротоколированы
D. Свидетельства существенной
неравномерной убыли в составе участников
не обнаружены.
E. Показатели результатов/изменений не
зависят от уникального содержания
интервенции.
F. Показатели результатов/изменений не
должны формироваться человеком или
людьми, проводившими интервенцию.

18. 18
Перспективные (Promising) программы по Blueprints (2)
Эффективность вмешательства
А. Имеются свидетельства устойчивого и
статистически значимого положительного
влияния на плановый показатель в
преобладающем числе исследований,
соответствующих Критериям качества
оценки.
B. Отсутствие ятрогенных воздействий на все
подгруппы участников интервенции.
Специфичность вмешательства
А. Четко обозначены изучаемые объекты или
клиенты, являющиеся потенциальными
получателями вмешательства.
B. Конечные результаты вмешательства
четко обозначены, и согласуются [совпадают
или логически согласуются] с результатами
Blueprints.
C. Указано теоретическое обоснование
программы или ее логическая модель с
факторами риска и защиты, на которые
стремится повлиять программа, и
механизмами изменений.
D. Имеется документация, отражающая
структуру запланированного вмешательства,
а также описание его содержания и процесса
реализации.
Готовность к распространению
А. Хорошо проработан выход программы на
целевую аудиторию.
B. Имеются обучающие материалы,
протоколы и четкое описание порядка
выполнения работ.
C. Указаны сведения о необходимых
финансовых ресурсах.
D. Представлены официальные сведения о
необходимых человеческих ресурсах.
E. После проведения оценки информация о
программе остается доступной для
потенциальных пользователей.

19. 19
Модельные (Model) и Модель Плюс (Model Plus) программы по Blueprints
Модельные программы
В дополнение к критериям
«Перспективной программы»:
Качество оценки
Проведено два РКИ высокого качества
либо одно РКИ и одна
квазиэкспериментальная оценка.
Эффективность вмешательства
Проведена по меньшей мере одна оценка
долгосрочного эффекта (не ранее 12
месяцев после завершения интервенции;
по как минимум одному показателю
изменений), которая свидетельствует о
том, что после выхода участников из
программы полученные результаты
сохраняют свою устойчивость.
Модель плюс
Программы «Модель плюс» - это
программы, которые соответствуют еще
одному дополнительному критерию.
Независимая проверка
В рамках как минимум одного
исследования высокого качества,
демонстрирующего желаемые
результаты, состоялся сбор и анализ
данных, проведенный исследователем,
который не является бывшим или
действующим членом исследовательской
команды и не имеет финансовой
заинтересованности в данной программе.

20. 20
ОСОБЕННОСТИ
ДОКАЗАТЕЛЬНОЙ ПРАКТИКИ
В СФЕРЕ СОЦИАЛЬНЫХ
ПРОГРАММ ДЛЯ ДЕТЕЙ И
СЕМЕЙ

21. 21
«Доказательная практика» в сфере защиты детства: особенности
• Существование в программе многих компонентов,
которые могут приводить к разным результатам /
эффектам
• Специфичность для узких целевых групп
• Особое внимание к паттернам участия в исследовании
(intent-to-treat, выбывание)
• Консенсус по поводу детского благополучия ->
Существование баз результатов, с которыми должны
формально или логически согласовываться результаты
программ, накапливающих доказательную базу

22. 22
Многокомпонентность
Для исследований программы необходимо четкое описание
запланированной интервенции:
1.содержание вмешательства (например, информирование, консультации,
тренинги, материальная помощь, представительство интересов/защита прав)
2.тип провайдера (например, социальный работник, педагог, психолог,
волонтер)
3.продолжительность воздействия (например, 3 часа, 6 недель, учебный год)
4.продолжительность каждого контакта/участия в сессии (например, 2 часа)
5. частота сеансов/контактов (например, ежедневно, еженедельно,
ежемесячно)
6.учреждения (например, школа, общественный центр, медицинский
центр/клиника)
7.формы работы (например, групповые и/или индивидуальные занятия).
В случае многокомпонентного вмешательства (например, включающего
отдельные компоненты для детей, для родителей, а также совместные
мероприятия для детей и родителей) описание такого же формата
следует составить для каждого компонента.

23. 23
Специфичность для узких целевых групп
Для исследований программы необходимо четкое описание целевой
группы:
• релевантные демографические характеристики (возраст, пол,
этническая принадлежность, социально‐экономический статус,
местожительства - город/пригород/сельская местность)
• критерии отбора по заданным характеристикам (например, степень
риска, статус защитных факторов, минимальный уровень изучаемого
результата, или некоторые индивидуальные или семейные
особенности), а также процесс скрининга
• все критерии, на основании которых производится включение или
исключение из состава участников программы

24. 24
Особое внимание к паттернам участия в исследовании
• Изначальное распределение по группам (ITT - Intent-to-Treat / OGA –
Original Group Assignment) В процессе изучения данного элемента
эксперты смотрят, в какой мере анализ опирался на информацию о
том, в какую группу изначально были направлены люди/кластеры –
независимо от того, что они получили в итоге, и какой была степень
данного вмешательства. Например, даже если некоторые участники,
направленные в экспериментальную группу, так и не получили
терапию/лечение/услугу, получили ее частично, либо во время
исследования проходили другие анализируемые испытания, их все
равно следует отнести к группе, получающей вмешательство.
• Выбывание (Attrition). Необходимо сообщать показатели выбывания
из контрольной группы и группы, включающей участников
программы, и пояснять, не имеется ли существенных различий по
данному показателю между разными испытаниями в плане
демографических характеристик, релевантных факторов риска и
защиты, и показателей результатов/изменений. Если участники
выбывают в ходе исследования, то это обстоятельство может
отразиться на эквивалентности групп.

25. 25
ИСПОЛЬЗУЕМАЯ ЛИТЕРАТУРА: HTTP://SOCIALVALUE.RU/?P=1071
ПЕРЕВОДЫ СДЕЛАНЫ ПО ЗАКАЗУ ФОНДА ТИМЧЕНКО.