Мониторинг и оценка проектов ПРООН-ГЭФОбучающий семинар для менеджеров проектов ПРООН-ГЭФ

1. Мониторинг и оценка проектов ПРООН-ГЭФОбучающий семинар для менеджеров проектов ПРООН-ГЭФ Душанбе, Таджикистан22-24 февраля 2011 Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

3. Понять смысл и назначение «логических рамок» (logframe)

4. Обучиться подготовке ежегодных отчетов (ПИР)

5. Познакомиться друг с другом и обменяться опытом

7. Начальная стадия проекта

8. ПИР: Project Implementation Review

10. Независимая оценка проектов

11. Мониторинг социально-экономических результатов

12. Управление знаниями и PRДень 3:Ознакомительная поездка на проект ВИЭ/ЭЭ

13. Часть I: Введение в мониторинг и оценку Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

15. Отчет перед донором, государством и другими партнерами

16. Контроль над ситуацией и своевременное выявление проблем

18. Страновой офис, региональный центр, штаб-квартира - регулярно

20. Основные элементы мониторинга в проектах ГЭФ 6

23. Annual Impact Reviews (на основе ПИРов)

24. Country Portfolio Evaluations(Турция, Молдова)

25. Tracking Tools (новое требование)Более подробно на странице ГЭФ: http://www.thegef.org/gef/eo_office 7

26. Пример плана мониторинга и оценки: Казахстан ЭЭ в зданиях 8

27. 9 Follow-up action 1 Подготовить и направить в RCU (Марине) до 15 марта годовой план мониторинга и оценки на 2011 год

28. Часть II: Логические рамки проекта Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

29. 11 Логические рамки – ключевой инструмент мониторинга и оценки Логические рамки проекта ГОДОВОЙ БЮДЖЕТ И РАБОЧИЙ ПЛАН

30. 12 Логические рамки – ключевой инструмент мониторинга и оценки PROJECT IMPACT RISK LOG

31. 13 Логические рамки – обязательные показатели GEF Project Impact Metrics for Climate Change Indicators 0 = No standards are in place – may have been discussed; 1 = Standards may have been discussed and formally proposed; 2 = Standards have been formally proposed but not adopted; 3 = Standards have been formally adopted, but have no enforcement mechanism; and 4 = Standards are adopted, have enforcement mechanism, and sales of EE appliances or construction/retrofitting of EE buildings are on the upswing.

32. 14 Логические рамки – обязательные показатели GEF Project Impact Metrics for Climate Change Indicators

33. 15 Логические рамки – обязательные показатели GEF Project Impact Metrics for Climate Change Indicators

34. 16 Логические рамки – обязательные показатели GEF Project Impact Metrics for Climate Change Indicators

35. 17 Atlas Risk Log

36. Management Response: Risk Management / View Details

37. 19 Follow-up action 2 Заполнить матрицу рисков в Атласе и регулярно ее обновлять (рекомендовано раз в месяц)

38. 20 Логические рамки – изменения В начальной фазе и после среднестоимостной оценки Только через Совет ГЭФ Регулярно

39. 21 Логические рамки – практическое задание Понятны ли цели? Укажите источники проверки для каждого целевого показателя Предусмотрите действия в рамках годового плана M&E для сбора необходимой информации/данных, чтобы обеспечить мониторинг достижения целей проекта Каковы основные риски/предпосылки, связанные с достижением целей проекта?

40. 22 Follow-up action 3 Еще раз ознакомиться с логическими рамками проектов (на уровне целей и задач), подготовить и включить в ежегодный план мониторинга и оценки проекта мероприятия по сбору информации и данных для обеспечения мониторинга целей и задач проекта: Для проектов в начальной стадии: уточнение базовой ситуации Для проектов, находящихся в стадии реализации более 2 лет: мониторинг достижения целей проекта

41. Часть III: Начальная стадия проекта Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

43. Внешний (основные партнеры)4) Проведение дополнительных исследований/анализа и подготовка Inception Report 5) Создание и проведение первой (установочной) встречи Координационного комитета До 6 месяцев с мосента подписания продока!

45. Обновить/уточнить базовую линию/целевые показатели

46. Предоставить детальное описание предполаганмых мероприятий по каждому из компонентов проекта

47. Описать текущий статус проекта (следуя логическим рамкам)

48. Провести оценку рисков (включая Атлас)

49. Уточнить и формализовать структуру управления проектом

50. Подготовить бюджет и рабочий план проекта на первый год

52. 27 Вопросы?

53. Часть IV: Project Implementation Review (PIR) Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

55. Когда: июль – август(как минимум 1 месяц!)

57. GEF, UNDP, CO2, GHG

58. Проверка орфографии

59. Краткость - сестра таланта (А. П. Чехов)

61. Progress in project implementation

62. Project assessment by PM, CO and RCU

63. Updated Risk Log

64. Adjustment to project strategy and timeframe

65. Financial information: delivery of GEF resources and realized co-financing

66. Good practices/lessons learnt

68. 33 PIR: Reporting on performance [1] This should describe the quantitative indicator [2] This should be a quantitative numerical value

69. 34 PIR: “do and don’t” DON’T: Оказана поддержка частной ЭСКО в Караганде (выделен грант), проведены консультации и оказана экспертная помощь в разработке договорно-правовой базы для запуска модели работы ЭСКО в Караганде. По модели ЭСКО реализован первый пилотный проект с участием средств частного капиталла и выделенных грантовых средств проекта. Подписан меморандум о сотрудничестве с Акиматом Карагандинской области по развитию модели ЭСКО, активизировавший внимание частного бизнеса к развитию энергосервисных услуг. В результате работы по меморандуму: а) в целом завершен процесс согласования модели ЭСКО для жилых зданий, б) региональная структура АО Центра модернизации ЖКХ в Карагандинской области начала работу по организации второй (муниципальной) ЭСКО в Карагандинской области (планируется привлечение средств в размере до 0,3-0,5 млн. долларов в проекты по энергосбережению на основе использования револьверного механизма). Акимат Алматы в рамках ранее подписанного меморандума с ПРООН ведет работу по привлечению заемных средств банков для реализации проектов для термомодернизации бюджетных зданий в размере до 2 млн. долларов США. Акимата Алматы выразил заинетерсованность в консультационной помощи со стороны проекта ПРООН в части подготовки ТЭО для реализации этой инициатив (реализация - конец 2010 года). В Астане подписан меморандум о сотрудничестве с образовательно-консалтинговой компанией "Туран Профи" для продвижения возвратных моделей финансирования ЭЭ проектов в секторе жилых зданий. Компания имеет планы создать профессиональную управляющую конмпнию для обслуживания жилых зданий в г. Астана и выполнить пилотные проекты по ЭЭ в жилых зданиях с привлечением собственного, заемного капитала и средств городского бюджета. DO: Total investments in energy efficiency for heat and hot water supply - 3.5 mln US dollars financing in Astana, Karaganda, Almaty cities including: private investments for ESCO in Karaganda; Astana City Government to improving EE in district heating; investments to support pilot project implementation in apartment buildings in Astana; investments for energy audits in buildings, for training stakeholders.

70. 35 PIR: progress towards achieving project objectives PLEASE DON’T: Terms of References are prepared and the bid is open to choose an international expert for … The project with its working group participate in the development of XXX. A workshop in XXX with representatives of XXX is conducted. The purpose of this workshop - is to show the experience of XXXX. The terms of reference was prepared, a competition for the International expert was announced Project Inception Phase identified new government priorities which might affect the project's strategic direction as well as changes required adjustment of project activities to achieve planned project output completed. Inception Report is available. RRF adjusted accordingly. Recruitment of IC to draft proposal on capacity building of XXX initiated. Contract with a consulting company to organize the study tour concluded, and study tour is planned for XXX

71. 36 PIR: Rating of Project Performance Оценку нужно обосновывать (особенно хорошую оценку!)

72. 37 PIR: Reporting on progress in implementation

73. 38 PIR: Financial reporting [9] – Источник финансирования [10] – Данные из проектного документа

74. 39 PIR: Co-financing

76. 42 PIR – практическое задание Заполнить раздел ПИРа с отчетом о достижении целей Представить результаты работы в группах

78. Процесс

79. СодержаниеМарина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

84. 47 Независимая оценка: подготовка Включить планируемую оценку в План Оценки странового офиса: Evaluation Resource Center Включить планируемую оценку в годовой M&E план проекта, предусмотреть бюджет Подготовить ТОР (стандартный ТОР для среднесрочной и финальной оценки: http://intra.undp.org/gef/programmingmanual/me_intro.htm) «Before the ToR is finalized, it should be reviewed and commented on by the GEF operational focal point and approved by the RCU» 4) Группа оценки: международный и национальный эксперт (никаким образом не связанные с проектом!) 5) Объявление, отбор, найм (региональный ростер!) 6) Подготова программы оценочной миссии (делается оценщиками!)

85. 48 Независимая оценка: подготовка Пакет информации о проекте (подготовить и выслать оценщикам до их приезда, как минимум за 2 недели)

86. 49 Независимая оценка: подготовка Финансовая отчетность из Атласа (delivery) Статус со-финансирования (Таблица в ПИРе)

87. 50 Независимая оценка: исполнение Продолжительность миссии: 10 дней – 2 недели Команда проекта и страновой офис встречаются первыми с группой оценки и НЕ ПРИСУТСТВУЮТ на дальнейших встречах Полезно организовать заключительную встречу с командой проекта и офисом ПРООН, чтобы оценщики могли представить свои предварительные выводы и задать уточняющие вопросы

89. Страновой офис

90. Региональный центр (Братислава)

91. GEF Operational Focal Point

92. Членам Координационного Комитета2) Оценщики должны представить заключительный отчет и “audit trail”, показывающие как были приняты во внимание полученные комментарии (прикладывается к отчету)

93. 52 Независимая оценка: пост-оценка Подготовка и исполнение «Management Response» После утверждение отчета страновым офисом и региональным центром, отчет и «Management Response» помещается в PIMS (RCU)и Evaluation Resource Centre (CO)

94. 53 Независимая оценка: советы по организации Подготовка и представление презентации о проекте Приглашение оценщиков на заседание Координационного комитета Привлечение переводчика для работы с оценщиками (НЕ ПРОЕКТНОГО АСИСТЕНТА!) Уведомить и обсудить с партнерами проекта предстоящую оценку (включая UNDP Resident Representative) Обязательно:предусмотреть подготовку Executive Summary полного отчета Организовать семинар по результатам оценки ВАЖНО: используйте момент среднестоимостной оценки, чтобы «продвинуть» новые идеи и кардинальные изменения в проекте Будьте ПРОАКТИВНЫМИ, но не нарушайте принцип НЕЗАВИСИМОСТИ

95. 54 Независимая оценка: содержание Формулировка проекта Ход реализации проекта Предпосылки и риски Финансовый менеджмент и со-финансирование Качество надзора и исполнения проекта со стороны ПРООН и Правительства Качество мониторинга проекта Вовлечение заинтересованных сторон Adaptive management Результаты проекта и его IMPACT Соответствие национальным приоритетам и приоритетам ПРООН Устойчивость результатов

96. 55 Независимая оценка: система оценки Highly Satisfactory (HS): no shortcomings Satisfactory (S): minor Moderately Satisfactory (MS):moderate Moderately Unsatisfactory (MU): significant Unsatisfactory (U): major Highly Unsatisfactory (HU): severe

97. 56

98. 57 Независимая оценка: вопросы?

99. Часть VI: Мониторинг сокращения выбросов парниковых газов (ПГ) Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

100. 59 Мониторинг сокращения выбросовПГ MANUAL FOR CALCULATING GHG BENEFITS OF GEF PROJECTS: ENERGY EFFICIENCY AND RENEWABLE ENERGY PROJECTS : http://www.thegef.org/gef/node/313 Manual for Calculating Greenhouse Gas Benefits of Global Environmental Facility Transportation Projects: http://www.thegef.org/gef/GEF_C39_Inf.16_Manual_Greenhouse_Gas_Benefits

101. 60 Тип ожидаемого сокращения выбросов

102. 61 Рассчет прямых сокращений = Коэффециент сокращения выбросов (тон СО2/ МВч) Средний срок службы оборудования/технологии (лет) Ежегодное сокращение потребления энергии (МВч, toe) X X

103. 62 Рассчет косвеных сокращений = Снизу-вверх: Косвеные сокращения в течение 10 лет по окончании проекта Прямые сокращения Ожидаемый репликационыый эффект X = Сверху-вниз: Оценить экономический потенциал сокращения выбросов ПГ в секторе проекта Оценить технический потенциал сокращения выбросов ПГ в секторе проекта Косвеные сокращения в течение 10 лет по окончании проекта Достижимый экономический и технический потенциал (P10) Коэффициент влияния ГЭФ (экспертная оценка) X =

104. 63 Пример: Проект по энергоэффективности систем общественного освещения Цель проекта: увеличить объем инвестиций в ЭЭ системы освещения на 60% по сравнению с базовым сценарием: 1) Демонстрационные проекты (прямой эффект) 2) Пропаганда, консультации, распространение информации, образование, реклама (косвенный эффект)

105. 64 Шаг 1: Рассчет прямого эффекта Общие инвестиции в демонстрационные проекты: US$2.6 млн По оценкам проекта на каждый 1$ - 1 kWh: 2,635 MWhв год Ежегодные сокращения получаем, умножая на коэффециент сокращения выбросов (тон СО2/ МВч): 2 661 т СО2/год Общие прямые сокращения получаем, умножая на средний срок службы ЭЭ оборудования/технологии (7 лет): ≈ 18 000 т СО2

106. 65 Дополнительная информация: средний срок службы оборудования, углеродные коэффициенты Коэффециент сокращения выбросов : 1) Рассчитываем сами (district heating) 2) Используем данные Национального сообщения, Designated National Authority for CDM (Power grid factor) 3) Используем данные IPCC или национальные (если есть): коэффициенты по источникам топлива (уголь, мазут, нефть, газ)

108. RF – репликационный фактор 2) Репликационный фактор: экспертая оценка или рекоммендации ГЭФ: 3) В нашем примере используем 1.5, получаем общие коссвенные сокращения ≈ 30 000 т СО2

110. СF – Коэффициент влияния ГЭФ (causality factor)2) Рыночный потенциал сокращения выбросов (10 лет) ьтиьтит 3) Общий рыночный потенциал (с учетом срока службы оборудования): 4) Коэффициент влияния ГЭФ: экспертная оценка: 0,2 – 1,0 5) Общие коссвенные сокращения ≈ 33 000 т СО2

111. 68 Пример: Результаты

112. 69 Follow-up action 4 Подготовить и регулярно обновлять модель (Excel) для мониторинга сокращений выбросов проектом Представить результаты вместе с ПИРом

113. Часть VII: Мониторинг социально-экономических результатов Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

114. 71 Обсуждение – 20 минут Каковы основные социально-экономические результаты проектов по энергоэффективности/возобновляемой энергетике и как мы можем обеспечить их мониторинг???

116. Для мониторинга необходима информация от подрядчиковКосвенные рабочие места: - Через инвестиции привлеченные в данную отрасль - Для мониторинга необходимы данные нац. Статистики или специальные исследования (кол-во человеко-мест, созданных в результате инвестиций 1 долл в определенный тип ЭЭ/ВИЭ проектов)

118. Возможно ли получение информация о «прямой» занятости от субподрядчиков в представленном формате?- Есть ли желание попробовать?

119. 74 Follow-up action 5 Выбрать и продумать план мониторинга ОДНОГО социально-экономического показателя проекта

120. 75 Обсуждение – 20 минут Каковы основные социально-экономические результаты проектов по энергоэффективности/возобновляемой энергетике и как мы можем обеспечить их мониторинг???

121. Часть VIII: Завершительная стадия проекта или как правильно «закрыть» проект Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

123. Другие элементы «устойчивость», в частности демо-проекты3) Провести анализ результатов проекта и его уроков, ошибок, выводов и представить в виде финальной публикации/отчета (и финального ПИРа) 4) Подготовить и провести финальную оценку 5) Провести заключительный семинар/конференцию, желательно на региональном и/или международном уровне

124. Часть IX: Управление знаниями и PR Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.

125. 79

126. 80 Communication Press-releases: http://europeandcis.undp.org/environment/show/14A56CE3-F203-1EE9-B690AB88AFF1B06F 2) Video story (Zoran – camera man): http://www.youtube.com/user/UNDPEuropeandCIS 3) Web-sites: http://www.nature-ic.am/

130. Большое спасибо всем!!! Марина Ольшанская Региональный технический советник ПРООН-ГЭФ по изменению климата Региональный Центр ПРООН по странам Европы и СНГ © 2011 UNDP. All Rights Reserved Worldwide. Not For Distribution Without Prior Written Permission.