ТЕМА 8 Методология формирования и оценки программ

ТЕМА 8 • «Методология формирования и оценки программ регионального развития» Владимир Валетко, доцент БГЭУ

Цель: • обеспечение эффективности и прозрачности проводимой политики • повышение степени доверия к государственным органам со стороны граждан, бизнес-сообщества, международных организаций и зарубежных инвесторов

Организация экономического сотрудничества и развития определяет оценку как (определение OECD/DAC): • Систематическое и объективное оценивание действующей или завершенной программы или политики, их дизайна, выполнения и результатов. Оценка направлена на определение уместности и достижимости целей, эффективности, результативности, воздействия и устойчивости. Оценка должна обеспечить достоверную и полезную информацию, чтобы полученный опыт был учтен принятии решений партнерами по программе и донорами. • The systematic and objective assessment of an on-going or completed project, programme or policy, its design, implementation and results. The aim is to determine the relevance and fulfillment of objectives, development efficiency, effectiveness, impact and sustainability. An evaluation should provide information that is credible and useful, enabling the incorporation of lessons learned into the decision–making process of both recipients and donors.

Страны сформировавшие эффективные системы мониторинга и оценки государственных программ: • • • Австралия Канада Нидерланды Швеция США

Мониторинг • Для проведения качественной оценки программы необходима хорошая система ее мониторинга. • Мониторинг и оценка дополняют друга, и без мониторинга невозможно качественно выполнить оценку. • При этом мониторинга недостаточно для оценки. • Мониторинг облегчает проведение оценки, но оценка включает дополнительный сбор данных.

Назначение мониторинга Обеспечить контроль, чтобы работы выполнялись согласно плану программы; Улучшить выполнение программы; Определить, когда нужно быстро адаптировать программу, особенно в условиях кризиса и нестабильности; Служить источником информации для оценки; Обеспечить информацию для обоснования необходимости изменить политику и программы (особенно мониторинг ситуации).

Мониторинг процесс отслеживания или измерения того, что происходит. Мониторинг cитуации (Situational monitoring) Мониторинг исполнения (Implementation monitoring)

Мониторинг исполнения и мониторинг ситуации Мониторинг исполнения (Implementation monitoring): • измерение хода реального процесса относительно изначального плана вмешательства в ситуацию (например, программы, стратегии, политик) и степени достижения конкретных целей; Мониторинг ситуации (Situational monitoring): • предполагает измерение того, как изменяется или не изменяется определенный параметр или набор параметров (например, положение бедных)

Оценка процесс, в ходе которого пытаются определить, как можно более систематически и объективно, ценность или значение программы вмешательства в ситуацию или политики (The systematic and objective assessment of an on-going or completed project, programm or policy, its design, implementation and results. The aim is to determine the relevance and fulfillment of objectives, development efficiency, effectiveness, impact and sustainability. An evaluation should provide information that is credible and useful, enabling the incorporation of lessons learned into the decision –making process of both recipients and donors. ) Это суждение основывается на таких основных «критериях оценки» , как уместность, эффективность, результативность, воздействие и устойчивость

Критерии оценки • Уместность: совпадают ли цели и задачи программы ее проблемам либо потребностям? • Эффективность: время и средства на выполнение проекта расходуются эффективно? • Результативность: в какой степени вмешательство достигнет своих целей? Какие возможны поддерживающие факторы и препятствия в ходе выполнения оценки? • Воздействие: Что стало результатом проекта? Сюда включаются как запланированные, так и незапланированные положительные и отрицательные эффекты. • Устойчивость: Закрепились ли устойчивые преимущества после произведенного вмешательства?

Назначение оценки Повысить качество программы, улучшить методы и результаты; Приобрести знания, особенно об опыте, который можно использовать в других программах и ситуациях; Доказать, что результаты программы действительно были получены.

Для проведения оценки необходимо, как минимум: • Описание ожидаемых результатов программы/проекта • Описание плана действий • Логические модели программ (теории программ) (Logic models from the program theory) – эффективный инструмент для определения последовательности получения ожидаемых результатов. Они служат основой для определения соответствующих индикаторов и того, какие данные нужно собирать и анализировать для измерения результатов

Теория программы (Program theory) • Это ясное изложение того как понимается вклад интервенции в достижение преднамеренных или наблюдаемых результатов и воздействий (An explicit statement of how an intervention is understood to contribute to the intended or observed outcomes and impacts) В идеале теория программы определяет: • Процессы, через которые наступают изменения (для индивидов, организаций или сообщества/community) • Как интервенция производит эти каузальные процессы (How the intervention will produce these causal processes) Source: Patricia J. Rogers

Теория программы (Program theory) различные термины: • • Казуальная модель (Causal model) Объясняющая карта (Cause map) Путь воздействия (Impact pathway ) Теория вмешательства (Intervention theory) Матрица вмешательства (Intervention framework) Логика вмешательства (Intervention logic) Логика инвестиций (Investment logic) Логическая матрица Logical framework • • Иерархия результатов (Outcomes hierarchy) Линия результатов (Outcome line) Логика программы (Program logic) Теория программы (Program theory) Цепочка результатов (Results chain) Теория изменений (Theory-ofchange) Логическая матрица (Logframe*) Логическая модель (Logic model) * жирным выделены наиболее часто употребляемые

Теория программы : различные форматы: (Forms of Program theory) • Цепочка результатов (Results chain) • Логическая матрица (Logframe = Logical framework) • Иерархия результатов (Outcomes hierarchy)

Цепочка результатов (Results chain) Долгосрочные результаты (Ultimate outcomes) Среднесрочные результаты (Intermediate outcomes) Краткосрочные результаты (Immediate outcomes) Продукты (Outputs) Действия (Activities) Ресурсы (Inputs)

Иерархия результатов (Outcomes hierarchy) Результат Результат Результат

Логическая модель (Classic Logic Model) включает следующие компоненты: Ресурсы (Inputs) Действия (Activities) Продукты (Outputs) Результаты (Outcomes) это человеческие, финансовые, материальные, технические и информационные ресурсы, которые используются для подготовки и проведения гуманитарного вмешательства. При использовании программной модели мы рассматриваем ресурсы, которые нужны, чтобы произвести ожидаемые продукты. превращают ресурсы в продукты. Они включают в себя: • конкретные действующие лица; • процессы с определенными характеристиками (например, более широкое представительство, подходы, которые стимулируют приобретение новых навыков). это продукты (товары, услуги, и т. п. ), которые получаются в результате завершения действий. это ожидаемые или достигнутые кратко- и среднесрочные эффекты, создаваемые продуктами. При планировании программ ожидается, что продукты программы приведут к достижению результатов, например, изменению поведения, знаний, навыков и общественного положения

Использование знаний в теории изменений (Theory of Change ) • Определить область знаний которая объяснит или предскажет событие или теорию (Identify stream of knowledge that explains or predicts an event (a theory) – например: данные исследований говорят о том, что ученики, чьи родители вмешиваются в из учебу, лучше успевают • Использовать эти знания для развития «теории» о тои как программа достигнет предполагаемых результатов (Use this knowledge to develop a “theory” of how the program will achieve intended change) – например: если родители в сельских начальных школ в Замбии вмешиваются в учебу своих детей, то те лучше успевают в учебе. 21

Потенциальные факторы влияния на результаты программы (Potential Influences on Program Контекст Results) Политическая обстановка программы (Policy Context) Макроэкономиче ская ситуация Гуманитарные миссии Ресурсы (Inputs) Действия (Activities ) Продукты (Outputs) Черный ящик (Black box) Результаты (Outcomes) Воздействие (Impacts) IPDET © 2012 Социальноэкономические отношения Окружающая среда 22

Задание: неразмеченная теория изменения (Unlabeled Theory of Change) Достижения в обучении Увлеченность учебой Обучение на основе понятных и доступных понятий Понимание учителями детей и их представлений о мире Понимание учителем домашних традиций Добросовестное выполнение заданий учащимися Поддержка родителями детей в выполнении домашней работы и других заданий Улучшение положения студентов Посещаемость занятий Родительское содействие в улучшении посещаемости Знание родителями ожиданий школы от учащихся Обмен мнениями учителей и родителей Посещение преподавателями учащихся дома Получение учащимися специализированной помощи Знание родителями ожиданий школы от учащихся Определение проблем, которые препятствуют учебным заданиям(здоровье, отношения и др. 23

Цели использования теории изменения • Наглядно показывает возможные результаты воздействия и упущений в логике • Выявленные предполагаемое и потенциальное влияние может указывать на риски при достижении намеченных результатов • Обеспечивает вопросы оценки • Помогает построить общее взаимопонимание по вопросам вмешательства и ожиданий от этого среди заинтересованных сторон 24

Как определить логику вмешательства (Logic of the Intervention) • Цепочка утверждений «если-то» - если произойдет X, тогда последует Y (Chain of “if-then” statements) • Задать вопрос – «Это правдоподобно (plausible) ? » Действия и продукты (activities and outputs ) приведут к желаемым (intended) результатам? • Задать вопрос – «Это возможно (feasible)? » Достаточно ли имеющихся ресурсов и возможностей (inputs =capabilities and resources) для планируемых действий? 27

Theories of Change should Address these Questions: • Вмешательство построено на накопленных знаниях (Is the intervention built on a knowledge base? ) • Есть ли пропуски в логических цепочках? (Are there gaps in the logic chain? ) • Взаимосвязи правдоподобные и прозрачные? (Are interrelationships clear and plausible? ) • Вмешательство приведет к достижению желаемых результатов? (Is it realistic to assume that the intervention will result in the attainment of stated goals? ) • На каких основных предположениях основано вмешательство (On what critical assumptions is the intervention based? ) • Какие еще факторы необходимо учесть при вмешательстве и как они могут повляить на окончательный результат? (What else is operating in the 28 context of the intervention that might affect results? )

• Примеры (Examples)

Цепочка результатов (Results Chain) Область внутреннего Продукты, которые контроля для получат прямые бенефициары организации (Area of Control Internal to the (Outputs Reach Direct Beneficiaries) Organization) Ресурсы (Inputs) (Resources) Действия (Activities) Продукты (Outputs) Область, где нет непосредственного влияния на организацию (Area of Influence External to the Organization) Результаты вмешательства (Outcomes)(Interv ening) Внутренние факторы (Internal Factors) Промежуточные результаты (Outcomes) Воздействие в долгосрочной перспективе (Impacts (Longer Term Goal) Внешние факторы (External Factors) 30

Разные уровни оценки результатов (Different Outcome Levels) Немедленный (Intervening or Immediate) • Повышение осведомленности (Increased awareness) • Повышение уровня знаний (Increased knowledge) • Улучшение навыков (Increased skills) • Изменение отношений (Change in attitudes) Промежуточный (Intermediate) • Изменения в поведении (Change in behavior) • Предпринятые меры (Action taken) • Улучшение механизма принятия решений (Improved decision-making) • Новая политика (New policy) 31

Цепочка результатов для программы подготовки (Results Chain for Training Program) Ресурсы (Inputs) Действия Outputs (Activities) (Продукты) Ресурсы (Resources) ▪ Капитал ▪ Сотрудники ▪ Добровольцы ▪ Материалы • Приемлемые участники Услуги (Services) ▪Профессион альная подготовка ▪ Теоретичес кая подготовка ▪Консультир ование Продукты (Products) ▪ Ср. кол-во часов проф. подготовки участника ▪ Ср. кол-во часов теор. подготовки участника ▪% выполнивши х тест Краткосрочные результаты (Immediate Outcomes) Среднесрочные результаты (Intermediate Outcomes) Выгоды (Benefits) ▪ Увеличение грамотности ▪ Улучшение проф. подготовки ▪ увеличение показателей производительности труда ▪ % участников получивших работу с оплатой более 5 долларов в час Воздействие (Impacts) Изменения (Changes) ▪ % участников, который зарабатывает 3 года больше чем не участвовавшие ▪ % участников с более высокими стандартами жизни по сравнению с контрольной 32 группой

Обычная теория изменения (Simple Theory of Change Model) Обучение (Training) Высококачеств енные оценки (High Quality Evaluations) От подготовки (by training) Полезная информация (Useful Information) Лучшие решения (Better Decisions) К лучшим решениям (to better decisions) 33

Определение ключевых допущений (Identifying Key Assumptions) Сделать явными (explicit) неявные утверждения (implicit assertions) о том, как вмешательство будет работать в контексте получения результатов (in its context to produce the results) 34

Теория изменения с дополнениями (Theory of Change with Assumptions ) Необходимость встреч для обучающихся Подготовка (Training) Высококачественные оценки (High Quality Evaluations) Достаточно времени на обучение Развитие стандартов описания для приемлемого общения с государственными органами Полезная информация (Useful Information) Выделяемые средства для контроля за качеством обучения Лучшие решения (Better Decisions) 35

Теория изменения с дополнениями в контексте программы (Theory of Change with Assumptions and Context) Национальная школа оценки (National Evaluation Society) Подготовка (Training) Необходимость встреч для обучающихся Макроэкономиче ская обстановка Развитие стандартов описания для приемлемого общения с государственными органами Особые группы по интересам Высококачественные оценки (High Quality Evaluations) Наглядность программ Полезная информация (Useful Information) Лучшие решения (Better Decisions) Политическая поддержка Достаточно времени на обучение Competency Based Movements Выделяемые средства для контроля за качеством обучения 36

Блок-схема классической логической модели (Flow Chart of Classic Logic Model) Ресурсы (Inputs) Действия (Activities) Продукты (Outputs) Результаты (Outcomes) Воздействие (Impacts) 37

Начать с конечной цели? 38

Среднесрочные результаты (Intermediate Outcomes) Учащиеся Ресурсы (Inputs) Преподаватель Аудитория Обучение Действия(Activities) Количество обученных Продукты(Outputs) Среднесрочные результаты (Intermediate Outcomes) Учебные пособия % участников, указывающих на улучшение IPDET © 2011 способностей разрабатывать дизайн оценки Результаты(Outcomes) % участников, показавших более высокое качество дизайна оценки % проектов оценки, утвержден ных и выполненн ых % обученных, которые ясно и четко доносят результаты 39 оценки Лучшие решения для программ Полезная информация предоставлен а Уполномочен ные лица учитывают результаты