Оценка для разработки политик APCo P

Оценка для разработки политик APCo. P - АБР- AFDC 27 -31 октября 2014 года Сучджоу, провинция Джиансу, КНР Другие методы ОВ: Сопоставление и ИП Джозеф Дж. Капуно Университет Филиппин

Сопоставление

Типы сопоставления n n Ковариационное (или прямое) сопоставление n Сопоставление участника и не-участника, используя отмеченные в наблюдении характеристики до проведения интервенции (ко-вариата) Сопоставление по индексу соответствия n Сопоставление участника и не-участника, используя индексы соответствия (которые основаны на наблюдаемых характеристиках до интервенции)

Сопоставление достигает… Для сопоставленных участника и неучастника(ов) n Сбалансированные характеристики, наблюдаемые до интервенции n Учитывая эти характеристики, каждый имеет равный шанс быть участником или не-участником. n Таким образом, имитируя случайное (рандомизированное) распределение. n

Основные допущения n Сопоставленные единицы не отличаются по наблюдаемым характеристикам n n Отбор по ненаблюдаемым объектам не проводится У единиц, имеющих одинаковые характеристики (X), должна иметься положительная, но не отличная вероятность быть или участниками или не -участниками n Сопоставление по общей поддержке (0<Pr(T=1|X)<1)

Сопоставление – краткое резюме… n n n Сопоставить участников с не-участниками, имеющими те же коварианты до интервенции. Средний итог для сопоставленных не-участников является контрафактуальным высказыванием (отсутствие интервенции) Различие в средних итогах участников и контрафактуального высказывания (участников без вмешательства) – это оценка воздействия программы (также называется средний эффект вмешательства для тех, кто подвергся вмешательству)

n Пример: Проект по водоснабжению и санитарии Цель Улучшить доступ к безопасным источникам воды и санитарным объектам и, таким образом, улучшить состояние здоровья домохозяйств в селах Интервенция n Подсоединение к водопроводу и строительство смывных туалетов в каждом домохозяйстве. Критерии правомочности n Житель в целевом районе n Нет водопровода или смывного туалета n Необходимо подать заявку на подсоединение к водопроводу или строительство туалета Оценочный вопрос: Улучшила ли программа показатели по заболеваемости детей диареей? n Но доступны только данные после интервенции. n n

Вода, санитария и диарея: причинноследственные пути Водопроводная вода Подземная/ поверхностная / загрязненная вода Фекалии Питьевая вода Тело человека Пальцы/ игрушки/ инородные предметы Продукты Поля и мухи Адаптировано из Ваддингтон и др. , 2009 год Смывной туалет

Данные n n Домохозяйства в городских трущобах, классифицированные по n Источнику питьевой воды: водопроводная вода или другие источники n Туалетным сооружениям: собственный смываемый туалет или другие типы n С детьми младше 5 лет n Дети младше 5 лет, у которых была диарея за последние две недели Другая информация: характеристики ребенка, домохозяйства, сообщества, пр.

Точное сопоставление по наблюдаемым характеристикам Участник Характеристики Не-участник Пол Возраст Семейное положение Статус трудоустройства Образование Количество детей Взрослые в ДХ Характеристики супруга Этническая принадлежность Религия Доход Месторасположение жилья … Слишком много характеристик; только несколько возможных не-участников

Проблема с сопоставлением ковариатов Участник Характеристики 2 мальчика (4 и 3 года) Глава ДХ - женщина Главе 34 года Замужем Самозанятость в семейном предприятии Начальное образование Другие дети (3) Живет с матерью Муж безработный, 35 лет, среднее образование Член местной ассоциации матерей католичка 12 000 песос/месяц Жилой блок 22 Не-участник Нет точного соответств ия! Неудача общего поддерживающего допущения

Сопоставление по индексу соответствия

Облегчает сопоставление n n Вместо того, чтобы сопоставлять по каждой из многих характеристик, сопоставлять по индексу соответствия Индекс соответствия – это вероятность того, что лицо будет участником (группы с интервенцией), принимая во внимание его наблюдаемые характеристики n Вероятность – это просто одно число – от 0 до 1.

Состоятельность СИС n Розенбаум и Рубин (1983) утверждают, что n n Предположите, что после сопоставления на основе наблюдаемых характеристик, сопоставленные единицы распределяются в группу с интервенцией (участие в программе), как на основе случайной выборки. Затем сопоставление их по индексу соответствия (на основе тех же наблюдаемых характеристик) приведет к их распределению в группу с интервенцией, опять же как при случайной выборке. То есть, СИС достигает того же результата, что и СКв. Общее поддерживающие допущение легко выполнено: совпадение индексов соответствия 2 групп

Оценка индекса соответствия n Используйте пробит- или логит-модель n n Вероятность (Участник = да) = f(возраст, пол, женщина-глава ДХ, возраст главы ДХ, доход ДХ, другие дети, пр. ) Выбор ковариатов n n n Переменные, которые одновременно влияют на участие и итог В качестве руководства используйте экономическую теорию и предыдущие эмпирические исследования Большая выборка = используйте много ковариатов; маленькая выборка = предпочитайте те, которые влияют на итог

Сопоставляйте, используя индексы соответствия вместе с общей поддержкой n n На практике очень редко можно найти точные сопоставления с точки зрения оценочных индексов соответствия Решение: Калибр или радиус (установить приемлемое расстояние) 0. 3 0. 44 0. 55 0. 6 Индексы соответствия Ближайшие соседи или сопоставление Кёнела (взвешенное по расстоянию от участника)

Проведите балансирующие тесты n n n Участники и сопоставляемые не-участники должны иметь сбалансированные характеристики. Обычные тесты: n t-tests средних значений в ковариатах с двумя выборками n сравнение стандартизированных ошибок n совместная значимость (F-тесты) n псевдо-R 2 Если они не имеют сбалансированных характеристик, то повторно рассчитать индексы соответствия с использованием нового набора ковариатов.

Ковариаты Возраст главы домохозяйства Если глава ДХ окончил среднюю школу Если мать замужем Квентиль благосостояния 1 (самые бедные) Этническая принадлежность: Тагалог Ребенок мужского пола Число старших детей Мать окончила среднюю школу Глава ДХ имеет работу Если живут с дедушкой и бабушкой Другие родственники Жилой блок 2 Жилой блок 3 Жилой блок 4 Жилой блок 5 Жилой блок 6 Жилой блок 7 Жилой блок 8 Жилой блок 9 Жилой блок 10 Жилой блок 11 Жилой блок 12 Жилой блок 13 Жилой блок 14 Жилой блок 15 С интервенцией (N= 616) 40. 58 Контроль (N= 2842) 39. 83 % сокращение|ошибка| 43. 4 0. 60 0. 80 99. 1 -19. 2 0. 20 0. 19 93. 5 0. 19 0. 31 2. 5 0. 05 0. 77 0. 04 0. 02 0. 04 0. 03 0. 07 0. 05 0. 03 0. 09 0. 06 0. 05 0. 09 0. 07 0. 04 0. 13 0. 00 0. 09 0. 22 0. 33 2. 3 0. 04 0. 79 0. 03 0. 01 0. 04 0. 03 0. 08 0. 05 0. 03 0. 11 0. 08 0. 04 0. 08 0. 06 0. 03 0. 11 0. 00 0. 09 73 50. 6 68. 3 39 64. 1 76. 7 92. 4 83. 2 75. 9 -142. 2 96 92. 4 50. 7 22. 1 61. 6 81. 2 -235. 5 59. 2 87. 9 99. 3 92. 2 Среднее значение ковариатов после сопоставления NN 5 (0. 001): Водопроводн ая вода

С интервенцией (N= 616) 40. 87 0. 51 0. 80 Возраст главы домохозяйства Если глава ДХ окончил среднюю школу Если мать замужем Квентиль благосостояния 1 (самые бедные) Этническая принадлежность: Тагалог Ребенок мужского пола Число старших детей Мать окончила среднюю школу Глава ДХ имеет работу Если живут с дедушкой и бабушкой Другие родственники Жилой блок 2 Жилой блок 3 Жилой блок 4 Жилой блок 5 Жилой блок 6 Жилой блок 7 Жилой блок 8 Жилой блок 9 Жилой блок 10 Жилой блок 11 Жилой блок 12 Жилой блок 13 Жилой блок 14 Жилой блок 15 Жилой блок 16 Стандартизированная ошибка Среднее значение Контроль (N= 2842) 39. 16 0. 55 0. 80 0. 23 0. 12 0. 28 2. 4 0. 08 0. 79 0. 02 0. 04 0. 05 0. 10 0. 08 0. 06 0. 07 0. 05 0. 06 0. 02 0. 08 0. 06 Переменные % сокращение|оши бка| 63. 8 84. 9 91. 3 0. 23 0. 13 0. 29 2. 1 0. 07 0. 80 0. 03 0. 07 0. 04 0. 05 0. 10 0. 06 0. 07 0. 04 0. 06 0. 08 0. 07 0. 02 0. 08 0. 07 99. 5 95. 3 -8. 3 69. 6 78 97. 8 -36. 1 97. 9 66. 6 -80. 4 91. 1 34. 6 -11 21. 9 84. 1 34. 7 23 0. 4 49. 8 71. 5 99. 5 98. 8 23. 9 3. 79 Среднее значение ковариатов после сопоставления NN 5 (0. 001): собственный смывной туалет

Гистограмма сопоставленных под-выборок с общей поддержкой: водопроводная вода

. Гистограмма сопоставленных под-выборок с общей поддержкой: собственный смывной туалет

Оценка воздействия n Среднее воздействие интервенции на лиц, подвергнутых интервенции Интервенция (NN 5, 0, 001) Средний итог (вероятность диареи) Разница (ATT) Участники (обратились) Сопоставленные не-участники (не обращались) Водопроводная вода 0, 23 0, 7 -0, 47 Собственный смывной туалет 0, 15 0, 6 -0, 45

Ограничения СИС n n Предполагает, что все уместные характеристики включены в список наблюдаемых ковариатов, что нет “ненаблюдаемых” факторов, которые повлияли на участие или итог n Решение: Провести тесты чувствительности “скрытой ошибки” Может не хватать данных. Отбрасывает наблюдения, не имеющие подходящих сопоставлений.

Инструментальные переменные

Типичная ситуация n Обычно программа нацелена на все правомочные лица или домохозяйства. Но не все участвуют в программе. n Иногда даже неправомочные лица или домохозяйства принимают участие, или некоторых участников “выбирают” или им “отдают предпочтение” n n Примеры Программа микрофинансирования, нацеленная на бедные домохозяйства n Программа обучения навыков для детей, которые не ходят в школу n

Метод ИП – краткий обзор n n Основная идея – оценить воздействие программы, принимая во внимание уникальные характеристики фактических участников в программе. Уникальные характеристики отражаются инструментальной переменной (ИП) n Первый шаг: Рассчитать участие на основе ИП и других характеристик n Второй шаг: Использовать прогнозируемое участие (в первом шаге), чтобы оценить влияние программы n Оценка воздействия делается для тех, кто

Пример: Программа обучения навыкам n n Цель n Повысить уровень трудоустройства молодежи, не обучающейся в школе, посредством обучения их с целью приобретения производительных навыков Интервенция n 1 -месячное бесплатное обучение ряду профессий (например, производство мебели, ремонт автомобилей, плотницкое дело, сантехника, базовые навыки в области ИТ) в выборочных местах Критерии правомочности n Возраст - 17 -25 лет n Не окончили среднюю школу или колледж n В настоящее время не ходят в среднюю школу или колледж n Добровольное участие в обучении Вопрос оценки: Привела ли программа к трудоустройству участников? n Но доступы только данные после интервенции.

Необъективная оценка воздействия n n Разница в уровне трудоустройства = уровень трудоустройства с программой – уровень трудоустройства без программы Участие в программе не является рандомизированным. Оно было добровольным. Те, кто участвует добровольно, могут иметь «особые» характеристики, которые отличают их от тех, кто не присоединился к обучающей программе n То есть, участники и не-участники не имеют сбалансированных характеристик до интервенции Возможные источники необъективности отбора n Волонтеры имеют большую мотивацию или стимулы n Низкие альтернативные издержки (проживание рядом с местами, где проводится обучение)

Решение: использовать ИП Чтобы контролировать отбор для участия в интервенции (т. е. добровольное участие в обучении) n Два условия для действенной ИП (скажем, z) n z – очень взаимосвязана с участием n z – экзогенная (внешне обусловленная) переменная (не имеет прямой связи с итогом, n

Причинные связи ИП – живет рядом с местом обучения Программа обучения навыкам (Добровольное участие в обучении на плотника) Другие ненаблюдаемые факторы Итог = устройство на работу

Двух-шаговая оценка ИП n n n Шаг 1. Рассчитать регрессию участия по ИП и наблюдаемым ковариатам. Получить прогнозируемую величину участия. Шаг 2. Рассчитать регрессию итога на основе прогнозируемого участия и наблюдаемых ковариатов. Оценка воздействия: коэффициент прогнозируемого участия в шаге 2. n Интерпретация: Воздействие программы на участников, которые живут рядом с местом проведения обучения. Не является оценкой воздействия для всех участников.

Примечания по использованию ИП n n n ИП используется тогда, когда ненаблюдаемые характеристики (отражаемые ε), влияющие на участие, меняются с течением времени Если корреляция (T, ε)≠ 0, то может использоваться Р-в-Р, чтобы учесть ненаблюдаемые характеристики, которые не изменяются с течением времени. Проверьте, действительно ли ИП является экзогенной и не имеет слабой

n n Источники и справочная литература JD Angrist and JS Pischke (2009). Mostly harmless econometrics. An empiricist’s companion. Princeton University Press. – Почти безвредная эконометрика. Компаньон эмпирика. P. Gertler et al. (2011). Impact evaluation in practice. Washington, DC: The World Bank. – Оценка воздействия на практике. S. Khandker et al. (2010). Handbook on impact evaluation. Washington, DC: The World Bank. – Справочник по оценке воздействия. SA Quimbo (2014). Instrumental variable method for impact evaluation. Slide presentation on September 1, 204 during the joint ADB-3 ie-PIDS conference on impact evaluation held in ADB Headquarters, Manila. – Метод инструментальной переменной для оценки

Спасибо!

Оценка для разработки политик APCo P — АБР-