Основы разработки эксперимента Moshe Banai Ph D

Основы разработки эксперимента Moshe Banai, Ph. D – Редактор Международные исследования управления и организации

Что такое разработка эксперимента? Разработка эксперимента включает в себя: Стратегии организации сбора данных Анализ данных процедур соответствующих данным сбора стратегий Классические обработки планирования стресс процедур анализа базируются на дисперсионном анализе(ANOVA) Другие процедуры анализа, которые базируются на иерархической линейной модели или анализе инструментов(например, школа или класс) также являются подходящими.

Для чего нам необходима разработка эксперимента? Из-за изменчивости Мы не нуждались бы в науке разработки эксперимента, если Если все составляющие (школа, преподаватели) были идентичны и студенты, Если все единицы одинаково отвечали на «лечение» Нам необходима разработка эксперимента для того, чтобы контролировать изменчивость, чтобы результаты «лечения» могли быть определены

Немного истории - Лечения Идея контроля изменчивости посредством планирования имеет долгую историю В 1747 г. исследователь Джеймс Линд изучал цингу Их случаи все были похожи настолько, насколько могли быть. Они все в целом имели гнилые десна, прыщи, усталость, со слабостью в коленах. Они все лежали в одном месте… и имели общую диету для всех. (Lind, 1753, p. 149) Линд затем назначает шести различных методов лечения для групп пациентов.

Немного истории - Рандомизация Идея рандомизации не была сразу очевидной и потребовалось время, чтобы уловить ее В 1648 году фон Гельмонтом была проведена одна рандомизации в процессе проб кровопусканий при лихорадках В 1904 году Карл Пирсон предложил соответствия и чередования при лечении брюшной полости Амберсон, и др. (1931) провели испытание с одной рандомизацией В 1937 году сэр Брэдфорд Хилл выступает за чередование пациентов в исследованиях, а не за рандомизацию Диль и др. (1938) провели испытание, которое иногда называют рандомизированное, но на самом деле они использовали чередование

Немного истории - Рандомизация Первым современным рандомизированным клиническим исследованием в медицине, как правило, считается проба стрептомицин для лечения туберкулеза Оно было проведено Британским медицинский исследовательским советом в 1946 году и опубликовано в 1948 году

Немного истории - Лаборатория Эксперименты были использованы уже в поведенческих науках (например, психофизика: Пирс и Jastrow, 1885) Эксперименты, проведены в лабораторных условиях и широко используются в педагогической психологии (например, Mc. Call, 1923) Торндайк (в начале 1900 -х годов) Линдквист (1953) Начало полевых экспериментов по обучению (1978 - 1984)

Немного истории Исследования в сельскохозяйственных изменениях I - VI (1921 - 1929) В 1919 году статистик по имени Фишер был принят на работу Rothamsted сельскохозяйственную станцию. У них было много наблюдательных данных по урожайности и он выразил надежду, что статистика могла бы проанализировать эти данные, чтобы найти эффекты от различных методов лечения Все, что он должен был сделать, это разобраться в последствиях вмешивающихся факторов

Исследования в сельскохозяйственных изменениях I (1921) Фишер делает регрессионные анализы - многие из них- исследует - (избавляется от) влияния вмешивающихся факторов плодородия почв градиентов дренажа эффектами осадков влияния температуры и погоды, и т. д. Фишер делает качественную работу, чтобы разобраться в аномалии Заключение Влияние вмешивающихся факторов, как правило, больше, чем у систематические эффекты, которые мы хотим изучить

Исследования в сельскохозяйственных изменениях II (1923) Фишер изобретает Основные принципы дизайна эксперимента Контроль вариации рандомизацией Дисперсионный анализ

Исследования в сельскохозяйственных изменениях IV и VI Исследования, проведенные в сельскохозяйственной изменчивости IV (1927): Фишер изобрел анализ ковариации, объединив статистическое управление и контроль рандомизации. Исследования в растениеводстве изменения VI (1929): Фишер уточняет теорию экспериментального проектирования, внедряя большинство ключевых понятий известных сегодня.

Наш герой в 1929 году

Принципы разработки эксперимента Разработка эксперимента контролирует фон изменчивости, так, что мы можем наблюдать систематические эффекты лечения Три основных принципа: 1. Контроль при помощи сопоставления 2. Контроль при помощи рандомизации 3. Контроль с помощью статистической корректировки Их важность в том же порядке

Контроль при помощи сопоставления Известные источники изменения могут быть устранены путем сопоставления Устранение генетической изменчивости. Сравните животных из одного помета мышей Ликвидация локальных или образовательных эффектов Сравните студентов в районах или школах Однако сопоставление ограничено. Сопоставление возможно только на наблюдаемых характеристиках. Полное совпадение не всегда возможно. Сопоставление по своей сути ограничивает обобщение путем удаления (возможно по желанию) изменений

Контроль при помощи сопоставления Сопоставление гарантирует, что группы сравнивают с похожими на конкретных известных и наблюдаемых характеристиках (в принципе, все, что мы знаем об этом) Не было бы замечательно, если бы был такой метод изготовления групп, похожих не только на все, что мы знаем, но и на то, что мы еще можем предположить более? Существует такой метод

Контроль при помощи рандомизации Сопоставление контролирует эффекты изменения, которые связаны с конкретными наблюдаемыми характеристиками. Рандомизация контролирует все эффекты (наблюдаемых или ненаблюдаемых, известных или неизвестных) характеристик. Рандомизация (случайность) создает группы эквивалентных (в среднем) по всем переменным (известным и неизвестным, наблюдаемым или нет). Рандомизация также дает нам возможность оценить, является ли различие после лечения больше, чем можно было бы ожидать в связи с шансом.

Контроль при помощи рандомизации Случайное назначение не является распространением без особых правил. Это целенаправленный процесс Назначение производится в случайном порядке. Это не значит, что экспериментатор записывает имена сортов в любом порядке, вне зависимости, что случится с ними, они участвуют в физическом экспериментальном процессе рандомизации с помощью средств, которые должны обеспечить то, чтобы каждый сорт имел бы равные шансы быть испытанным на том или ином участке земли (Fisher, 1935, с. 51)

Контроль при помощи рандомизации Случайное назначение школам или классам это не назначение без особых правил. Это целенаправленный процесс. Назначение школы на обработку ( «лечение» ) производится в случайном порядке. Это не значит, что экспериментатор распределяет школы на обработку в любом порядке, вне зависимости, что происходит с ней, но она участвует в физическом экспериментальном процессе рандомизации, который использует средства, которые должны гарантировать, что каждый участник, будет иметь равные шансы быть проверенным в любой конкретной школе (Hedges, 2007)

Контроль при помощи статистической корректировки является одной из форм псевдо-сопоставления. Он использует статистические соотношения для моделирования. Статистический контроль имеет важное значение для повышения точности, но не следует полагаться на него для контроля отклонений, которые могут существовать перед назначением. Статистический контроль является самым слабым из трех принципов дизайна эксперимента, потому что его действия зависит от известных статистических моделей для ответов.

Использование принципов разработки эксперимента Вы должны знать много (быть умным), чтобы использовать сопоставляющий или статистический контроль эффективно. Вы не должны все знать, чтобы использовать рандомизации эффективно. но Там, где всё возможно, рандомизация не так эффективна (требуется больший размер выборки при той же мощности), как сопоставление или статистический контроль

Основные идеи Разработки: независимые переменные (факторы) Значения независимых переменных называются уровнями. Некоторыми независимыми переменными можно манипулировать, другими нельзя. Лечения это независимые переменные, которыми можно манипулировать. Блоки и регрессоры являются независимыми переменными, которые не могут управляться. Эти понятия являются простыми, но часто путаются. Помните: Вы можете случайно назначить лечение уровней, но не блоков.

Основные идеи Разработки (Пересечение) Отношения между независимыми переменными Факторы (лечения или блоки) пересекаются, если каждый уровень одного фактора происходит с каждым уровнем другого фактора. Пример Выборка Теннесси класса в эксперименте назначен студентам одного из трех классов как условие выборки класса. Все три обработанных условия имели место в каждой из участвующих школ. Таким образом, обработка ( «лечение» ) пересеклось со школами

Основные идеи Разработки (Вложение) Фактор B вложен в фактор А, если каждый уровень фактора B происходит в течение только одного уровня фактора А. Пример Выборка Теннесси класса в эксперименте на самом деле назначен классам к одному из трех условий выборки класса. Каждый класс может быть только в одном обработанном условии. Таким образом, классы были вложены в лечение. (Но лечение пересекается со школами)

Откуда эти термины возникли? (Вложения) Из сельскохозяйственных экспериментов, где блоки это буквально блоки или участки земли. Блоки 1 T 1 2 T 2 … … n T 1 Здесь каждый блок буквально вложен в условия лечения.

Откуда эти термины возникли? (Пересечения) Из сельскохозяйственных экспериментов Блоки 1 2 T 1 T 2 T 1 … … n T 1 T 2 Блоки были буквально блоки земли и земельных участков, в пределах блоков назначались различные виды лечения

Откуда эти термины возникли? (Пересечения) Блоки были буквально блоки земли и земельных участков в пределах блоков были назначены различные процедуры. Блоки 1 2 T 1 T 2 T 1 … … n T 1 T 2 Здесь лечения буквально пересекают блоки

Откуда эти термины возникли? (Пересечения) Эксперимент часто изображается так. Что не так с этим макетом поля ? Блоки 1 2 Лечение 1 Лечение 2 … … n Рассмотрим возможные источники ошибок

Подумайте об этих Разработках Исследование назначает чтение как лечение (или контроль) для детей в 20 школах. Каждый ребенок отнесены к одной из трех групп с различным риском неудачи чтения. Исследование назначает T или C 20 учителям. Учителя в пяти школах, и каждый учитель преподает 4 школьных предмета. Две школы в каждом районе собираются участвовать. Каждая школа имеет два учителя 4 -го класса. Одному из них назначается T, другому C.

Три основных Разработки Полностью рандомизированная разработка: Лечение назначается лицам Рандомизированная блок разработка : Лечение назначается лицам в пределах блоков (Это иногда называют сопоставительная разработка, потому что люди подбираются в пределах блоков) Иерархическая разработка: Лечение назначается блокам, то же лечение назначается всем лицам в блоке

Полностью рандомизированная разработка Люди рандомизированно (случайно) назначены в одно из двух лечений Лечение Контроль Личность1 Личность 2 … … Личность n. T Личность n. C

Рандомизированная блок разработка Блок 1 … Блок m Личность 1 … … … Лечение 1 Личность n 1 +1 Личность nm + 1 Личность 2 n 1 … … … Лечение 2 Личность nm Личность 2 nm

Иерархическая разработка Лечение Контроль Блок 1 Блок m+1 Блок 2 m Личность 1 Личность 2 … Личность nm+1 … Личность nm … … … Личность n 1 … Личность n 2 m

Процедуры рандомизации Рандомизация должно быть сделана как явный процесс, разработанный экспериментатором Неумелое не то же самое, что случайное Неизвестное назначение не то же самое, что случайное «По существу случайные» технически бессмысленны Чередование является не случайным, даже если вы чередование начали от случайного старта Вот почему Р. А. Фишер столько писал о рандомизации процессов

Процедуры рандомизации Р. А. Фишер о том, как возможен случайный эксперимент с небольшим размером выборки и 5 -ю лечениями. Удовлетворительного метода заключается в том, чтобы использовать колоды карт, пронумерованных от 1 до 100, и расположить их в случайном порядке при повторной перетасовке. Многообразие [лечений] пронумерованы от 1 до 5, и любые карты, такие как число 33, например, считается, соответствуют различным [лечениям] номер 3, так как при делении на 5 этого числа образуется такой остаток. (Fisher, 1935, с. 51)

Процедуры рандомизации Вы можете использовать таблицу случайных чисел, но не забудьте выбрать произвольную точку старта! Остерегайтесь случайных чисел, они обычно зависят от значения, убедитесь, изменяется начальные значения (если они не делают это автоматически) В противном случае вы можете будете генерировать одну и ту же последовательность случайных чисел каждый раз Ничем не отличается начинать с одного и того же места в таблице случайных чисел

Процедуры рандомизации Полностью рандомизированная разработка (2 процедуры, 2 n физических лиц) Составьте список всех лиц. Для каждого человека выберите случайное число от 1 до 2 (четные или нечетные) Назначьте человека на лечение 1, если четное и 2, если нечетное. Когда лечение назначается n лиц, прекратить присвоение лечение более лицам.

Процедуры рандомизации Полностью рандомизированная разработка (2 pn - лиц, р - лечения) Составьте список всех лиц, Для каждого человека, выберите случайное число от 1 до р. Один из способов сделать это, чтобы получить случайные числа любого размера, делите на р, остаток R находится между 0 и (р - 1), так что добавьте 1 к тому, что осталось, чтобы получить R + 1 Назначьте человека к лечению R + 1 Остановить назначение лиц на любое лечение после того, как получится n (количество) лиц

Процедуры рандомизации Рандомизированная блок разработка с 2 -мя лечениями ( m блоков в лечении, 2 n лиц в блоке) Составьте список всех лиц в первом блоке. Для каждого человека выберите случайное число от 1 до 2 (четные или нечетные) Назначьте человека на лечение 1, если четное число и 2, если нечетное. Остановите назначения лечений при n (количестве) лиц в блоке. Повторите ту же процедуру с каждым блоком.

Процедуры рандомизации Рандомизированная разработка блока с p лечениями (m блоков в лечении, pn лиц в блоке) Составьте список всех лиц, в первом блоке Для каждого человека выберите случайное число от 1 до р Назначьте человека к лечению р Остановить назначение лечений при n (количестве) лиц в блоке. Повторите ту же процедуру с каждым блоком.

Процедуры рандомизации Иерархическая разработка с 2 -мя лечениями (m блоков в лечении, n лиц в блоке) Составьте список всех блоков Для каждого блока выберите случайное число от 1 до 2 Назначьте блок к лечению 1, если четное, лечение 2, если нечетное. Остановить назначение лечений после того, как получит назначение m (количество) блоков. Каждый человек в блоке отнесен к тому же лечение, к которому отнесен весь блок.

Процедуры рандомизации Иерархическая разработка с p лечениями (m блоков в лечении, n лиц в блоке) Составьте список всех блоков. Для каждого блока выберите случайное число от 1 до p Назначьте блок на лечение соответствующим числом Остановите назначение лечений после того как будет назначено лечение m блоков. Каждый человек в блоке отнесен к тому лечение, к которому отнесен и весь блок.

Выборка образцов

Модели выборок в педагогических исследованиях Модели выборок часто игнорируется в исследования в области образования Но Выборка - это, когда случайности исходят от социальных исследований Выборка, следовательно, имеет глубокие последствия для статистического анализа и исследования разработок.

Модели выборок в педагогических исследованиях Простые случайные выборки редки в полевых исследованиях. Люди (контент людей) в образовательных учреждениях иерархически вложены: Студенты в классах в школах Школы в районах государства Мы обычно используем структуру населения для образца студентов первых школ выборки. Даже тогда, большинство образцов не являются вероятностными образцами, но они предназначены для того, чтобы быть представлять (некоторую часть населения)

Модели выборок в педагогических исследованиях В обзорах исследований эта стратегию называют многоступенчатой (многоуровневой) кластерной выборкой. Сначала мы выбираем кластеры (школы), затем лица, находящиеся в пределах кластеров (учащиеся в школах) Это двухступенчатая (в два уровня) кластерная выборка Мы могли бы выбирать школы, потом классы, потом студентов. Это в трехступенчатая (в три уровня) кластерная выборка

Точность подсчетов зависит от модели выборки Предположим, что общая дисперсия населения есть σT 2 и ICC есть ρ Рассмотрим два образца количеством N = mn Простая случайная выборка или стратификационная выборка Дисперсия среднего значения будет σT 2/mn Кластерная выборка n студентов откаждой из m школ Дисперсия среднего значения будет (σT 2/mn)[1 + (n – 1)ρ] Фактор инфляции [1 + (n – 1)ρ] это называтся эффект разработки

Точность подсчетов зависит от модели выборки Предположим, что дисперсия населения - σT 2 Уровень школы ICC - ρS, уровень класса ICC - ρC Сравним два образца количеством N = mpn При простой случайной выборке или стратифицированной выборке Дисперсия среднего значения σT 2/mpn При кластерной выборке n студентов из p классов в m школах Дисперсия будет (σT 2/mpn)[1 + (pn – 1)ρS + (n – 1)ρC] Трехуровневый эффект разработки будет[1 + (pn – 1)ρS + (n – 1)ρC]

Точность подсчетов зависит от модели выборки Эффекты лечения в экспериментах и квазиэкспериментах имеют разные значения. Поэтому точность эффектов лечения и статистическая мощность будут зависеть от модели выборки.

Модели выборок в педагогических исследованиях Тот факт, что население структурировано не означает, что образец должен быть кластерным образцом. Является ли это кластерной выборкой зависит от: Как была проведена выборка (например, сначала выборка школ, затем личностей случайной выборкой в школах) Что мы в итоге получили (например, является результатом, что в этих школах учились или в этих школах больше учеников)

Модели выборок в педагогических исследованиях Необходимым условием для кластерной выборки является то, что к ней обращаются в стадии использования населения в подразделениях Школы, затем учащиеся в школах Школы, затем классы, затем учащиеся Однако, если все подразделения населения присутствуют в образце, образец не является кластерным, но является стратифицированным. Стратификация имеет иные последствия, чем кластеризации Стратификация и кластеризация зависят от определения населения, по которому мы сделали выводы (выводы населения)

Модели выборок в педагогических исследованиях Различие между кластеризацией и стратификацией имеет значение, потому что это влияет на точность статистических подсчетов, полученных от выборки. Если все подразделения населения входят в каждый образец, здесь нет выборки (или исчерпывающий выборки) подразделений. Поэтому различия между подразделениями добавляют неопределенности при подсчетах. Как только некоторые подразделения населения, включены в выборку, то имеет значение, которые из них включены в выборку. Таким образом, различия между подразделениями добавляют неопределенности

Выводы по количеству людей и выводы по моделям Вывод по количеству людей или вывод по моделям имеет значение для анализа и, следовательно, для разработки эксперимента Должны ли мы делать вывод по школам в образце или по тому, в какой школе большее количество людей? Выводы по школам или классам в выборке называются условными выводами. Выводы по большему количеству людей в школах или классах называются безусловными выводами.

Выводы по количеству людей и выводы по моделям Обратите внимание, что выводы (те, что мы подсчитываем) отличаются в условных в противовес безусловных выводов по моделям. В условном выводе мы подсчитываем среднее значение (или лечебный эффект) на рассматриваемой школе. В безусловном выводе мы подсчитываем среднее значение (или лечебный эффект) для количества людей школ, которых наблюдаются в выборке. Мы одинаково подсчитываем среднее значение (или лечебный эффект), но они разные, с разными параметрами неопределенности.

Фиксированные и случайные (рандом) эффекты Когда уровни фактора (например, определенные блоки включены) при исследовании выборки и вывод по моделям безусловный, этот фактор называется случайным (рандом) и его эффекты, называются случайными (рандом) эффектами Когда уровни фактора (например, определенные блоки включены) при исследовании выборки, и выводы составлены по количеству людей и вывод модели является условным, то фактор называется фиксированным и его эффекты, называются фиксированными эффектами

Приложения к Разработке Эксперимента Мы подробно рассмотрим два наиболее широко используемых типа разработки эксперимента в образовании: Рандомизированная блок разработка Иерархическая разработка

Разработка эксперимента В каждой разработке эксперимента мы будем смотреть на: Структурированную модель данных (и что это значит) Два вывода по моделям Что "эффект лечения" означает в принципе Что такое оценка эффектов лечения Как мы имеем дело с контекстными эффектами Две статистические аналитические процедуры Как мы можем оценить и проверить эффекты лечения Как мы можем оценить и проверить контекстные эффекты Что такое чувствительность тестов

Рандомизированная блок разработка Количество людей (выборка) Мы хотим сравнить два лечения Мы назначаем лечение в школах Многие школы с 2 n (количеством) учащихся в каждой. Назначение n учащимся каждого лечения в каждой школе.

Рандомизированная блок разработка Эксперимент Сравните два лечения в эксперименте Мы назначаем лечение в школах В m школах с 2 n учащихся в каждом Назначение n учащимся каждого лечения в каждой школе

Рандомизированная блок разработка Таблица разработки Школы Лечение 1 2 … m 1 … 2 …

Рандомизированная блок разработка Школа 1 Школы Лечение 1 2 … m 1 … 2 …

Концептуальная модель Статистическая модель наблюдения за kth людей в jth школе при ith лечении это Yijk = μ +αi + βj + αβij + εijk где μ это большое среднее значение, αi это средний эффект присутствия лечения i, βj это средний эффект присутствия в школе j, αβij это разница между средним эффектом от лечения i и эффектом от этого лечения в школе j, εijk это остаток

Контекстный эффект

Двухуровневая рандомизированная блок разработка с не ковариатами (HLM обозначение) Уровень 1 (индивидуальный уровень) Yijk = β 0 j + β 1 j. Tijk+ εijk ε ~ N(0, σW 2) Уровень 2 ( уровень школы) β 0 j = π00 + ξ 0 j ~ N(0, σS 2) β 1 j = π10+ ξ 1 j ~ N(0, σTx. S 2) Если мы кодируем лечение Tijk = ½ or - ½ , то параметры идентичны тем, которые в стандарте ANOVA

Эффекты и Подсчеты Среднее число количества людей лечения 1 в школе j это α 1 + αβ 1 j Среднее число количества людей лечения 2 в школе j это α 2 + αβ 2 j Подсчеты среднего числа лечения 1 в школе j это α 1 + αβ 1 j + ε 1 j● Подсчеты среднего числа лечения 2 в школе j это α 2 + αβ 2 j + ε 2 j●

Эффекты и Подсчеты Сравнительный эффект лечения каждого из школ j это (α 1 – α 2) + (αβ 1 j – αβ 2 j) Подсчет сравнительного эффекта лечения в школе j это (α 1 – α 2) + (αβ 1 j – αβ 2 j) + (ε 1 j● – ε 2 j●) Среднее число эффекта лечения в эксперименте это (α 1 – α 2) + (αβ 1● – αβ 2●) Подсчет среднего числа эффекта лечения в эксперименте это (α 1 – α 2) + (αβ 1● – αβ 2●) + (ε 1●● – ε 2●●)

Модели выводов Два разных вида выводов об эффектах Безусловный вывод (школы случайные) Вывод на все пространство школ (требует репрезентативной выборки школ) Условный вывод (школы фиксированные) Вывод в школах в эксперименте (без требуемой выборки в школах)

Статистические аналитические процедуры Два вида статистических аналитических процедур Смешанные процедуры эффектов (школы случайные) Лечить школы в эксперименте как образец из количества людей в школах (только строго правильно, если школы образцы) Фиксированные процедуры эффектов (школы фиксированные) Лечить школы в эксперименте как количество людей

Unconditional Inference (Schools Random) The estimate of the mean treatment effect in the experiment is (α 1 – α 2) + (αβ 1● – αβ 2●) + (ε 1●● – ε 2●●) The average treatment effect we want to estimate is (α 1 – α 2) The term (ε 1●● – ε 2●●) depends on the students in the schools in the sample The term (αβ 1● – αβ 2●) depends on the schools in sample Both (ε 1●● – ε 2●●) and (αβ 1● – αβ 2●) are random and average to 0 across students and schools, respectively

Условный вывод (школы фиксированные) Подсчет среднего значения эффекта лечения в эксперименте все еще (α 1 – α 2) + (αβ 1● – αβ 2●) + (ε 1●● – ε 2●●) Сейчас среднее значение эффекта лечения мы хотим подсчитать как (α 1 + αβ 1●) – (α 2 + αβ 2●) = (α 1 – α 2) + (αβ 1● – αβ 2●) Срок (ε 1●● – ε 2●●) зависит от учащихся в школах в образце Срок (αβ 1● – αβ 2●) зависит от школы в образце, но эффект лечения в образце школ это эффект, который мы хотим подсчитать.

Ожидаемое среднее значение квадратов Рандомизированная блок разработка (Два уровня, школы случайные) Источник Лечение (T) df 1 E{MS} σW 2 + nσTx. S 2 + nmΣαi 2 Школы (S) m – 1 σW 2 + 2 nσS 2 T X S m – 1 σW 2 + nσTx. S 2 В клетках 2 m(n – 1) σW 2

Смешанные процедуры эффектов (школы случайные) Тест на эффективность лечения имеет H 0: (α 1 – α 2) = 0 Подсчитанное среднее значение эффекта лечения в эксперименте это (α 1 – α 2) + (αβ 1● – αβ 2●) + (ε 1●● – ε 2●●) Дисперсии подсчитанного эффекта лечения это 2[σW 2 + nσTx. S 2] /mn = 2[1 + (nωS – 1)ρ]σ2/mn Здесь ωS = σTx. S 2/σS 2 и ρ = σS 2/(σS 2 + σW 2) = σS 2/σ2

Смешанные процедуры эффектов Тест для эффектов лечения это: FT = MST/MSTx. S with (m – 1) df Тест для контекстных эффектов (лечение при взаимодействии школ) это FTx. S = MSTx. S/MSWS with 2 m(n – 1) df Мощность определена операционными эффективными размерами где ωS = σTx. S 2/σS 2 и ρ = σS 2/(σS 2 + σW 2) = σS 2/σ2

Ожидаемое среднее значение квадратов Рандомизированная блок разработка (Два уровня, Школы фиксированные) Источник Лечение (T) df 1 E{MS} σW 2 + nmΣαi 2 Школы (S) m – 1 σW 2 + 2 nΣβi 2/(m – 1) S X T m – 1 σW 2 + nΣΣαβij 2/(m – 1) В клетках 2 m(n – 1) σW 2

Фиксированные процедуры эффектов Тест для эффектов лечения имеет H 0: (α 1 – α 2) + (αβ 1● – αβ 2●) = 0 Подсчитанное среднее значение эффекта лечения в эксперименте это (α 1 – α 2) + (αβ 1● – αβ 2●) + (ε 1●● – ε 2●●) Дисперсия подсчета эффекта лечения это 2σW 2 /mn

Фиксированные процедуры эффектов Тест для эффектов лечения: FT = MST/MSWS with m(n – 1) df Тест для контекстных эффектов (лечение при взаимодействии школ) это FC = MSTx. S/MSWS with 2 m(n – 1) df Мощность определяется операционными эффективными размерами с m(n – 1) df

Сравнение Фиксированных и Смешанных Эффектов Статистических Процедур (Рандомизированный Блочный План) Условный и Безусловный вывод моделей оценивают различные эффекты условий (эксперимента) имеют различные контаминированные (наносящие ущерб, загрязняющие) факторы, которые увеличивают неопределенность Смешанные процедуры полезны для безусловного вывода Фиксированные процедуры полезны для условного вывода Фиксированные процедуры имеют высшую мощность

Иерархический План Генеральная совокупность (основа выборки) Мы хотим сравнить две обработки Мы назначаем обработки для всех школ Многие школы с количеством студентов n Назначаем одинаковую обработку всем студентам в каждой школе

Иерархический план Эксперимент Мы хотим сравнить две обработки Мы назначаем обработки для всех школ Назначаем школы 2 m с количеством студентов n с каждой школы Назначаем одинаковую обработку всем студентам в каждой школе

Иерархический план Схема эксперимента Школы Обработка 1 1 2 … m +1 m m +2 … 2 m 2

Иерархический план Обработка 1 Школы Обработка 1 1 2 … m +1 m m+2 … 2 m 2

Иерархический план Обработка 2 Школы Обработка 1 1 2 … m+1 m m+2 … 2 m 2

Концептуальная модель Статистическая модель для наблюдения k-го человека в j-ой школе в i-ой обработке Yijk = μ + αi + βi + αβij + εjk(i) = μ + αi + βj(i) + εjk(i) μ это общее среднее, αi это средний эффект нахождения в обработке i, βj это средний эффект нахождения в школе j, αβij это различие между средним эффектом обработки и эффектом i и эффектом этой обработки в школе j, εijk это остаток (разность) Или βj(i) = βi + αβij это термин для смешанного эффекта школ в рамках обработок

Концептуальная модель Статистическая модель для наблюдения k-го человека в j-ой школе в i-ой обработке Yijk = μ + αi + βi + αβij + εjk(i) = μ + αi + βj(i) + εjk(i) μ это общее среднее, Связанные эффекты αi это средний эффект нахождения в обработке i, βj это средний эффект нахождения в школе j, αβij это различие между средним эффектом обработки и эффектом i и эффектом этой обработки в школе j, εijk это остаток (разность) Или βj(i) = βi + αβij это термин для смешанного эффекта школ в рамках обработок

Двухуровневый Иерархический План Без независимых переменных (HLM – иерархическая линейная модель) Уровень 1 (индивидуальный уровень) Yijk = β 0 j + εijk ε ~ N(0, σW 2) Уровень 2 (уровень школы) γ 0 j = π00 + π01 Tj + ξ 0 j ξ ~ N(0, σS 2) Если мы шифруем обработку, то Tj = ½ or - ½ , тогда π00 = μ, π01 = α 1, ξ 0 j = βj(i) Внутригрупповая корреляция это ρ = σS 2/(σS 2 + σW 2) = σS 2/σ2

Эффекты и Расчеты Сравнительная обработка в любой заданной школе остается попрежнему j (α 1 – α 2) + (αβ 1 j – αβ 2 j) Но мы не можем оценивать результат обработки в единичной школе, потому что каждая школа получает только одну обработку Средняя величина эффекта обработки в эксперименте является (α 1 – α 2) + (β●(1) – β●(2)) = (α 1 – α 2) +(β 1● – β 2● )+ (αβ 1● – αβ 2●) Расчет средней величины эффекта обработки в эксперименте это (α 1 – α 2) + (β● (1) – β● (2)) + (ε 1●● – ε 2●●)

Вывод Моделей Два разных типа выводов о эффектах (как рандомизированный блочный план) Безусловный вывод (случайные школы) Вывод для генеральной совокупности школ (нуждается в показательной выборке школ) Условный вывод (фиксированные школы) Вывод для школ в эксперименте (не нуждается в выборке школ)

Безусловный Вывод (Случайные Школы) Средняя величина обработки, которую мы хотим рассчитать (α 1 – α 2) Термин (ε 1●● – ε 2●●) зависит от студентов в школах с выборки Термин (β●(1) – β●(2)) зависит от школ с выборки Оба (ε 1●● – ε 2●●) и (β●(1) – β●(2)) случайны и среднего значения 0 между студентами и школами, соответственно

Условный вывод (Фиксированные школы) Средняя величина обработки, которую мы хотим (можем) рассчитать (α 1 + β●(1)) – (α 2 + β●(2)) = (α 1 – α 2) + (β●(1) – β●(2)) = (α 1 – α 2) + (β 1● – β 2● )+ (αβ 1● – αβ 2●) Термин (β●(1) – β●(2)) зависит от школ в выборке, но мы хотим рассчитать эффект от обработки в школах с выборки Заметим, что этот эффект обработки не совсем похож на рандомизированный блочный план, где мы рассчитываем (α 1 – α 2) + (αβ 1● – αβ 2●)

Методы Статистического Анализа Два вида методов статистического анализа (как в рандомизированном блочном плане) Метод Смешанных Эффектов Обрабатывает школы в эксперименте как выборку из генеральной совокупности Метод Фиксированных Эффектов Обрабатывает школы в эксперименте как генеральную совокупность

Предполагаемое среднее квадратичное Иерархичный план (Два уровня, Случайные Школы) Источник Обработка (T) Степень свободы 1 E{MS} σW 2 + nσS 2 + nmΣαi 2 Школы (S) 2(m – 1) σW 2 + nσS 2 Внутри Школ 2 m(n – 1) σ W 2

Метод Смешанных Эффектов (Случайные школы) Критерий для эффекта обработки имеет H 0: (α 1 – α 2) = 0 Предполагаемый средний эффект обработки в эксперименте это (α 1 – α 2) + (β●(1) – β●(2)) + (ε 1●● – ε 2●●) Дисперсия предполагаемого среднего эффекта это 2[σW 2 + nσS 2] /mn = 2[1 + (n – 1)ρ]σ2/mn где ρ = σS 2/(σS 2 + σW 2) = σS 2/σ2

Метод Смешанных Эффектов (Случайные школы) Критерий для эффекта обработки: FT = MST/MSBS with (m – 2) df Здесь нет общего критерия для эффекта контекста Мощность определяется операционной величиной эффекта где ρ = σS 2/(σS 2 + σW 2) = σS 2/σ2

Предполагаемое среднее квадратичное Иерархичный план (Два уровня, Случайные Школы) Источник Обработка (T) df 1 Школы (S) m – 1 Внутри Школ 2 m(n – 1) E{MS} σW 2 + nmΣ(αi + β●(i))2 σW 2 + nΣΣβj(i)2/2(m – 1) σ W 2

Метод Смешанных Эффектов (Случайные школы) Критерий для эффектов обработки имеет H 0: (α 1 – α 2) + (β●(1) – β●(2)) = 0 Заметим, что эффекты школ смешиваются с эффектами обработки Предполагаемый средний эффект обработки в эксперименте это (α 1 – α 2) + (β●(1) – β●(2)) + (ε 1●● – ε 2●●) Дисперсия предполагаемого среднего эффекта это 2σW 2 /mn

Метод Смешанных Эффектов (Случайные школы) Критерий для эффектов обработки: FT = MST/MSWS with m(n – 1) df Здесь нет общего критерия для эффекта контекста, потому что каждая школа получает только одну обработку Мощность определяется операционной величиной эффекта и (n – 1) df

Сравнение Фиксированных и Смешанных Эффектов Статистических Процедур (Иерархический План) Фиксированный Смешанный Вывод Модели Условный Безусловный Оцениваемая величина (α 1 – α 2) + (β●(1) – β●(2)) (α 1 – α 2) (ε 1●● – ε 2●●) (β●(1) – β●(2)) + (ε 1●● – ε 2●●) Контаминированные факторы Величина эффективности Df (степень свободы) m(n – 1) (m – 2) Мощность высшая низшая

Сравнение Фиксированных и Смешанных Эффектов Статистических Процедур (Иерархический План) Условный и Безусловный вывод моделей оценивают различные эффекты условий (эксперимента) имеют различные контаминированные (наносящие ущерб, загрязняющие) факторы, которые увеличивают неопределенность Смешанные процедуры полезны для безусловного вывода Фиксированные процедуры полезны для условного вывода Фиксированные процедуры имеют высшую мощность

Сравнение Иерархического Плана с Рандомизированным Блочным Планом Рандомизированные Блочные Планы обычно имеют высшую мощность, но назначение разных условий эксперимента внутри школ или групп могут быть практически сложным политически невыполнимым теоретически невозможным Это может быть неразумно методологически из-за возможности Контаминирования или распространения обработок Возмещающего соперничества или деморализации

Приложения к Экспериментальному Плану Мы будем рассматривать два более широко используемых экспериментальных плана в образовании Рандомизированные блочные планы с 2 уровнями Рандомизированные блочные планы с 3 уровнями Иерархические планы с 2 уровнями Иерархические планы с 3 уровнями Мы также рассмотрим влияние независимых переменных Далее мы обычно возьмем школы, для того чтобы потом они были случайными

Осложнения Какие сопоставления данных мы должны принимать во внимание в плане (например: школы, районы, регионы, государства, регионы стран, страны)? Игнорирование контроля некоторых эффектов, таких как фиксированные блочные факторы Обоснование - это как часть определения населения Например, мы определяем мнение населения в этих пяти районах внутри двух стран Но, таким образом это ограничивает обобщенность

Точность Предполагаемого Эффекта Обработки Точность это стандартная ошибка оцениваемого эффекта обработки Точность в простом (простая случайная выборка) плане зависит от: Стандартное отклонение в популяции σ Общее значение выборки N Точность это

Точность Предполагаемого Эффекта Обработки Точность в сложном (кластерная выборка) плане зависит от: (Общее) стандартное отклонение σT Значение выборки в каждом уровне выборочных методов (например: m кластеры, n человек на кластер) Структура внутригрупповой корреляции Так немного сложней вычислять, чем в простых планах, но важно, потому что это поможет вам понять значение (смысл) плана

Внутригрупповые Корреляции в Двухуровневых Планах В двухуровневых планах структура внутригрупповой корреляции определяется одной внутригрупповой Эта внутригрупповая корреляция является пропорцией общей дисперсии, которая между школ (кластерами)

Точность в Двухуровневом Иерархическом Плане Без Независимых Переменных Среднеквадратичная ошибка обработки это SE сокращается, в то время как m (количество школ) увеличивается SE сокращается, в то время как n увеличивается, но только до некоторого предела SE и ρ увеличиваются

Статистическая мощность В простой мощности (простой случайной выборке) планы зависят от: Уровня значимости Величины эффекта Размера выборки Мощность смотрите в таблице размера выборки и величины выборки

Фрагмент из таблицы Кохена 2. 3. 5 d n 0. 10 0. 20 … 0. 80 1. 00 1. 20 1. 40 8 05 07 … 31 46 60 73 9 06 07 … 35 51 65 79 10 06 07 … 39 56 71 84 11 06 07 … 43 63 76 87

Вычисление Статистической Мощности В сложной мощности (кластерной выборке) планы зависят от: Уровня значимости Величины эффекта δ Размера выборки в каждом уровне выборки (например, m кластеры, n количество человек на один кластер individuals per cluster) Структура внутригрупповой корреляции Это кажется трудным вычислить

Вычисление Статистической Мощности Вычисление статистической мощности для сложных планов только немного сложнее, чем вычисление для простых планов Вычислите операционную величину эффекта (включает в себя информацию о выборке) ΔT Посмотрите в таблицу операционного размера выборки и операционной величины эффекта Это та же самая таблица, которую вы использовали в простом плане

Мощность в Двухуровневом Иерархическом Плане Без Независимых Переменных Основная идея: Операционная величина эффекта = (Величина Эффекта) x (Эффект плана) ΔT = δ x (Эффект плана) Для двухуровневых иерархических планов без независимых переменных Операционный размер выборки это количество школ (кластеры)

Мощность в Двухуровневом Иерархическом Плане Без Независимых Переменных Как m (количество школ) увеличивается, мощность сокращается Как величина эффекта увеличивается, мощность увеличивается Другие факторы появляются через эффект плана Как ρ увеличивается , эффект плана (и мощность) уменьшается Не имеет значения, насколько n получает максимальный эффект плана Таким образом, мощность увеличивается до некоторого предела, в то время как n увеличивается

Двухуровневый Иерархический План Без Независимых Переменных (HLM – иерархическая линейная модель) Уровень 1 (индивидуальный уровень ) Yijk = β 0 j + β 1 j. Xijk+ εijk ε ~ N(0, σAW 2) Уровень2 (школьный уровень) β 0 j = π00 + π01 Tj + π02 Wj + ξ 0 j ξ ~ N(0, σAS 2) β 1 j = π10 Заметим, что эффект независимых переменных β 1 j = π10 является фиксированным эффектом Если мы зашифруем обработку Tj = ½ или - ½ , то параметры идентичны тем, которые в стандартизированном ковариационном анализе (ANCOVA)

Точность в Двухуровневом Иерархическом Плане Без независимых переменных Среднеквадратичная ошибка эффекта обработки SE сокращается, когда m увеличивается SE сокращается, когда n увеличивается, но только до некоторого предела SE увеличивается, когда ρ увеличивается SE сокращается, когда RW 2 и RS 2 увеличивается

Мощность в Двухуровневом Иерархическом Плане Без независимых переменных Основная Идея: Операционная Величина Эффекта = (Величина Эффекта) x (План Эффекта) ΔT = δ x (План Эффекта) Для двухуровневого иерархического плана без независимых переменных Независимые переменные увеличивают эффект плана

Мощность в Двухуровневом Иерархическом Плане Без независимых переменных Когда m и величина эффекта возрастает, мощность сокращается Другие факторы появляются через эффект плана Когда ρ увеличивается, эффект плана (и мощности) сокращается Теперь, n получает максимальный эффект плана Так как результат независимых переменных RW 2 и RS 2 увеличиваются эффект плана (и мощности) увеличиваются

Трехуровневый Иерархический План Здесь три фактора Обработка Школы (кластеры) Schools (clusters), вложенные в обработках Группы (подкластеры), вложенные в школы Предположим здесь: m школ(кластеров)на одну обработку p групп (подкластеров) на одну школу (кластер) n студентов (количество человек) на группу (подкластер)

Трехуровневый Иерархический План Без независимых переменных Статистическая модель для наблюдения l-го человека в k-ой группе, в j-ой школе и в i-ой обработке Yijkl = μ + αi + βj(i) + γk(ij) + εijkl где, μ это общее среднее, αi это средний эффект нахождения в обработке i, βj(i) это средний эффект нахождения в школе j, в обработке i γk(ij) это средний эффект нахождения в группе k, в обработке i, в школе j, εijk это остаток (разность)

Трехуровневый Иерархический План Без независимых переменных (HLM – иерархическая линейная модель) Уровень 1 (индивидуальный уровень) Yijkl = β 0 jk + εijkl ε ~ N(0, σW 2) Уровень 2 (групповой уровень) β 0 jk = γ 0 j + η 0 jk η ~ N(0, σC 2) Уровень 3 (школьный уровень) γ 0 j = π00 + π01 Tj + ξ 0 j ξ ~ N(0, σS 2) Если мы зашифруем обработку Tj = ½ or - ½ , то π00 = μ, π01 = α 1, ξ 0 j = γk(ij), η 0 jk = βj(i)

Трехуровневый Иерархический План Внутригрупповые Корреляции В трехуровневом плане есть два уровня образования кластеров и две внутригрупповые корреляции В школьном (кластерном) уровне В внутригрупповом (подкластерном) уровне

Точность в Трехуровневом Иерархическом Плане Без независимых переменных Среднеквадратичная ошибка обработки это SE сокращается, когда m увеличивается SE сокращается, когда p и n возрастают, но только до некоторого предела SE увеличивается, когда ρS ρC увеличиваются

Мощность в Трехуровневом Иерархическом Плане Без независимых переменных Основная Идея: Операционная величина эффекта= (Величина Эффекта) x (План Эффекта) ΔT = δ x (План Эффекта) Для трехуровневого иерархического плана без независимых переменных Операционный размер выборки это количество школ

Мощность в Трехуровневом Иерархическом Плане Без независимых переменных Когда m и величина эффекта увеличиваются, мощность увеличивается Другие факторы появляются через эффект плана Когда ρS или ρC возрастает, эффект плана сокращается Не имеет значения, насколько n получает максимальный эффект плана Таким образом, мощность увеличивается до некоторого предела, в то время как n увеличивается

Трехуровневый Иерархический План Без независимых переменных (HLM – иерархическая линейная модель) Уровень 1 (индивидуальный уровень) Yijkl = β 0 jk + β 1 jk. Xijkl + εijkl ε ~ N(0, σAW 2) Уровень 2 (групповой уровень) β 0 jk = γ 00 j + γ 01 j. Zjk + η 0 jk β 1 jk = γ 10 j η ~ N(0, σAC 2) Уровень 3 (школьный уровень) γ 00 j = π00 + π01 Tj + π02 Wj + ξ 0 j ξ ~ N(0, σAS 2) γ 01 j = π01 γ 10 j = π10 Эффект независимых переменных β 1 jk = γ 10 j = π10 and γ 01 j = π01 фиксированный

Точность в Трехуровневом Иерархическом Плане Без независимых переменных SE сокращается, когда m увеличивается SE сокращается, когда p и n увеличиваются, но только до некоторого предела increase SE увеличивается, когда ρ увеличивается SE сокращается, когда RW 2, RC 2, и RS 2 увеличивается

Мощность в Трехуровневом Иерархическом Плане Без независимых переменных Основная Идея: Операционная величина эффекта= (Величина Эффекта) x (План Эффекта) ΔT = δ x (Эффект Плана) Для трехуровневого иерархического плана без независимых переменных Операционный размер выборки это количество школ

Мощность в Трехуровневом Иерархическом Плане Без независимых переменных Когда m и величина эффекта возрастают, мощность увеличивается Другие факторы появляются через эффект плана Когда ρS или ρC возрастает эффект плана сокращается Не имеет значения, насколько n получает максимальный эффект плана Таким образом, мощность увеличивается до некоторого предела, в то время как n увеличивается

Рандомизированный Блочный План

Двухуровневый Рандомизированный Блочный План Без независимых переменных (HLM – иерархическая линейная модель) Уровень 1 (индивидуальный уровень) Yijk = β 0 j + β 1 j. Tijk+ εijk ε ~ N(0, σW 2) Уровень 2 (школьный уровень) β 0 j = π00 + ξ 0 j β 1 j = π10+ ξ 1 j ξ 0 j ~ N(0, σS 2) ξ 1 j ~ N(0, σTx. S 2) Если мы зашифруем обработку. Tijk = ½ or - ½ , то параметры идентичны тем стандартам, которые в ANOVA

Рандомизированный Блочный План В рандомизированных блочных планах, как в иерархических планах, внутригрупповая корреляция влияет на точность и мощность Однако, в рандомизированных блочных планах также есть параметр, отражающий степень гетерогенности эффекта обработки во всех школах Мы определяем этот гетерогенный параметр как ωS, с точки зрения количества гетерогенности обработки, относительно гетерогенности значения школ Так, ωS = σTx. S 2/σS 2

Точность в Двухуровневом Иерархическом Плане Без независимых переменных Среднеквадратичная ошибка обработки это SE сокращается, когда m (количество школ)увеличивается SE сокращается, когда n и p увеличиваются, но только до некоторого предела SE увеличивается, когда ρ увеличивается SE увеличивается as ωS = σTx. S 2/σS 2 увеличивается

Мощность в Двухуровневом Иерархическом Плане Без независимых переменных Основная Идея: Операционная величина эффекта= (Величина Эффекта) x (План Эффекта) ΔT = δ x (План Эффекта) Для двухуровневого иерархического плана без независимых переменных Операционный размер выборки это количество школ

Точность в Двухуровневом Рандомизированном Блочном Плане Среднеквадратичная ошибка эффекта обработки SE сокращается, когда m увеличивается SE сокращается, когда n увеличивается, но только до некоторого предела SE увеличивается, когда ρ увеличивается SE увеличивается, когда ωS = σTx. S 2/σS 2 увеличивается SE сокращается, когда RW 2 и RS 2 увеличивается

Мощность в Рандомизированном Блочном Без независимых переменных Основная Идея: Операционная Величина Эффекта = (Величина Эффекта) x (План Эффекта) ΔT = δ x (План Эффекта) Для двухуровневого иерархического плана без независимых переменных Независимые переменные увеличивают эффект плана

Трехуровневый Рандомизированный Блочный План

Трехуровневый Рандомизированный Блочный План Без независимых переменных Здесь три фактора Обработка Школы (кластеры) Schools (clusters), вложенные в обработках Группы (подкластеры), вложенные в школы Предположим здесь: m школ(кластеров)на одну обработку 2 p групп (подкластеров) на одну школу (кластер) n студентов (количество человек) на группу (подкластер)

Трехуровневый Рандомизированный Блочный План Без независимых переменных Статистическая модель для наблюдения l-го человека в k-ой группе, в j-ой школе и в i-ой обработке Yijkl = μ + αi + βj(i) + γk(ij) + εijkl где, μ это общее среднее, αi это средний эффект нахождения в обработке i, βj это средний эффект нахождения в школе j, в обработке i γk это средний эффект нахождения в группе k, в обработке i, в школе j, αβij различие между средним эффектом обработкиi и эффектом обработки в школе j, εijk это остаток (разность)

Трехуровневый Рандомизированный Блочный План Без независимых переменных (HLM – иерархическая линейная модель) Уровень 1 (индивидуальный уровень) Yijkl = β 0 jk + εijkl Уровень 2 (групповой уровень) β 0 jk = γ 00 j + γ 01 j. Tj + η 0 jk ε ~ N(0, σW 2) η ~ N(0, σC 2) Уровень 3 (школьный уровень) γ 00 j = π00 + ξ 0 j γ 01 j = π10 + ξ 1 j Если мы зашифруем обработку Tj = ½ or - ½ , то π00 = μ, π10 = α 1, ξ 0 j = βj , ξ 1 j = αβij , η 0 jk = γk ξoi ~ N(0, σS 2) ξ 1 i ~ N(0, σTx. S 2)

Трехуровневый Рандомизированный Блочный План Внутригрупповые корреляции В трехуровневом плане есть два уровня образования кластеров и две внутригрупповые корреляции В школьном (кластерном уровне) В групповом (подкластерном) уровне

Трехуровневый Рандомизированный Блочный План Гетерогенные параметры В трехуровневых планах, как в двухуровневых рандомизированных блочных планах, существует параметр, отражающий степень гетерогенности эффектов обработки во всех школах Мы определяем этот гетерогенный параметр как ωS, с точки зрения количества гетерогенности обработки, относительно гетерогенности значения школ (как в двухуровневом плане) Thus ωS = σTx. S 2/σS 2

Точность в Трехуровневом Рандомизированном Блочном Плане Без независимых переменных Среднеквадратичная ошибка эффекта обработки это SE сокращается, когда m увеличивается SE сокращается, когда p и n увеличиваются, но только до некоторого предела increase SE увеличивается, когда ωS увеличивается SE увеличивается, когда ρS и ρC увеличиваются SE сокращается, когда m увеличивается

Мощность в Трехуровневом Рандомизированном Блочном Плане Без независимых переменных Основная Идея: Операционная Величина Эффекта = (Величина Эффекта) x (План Эффекта) ΔT = δ x (План Эффекта) Для трехуровневого иерархического плана без независимых переменных Операционный размер выборки это количество школ

Мощность в Трехуровневом Рандомизированном Блочном Плане Без независимых переменных Когда m и величина эффекта возрастают, мощность увеличивается Другие факторы появляются через эффект плана Когда ρS или ρC возрастают, эффект плана сокращается Не имеет значения, насколько n получает максимальный эффект плана Таким образом, мощность увеличивается до некоторого предела, в то время как n увеличивается

Мощность в трехуровневом рандомизированном блочном плане Без независимых переменных SE сокращается, когда m увеличивается SE сокращается, когда p and n увеличиваются, но только до определенного предела SE увеличивается, когда ρ и ωS увеличиваются SE сокращается, когда RW 2, RC 2, and RS 2 увеличиваются

Мощность в трехуровневом рандомизированном блочном плане Без независимых переменных Основная Идея: Операционная Величина Эффекта = (Величина Эффекта) x (План Эффекта) ΔT = δ x (План Эффекта) Для трехуровневого иерархического плана с независимыми переменными Операционный размер выборки это количество школ

Мощность в трехуровневом рандомизированном блочном плане Без независимых переменных Как m и величина эффекта возрастают, мощность возрастает Другие факторы появляются через эффект плана Когда ρS или ρC возрастают, эффект плана сокращается Не имеет значения, насколько n получает максимальный эффект плана Таким образом, мощность увеличивается до некоторого предела, в то время как n увеличивается

Какая единица должна быть рандомизирована? (Школы, Группы или Студенты) Эксперименты не могут рассчитать причинный эффект на любом человеке Эксперименты рассчитывают среднюю причинных эффектов, на единицы, которые были рандомизированы Если вы рандомизируете школы, то среднее эффектов, являются эффектами школ Если вы рандомизируете группы, то среднее эффектов, являются эффектами групп Если вы рандомизируете людей, среднее рассчитанных причинных эффектов, являются причинными эффектами

Какая единица должна быть рандомизирована? (Школы, Группы или Студенты) Теоретические Considerations Решите какой уровень вам нужен, потом рандомизируйте на этом уровне Рандомизация на нижних уровнях могут повлиять на обобщенность causal вывода (и это приносит намного больше проблем) Предположим Вы рандомизируете группы, должны ли Вы randomly назначать студентов в группы? Это зависит: Заинтересованы ли Вы в среднем causal эффекте обработки от естественного появления групп или randomly assembledones?

Какая единица должен быть рандомизирована? (Школы, Группы или Студенты) Относительная мощность/точность эффекта обработки Назначьте Школы (Иерархический План) Назначьте Группы (Рандомизированный Блок) Назначьте студентов (Рандомизированный Блок)

Какая единица должна быть рандомизирована? (Школы, Группы или Студенты) Точность расчетов или статистической мощности dictate assigning самый нижний возможный уровень Но индивидуальной (или даже групповой) уровень не всегда будет feasible и даже теоретически desirable

Вопросы и Ответы про План

Вопросы и Ответы про План 1. Можно ли сопоставить мои школы (или группы) до того, как я буду рандомизировать, чтобы сократить отклонение? 2. Я назначил обработки для школ и я не использовал группы. Должен ли я учитывать их в плане? 3. Я назначаю школы и я использую каждую группу в школе. Должен ли я включать группы как вложенный фактор? 4. Все мои школы с двух районов, но я назначаю школы в случайном порядке. Должен ли я учитывать районы в каком-то определенном порядке?

Вопросы и Ответы про План 1. Я действительно не испытывал школы в моем эксперименте (кто делает? ). Должен ли я все еще обрабатывать школы, как случайные эффекты? 2. Я действительно не испытывал мои школы, и какую генеральную совокупность я могу обобщать в любом случае? 3. Я использую рандомизированный блочный план с фиксированными эффектами. Вы действительно думаете, что я ничего не могу сказать про эффеты в школах, которые вне выборки?

Вопросы и Ответы про План 1. Мы рандомизировали план , но наше назначение было коррумпировано коммутаторами. Что мы должны сделать? 2. Мы рандомизировали план , но наше назначение истощилось. Что мы должны сделать? 3. Мы рандомизировали план, но получили большое несоответствие о характеристиках, которые важны для нас (пол, раса, язык, социально-экономическое положение). Что мы должны сделать? 4. Мы рандомизировали план, но когда мы посмотрели на претест счетов, мы увидели большое несоответствие ( «плохая рандомизация» ). Что мы должны сделать?

Вопросы и Ответы про План 1. Для нас важны эффекты обработки, но мы действительно хотим знать про его механизм. Как мы узнаем, если реализация влияет на эффект обработки? 2. Мы хотим узнать где (под какими условиями) работает обработка. Можем ли мы анализировать отношение между условиями и эффектом обработки, чтобы найти это? 3. Мы рандомизировали блочный план и нашли гетерогенные эффекты обработки. Что мы можем сказать о главном эффекте этой обработки при взаимодействии?

Вопросы и Ответы про План 1. Я предпочитаю использовать регрессию и я знаю, что регрессия и ANOVA являются эквивалентами. Для чего мне нужно все, чтобы составить план и анализировать эксперименты с ANOVA? 2. Все проблемы в регрессии решают трудные среднеквадратичные ошибки? 3. Я слышал, что можно использовать «школьные фиксированные эффекты» для анализа рандомизированного блочного плана. Является ли это хорошей альтернативой для ANOVA или HLM? 4. Могу ли я использовать школьные фиксированные эффекты в иерархическом плане?

Вопросы и Ответы про План 1. Мы хотим использовать независимые переменные, чтобы улучшить точность, но мы считаем, что они действуют несколько по -разному в разных группах (имеют различные наклоны). Что мы должны делать? 2. Мы получаем немного разные дисперсии в разных группах. Должны ли мы использовать трудные средне квадратичные ошибки? 3. Мы получаем несколько разные ответы с

Спасибо!