Методология научных исследований как сделать хорошее исследование и

Методология научных исследований: как сделать хорошее исследование и оформить рукопись диссертации

Структурные компоненты рукописи: ГОСТ Р 7. 0. 11— 2011 Диссертация в виде рукописи имеет следующую структуру: а) титульный лист; б) оглавление; в) текст диссертации: 1) введение, 2) основная часть, 3) заключение; г) список сокращений и условных обозначений*; д) словарь терминов*; е) список литературы; ж) список иллюстративного материала*; и) приложения*. * - не являются обязательными 2

Компоненты структуры и содержания диссертации 1. Введение. 2. Основная часть диссертации: 2. 1. Анализ известных положений и решений. 2. 2. Описание проблемной ситуации (изложение недостатков объекта исследования). 2. 3. Постановка цели и задач. 2. 4. Решение задачи или получение разработки. 2. 5. Научное обоснование решения или разработки. 2. 6. Оценка значения для теории и практики. 3. Научные выводы по главам. 4. Заключение по диссертации. 3

Что определяет структуру рукописи? Принципы соответствия. Первый принцип. Соответствие структуры логической последовательности изложения нового научного знания: Анализ состояния и систематизация известного знания. Выявление недостающего знания, имеющего значение для теории и практики отрасли науки. Гипотеза (предложение, разработка) получения нового научного знания. Теоретические положения диссертации (модель). Обоснование теоретических положений (эксперимент, практика). Формулирование нового научного знания (выводы, рекомендации). Пример конкретного использования (рекомендуется) Заключение по работе в целом. 4

Принцип второй. Соответствие структуры содержанию основного результата диссертации Основной результат: Теория (решение задачи, теоретические положения) или Технологическая разработка (решение), или Социологическое предложение (интерпретация). Изложение результатов имеет различие! 5

Основной результат – теоретические положения (решение задачи). ОГЛАВЛЕНИЕ (проект) Введение Глава 1. 1. Анализ проблемной ситуации. 1. 2. Постановка гипотезы нового научного знания. 1. 3. Цель, задачи. Глава 2. 2. 1. Теоретическое обоснование гипотезы. 2. 2. Теоретическая интерпретация. Следствия. Глава 3. 3. 1. Обоснование гипотезы (эмпирическое, теоретическое). 3. 2. Сравнение интерпретаций. 3. 3. Выводы о достоверности гипотезы и предложение нового научного знания. 6

Основной результат – социологическое предложение (ОГЛАВЛЕНИЕ проект) Глава 1. 1. 1. Анализ состояния разработанности предметной области. 1. 2. Формулирование конфликтной ситуации. 1. 3. Систематизация методов разрешения. 1. 4. Постановка цели, задач ДИ. Глава 2. 2. 1. Предложение гипотезы компромисса. 2. 2. Теоретическая модель отношений. Построение сценария. 2. 3. Формулирование решения и следствий. Глава 3. 3. 1. Платформа обоснования предложений. 3. 2. Практическая апробация разработки. Получение данных. 7

Нормативные требования к структуре и содержанию I. Внутреннее единство (критерий целостности и законченности работы). II. Согласованность структурных и содержательных компонентов (проблемы – цели – наименования – задач – результатов – выводов – рекомендаций). III. Наличие компонентов (Положение, п. 10): – – – содержать совокупность результатов; иметь новизну результатов, содержать оценку по сравнению с известными; свидетельствовать о личном вкладе автора, содержать обоснование достоверности. 8

Введение к диссертации ГОСТ Р 7. 0. 11— 2011 5. 3. 1 Введение к диссертации включает в себя следующие основные структурные элементы: • актуальность темы исследования; • степень ее разработанности; • цели и задачи; • научную новизну; • теоретическую и практическую значимость работы; • методологию и методы исследования; • положения, выносимые на защиту; • степень достоверности и апробацию результатов. 9

Структура введения к диссертации (рекомендация) 1. Актуальность объекта исследования в целом, его признаки, область использования. 2. Краткая история развития объекта исследования. 3. Определение объекта исследования диссертации в соответствии с паспортом специальности. 4. Формирование признаков предмета исследования и его определение. 5. Современное состояние предмета исследования, степень проработанности темы. 6. Недостатки объекта и предмета исследования (формирование проблемной ситуации). 7. Цель диссертационной работы. 10

Построение введения к диссертации (продолжение) 8. 9. 10. 11. 12. Теоретическая платформа исследования. Гипотеза (решение) разрешения конфликта. Направления (задачи) исследования. Предполагаемые методы исследования. На защиту выносятся (основные результаты). 13. Предполагаемая новизна результатов. 14. Аннотация работы по главам. 15. Благодарности за помощь в работе научному руководителю, консультантам и коллегам. 11

ШАБЛОНЫ НАПИСАНИЯ КОНСТРУКТОВ ВВЕДЕНИЕ 1. Актуальность объекта исследования в целом, его признаки, область использования. Объект исследования дис. р-ты хорошо известен и находит широкое применение … Его модификации используются … [1, 2] О роли и значении … говорят следующие данные … [3, 4]. Обусловлено это тем, что существует …, в частности, … К этому следует добавить, что по международным соглашениям на территории России (стран СНГ и за рубежом) …, что определяет значительную потребность в использовании таких … и ввиду острой необходимости …. (Объект исследования) применяется также … с целью … и изучения …, что позволяет моделировать … для исследования влияния … на …, (экологическую) обстановку… Развитие положений … представляет значительный интерес для решения задач теории … и практики… поскольку …. они в значительной степени определяют…. Можно добавить, что … зависят … и, наконец, … Например, изменение … позволяет уменьшить (увеличить), как отмечается в работах [5 6, 7, …] на … %. Селетков С. Г. Методология 12

Выводы: 1. Структура диссертации соответствует содержанию и логике (проблема – гипотеза – получение – обоснование – оценка - презентация) изложения научного знания соответствующего класса отраслей науки (естественные, технологические, социальные). 2. Форма соответствует типу научных данных (описание (наблюдение, систематизация), моделирование (теоретическое исследование), экспериментирование (создание среды для наблюдения и регистрации), изобретение, проектирование) 3. Структура диссертации и автореферата оговаривается ГОСТ Р 7. 0. 11— 2011. 13

С чего начинается исследование? • Научная проблема, или исследовательский вопрос. Любой вопрос (даже бредовый), касающийся некоторого явления (экономического, управленческого, социального, психологического…. ).

Формулировка «Актуальности» : 1. Актуальность – вызов современности. 2. Актуальность результатов формулируется через их значение для теории и практики отрасли науки в текущий период времени. 3. Значение результата может быть актуальным и потенциальным. 4. Актуальность обосновывается как объекта, так и предмета 15 исследования диссертации.

Этапы научного исследования (самая простая из сотен тысяч разных схем) Теоретический анализ Формулировка гипотез Проблема! Методы: - что? . . - как? . . - где? . . - с кем? . . …мы будем изучать? Оценка результатов Публикация!. . Сбор данных Анализ данных

О научных проблемах, целях и задачах Поставим вопросы: 1. Что общего и в чем различие между проблемой и целью? 2. Когда в диссертации ставится проблема и когда цель? 3. Что различает цель и задачу? Цели и задачи в логической последовательности изложения научного исследования: актуальность объекта недостатки объекта (устраняемые в диссертации) проблемная ситуация цель (проблема) задачи (направления) гипотеза (решение, предложение, разработка) 17

Некоторые известные определения научной проблемы: • «Знание о незнании» . (метафора, человек осознал, что он чтото не знает!) • «Я знаю, что ничего не знаю» Сократ. Современные философы • «Дефект наличного знания» (И. Т. Касавин) • «Трудности объяснения полученных данных существующими фундаментальными положениями теории» (Г. И. Рузавин). • «Непонимание новых научных данных и их отношения к известному знанию» (А. Ю Цофнас). 18

Научная проблема • Исследовательский вопрос = проблема исследования Является ли проблема исследования научной проблемой? • Шансы на успех зависят от того, как она поставлена: – используются ли научные понятия, опирается ли она на научную картину реальности? – соотносится ли она с существующими теориями, релевантна ли актуальному научному дискурсу? (однако Вы можете поставить новую научную проблему, преодолев инерцию научного сообщества) – актуальна ли она с точки зрения социума? (готов ли кто-то дать на это денег? )

Проблемы диссертанта Основная проблема: • Поиск новых данных, нового решения или новой разработки, способных стать новыми, научными и диссертабельными результатами. Постановка и решение проблемы (задачи) различна для различных классов отраслей науки (естественные, технологические, социальные): • Естествознание предполагает открытие явления и его описание; • Технологические – разработку устройств и технологий, модернизацию; • Логические – доказательство в системе законов логики и аксиом, допущений; • В социологии – прогноз социального развития в изменяющихся условиях, интерпретацию. 20

Определение проблемы в МИ Проблема в диссертации – это осознанное и вербализованное требование позитивного разрешения проблемной ситуации, имеющее существенное значение для теории и практики конкретной отрасли науки. 21

Вопросы и типы исследования Некоторые варианты постановки вопросов сразу предполагают определённый тип исследования «Количественные» • Есть ли связь…? • Есть ли различия в… в зависимости от …? «Качественные» • Как…? ( описать процесс, ситуацию) • Зачем…? (цели людей) Иногда просто нет смысла использовать методы определённого типа, если проблема (вопрос) исследования не сформулирована «под них» .

По цели исследования бывают… • Поисковое (изучение неизученного процесса, поиск закономерностей) • Подтверждающее (воспроизведение ранее полученного факта) • Критическое (спланированная проверка определённой модели, положения теории)

Выбор проблемы исследования

Признаки научной проблемы, цели и задачи • Проблему решает целостная теория, а задачу решает часть теории (Б. С. Грязнов). • Проблема не имеет алгоритма решения, а задача имеет? (Г. И. Рузавин) • «Цель – это идеальный образец продукта» (академик РАН В. С. Степин). 25

Пример формулировки цели • Целью работы является (решение задачи …, разработка технологии, создание …), позволяющей при оптимальных (затратах материала, времени, … ), выполнить (установить, объяснить, …) и имеющей существенное значение для… (развития научной дисциплины… , качества жизни …) …. Замечания: 1. Научная цель и научная проблема определяют прогрессивную миссию и направленность деятельности (магистерской работы). 2. Постановка задачи или проблемы определяется масштабностью предмета исследования: в магистерской и кандидатской – цель и задачи, в докторской – проблема и направления исследования (не строго). 26

Этапы постановки задач (МД): I. III. IV. V. VI. Выявление потребности в проведении ДИ. Систематизация предметной области. Выявление предполагаемой новизны МД. Определение и ранжирование целей МД (дерево целей-задач). Определение условий и ограничений (задача становится научной, снять допущения, …). Формулирование задач МД. Докторская диссертация: 1. (ДД) Расширение предметной области диссертации. 2. (ДД) Формулирование научных проблем (целей) ДИ и направлений исследования. 27

Примеры (шаблон) формулировок задач: 4. 5. 6. Выполнить обоснование, полученных результатов с привлечением известных методов обоснования, в частности, путем сопоставления (сравнения) данных с … (фундаментальные знания, известных решений, эмпирических данных …). Выполнить статистический анализ расчетных и экспериментальных результатов. Сделать выводы об адекватности теоретической и эмпирической интерпретаций. Разработать технологию апробации предлагаемой разработки и проведения экспериментальных исследований …. Сформулировать рекомендации по практическому использованию научных выводов. Заметим, что Задачи структурируют работу по главам! 28

О соответствии задач и результатов Методический прием: Количество задач и их формулировки должны быть согласованы с количеством и формулировками результатов диссертации, что обеспечивает целостность диссертационной работы и ее внутреннее единство в качестве критериев МИ. Идеально если: N задач = N результатов 29

Выводы 1. Цель является компонентом диссертации. 2. Формулировка цели согласуется с другими компонентами диссертации: объектом, предметом, наименованием, задачами и другими. 3. Цель определяет основной результат и задачи для его достижения 30

Классификация научных методов I. Философские: » » Метафизические (надфизические), Диалектические, Феноменологические (феномен – явление) , Герменевтические (объяснительные). II. Общенаучные: » эмпирические, » теоретические, » общелогические; III. IV. V. Частнонаучные (отраслевые). Дисциплинарные. Междисциплинарные (например: ММ и ИТ). Селетков С. Г. Методология диссертационного 31

Общенаучные методы: I. Эмпирические 1. 1. Наблюдение (преднамеренное и целенаправленное восприятие). 1. 2. Эксперимент (наблюдение за изменением в результате организованного вмешательства в самопротекающий ход событий). 1. 3. Измерение (установление количественных характеристик) 1. 4. Сравнение (а сравнение двух теорий? ). II. Теоретические 2. 1. Формализация. 2. 2. Аксиоматический. 2. 3. Гипотетико-дедуктивный. 2. 4. Восхождение от абстрактного к конкретному. III. Общелогические 3. 1. Анализ, синтез. 3. 2. Абстрагирование, обобщение. 3. 3. Идеализация, моделирование. 3. 4. Аналогия, индукция. 3. 5. Системный подход. Селетков С. Г. Методология диссертационного 32

• Недостаток , приведенной классификации общенаучных методов? • Отсутствует движение к результату (процесс его достижения) ! Селетков С. Г. Методология диссертационного 33

Классификация методов диссертационного исследования I. Поиска (до получения результата) II. Получения (во время получения результата) III. Обоснования IV. Презентации (после получения результата) РЕЗУЛЬТАТ ПОИСК ПОЛУЧЕНИЕ ОБОСНОВАНИЕ Селетков С. Г. Методология диссертационного ПРЕЗЕНТАЦИЯ 34

Выводы: 1. Исследовательский (научный) подход выполняется через систему научно-исследовательских методов, разработанных в процессе развития науки. 2. Их использование является обязательным условием (формулируется методологическая платформа). 3. Для выполнения диссертационного исследования ПОЛЕЗНА процессуальная классификация научных методов достижения результата, которая включает методы: поиска, получения, обоснования и презентации. 35

Информационный поиск. Что мы ищем? Темы (объект, предмет) ПОИСК Гипотезы (новизны диссертации) Теории (модель, расчет) Данных ( наблюдения, эксперимента, статистики) Селетков С. Г. Методология диссертационного 36

Итерационный цикл информационного поиска (исследовательская программа) Противоречия и несоответствия Проблемная ситуация, критика, поиск позиции Цель, задачи, актуализация. Признаки нового результата Информационный поиск (сравнение) Обоснование новизны и достоверности результатов Творческий поиск решения Новый научный результат ? ? ? Новый научно обоснованный результат Решение задачи Инновационная разработка Селетков С. Г. Методология диссертационного 37

Информационный поиск в ДИ Функции информационного поиска в ДИ: 1. Поиск прототипов результатов диссертации. 2. Формирование коллекторской и исследовательской программ ДИ. 3. Систематизация и сравнительный анализ точек зрения по предмету исследования. 4. Определение возможных новых признаков научных положений диссертации. 5. Обращение к известным трудам как к средству аргументации и сокращения (!) (не увеличения ? ) объема текста диссертации. Селетков С. Г. Методология диссертационного 38

Основные источники информации (в порядке снижения достоверности информации!) • • • информационные издания (аналитические обзоры, выставочные проспекты); словари и справочники; оригиналы иностранной научной литературы; переводы научной литературы; диссертации и авторефераты; отчеты о научно-исследовательской работе. Селетков С. Г. Методология диссертационного 39

Зачем нам теория? • Два варианта развития научного поиска: – Теория Проблема Выбор феномена Исследование феномена Интерпретация фактов – Феномен Проблема Исследование феномена Интерпретация фактов Теория

Зачем нам нужен теоретический обзор? • Убедиться в том, что наше исследование актуально и мы не «изобретаем велосипед» . • Рассмотреть различные варианты постановки интересующей нас проблемы. • Рассмотреть различные подходы и методы изучения интересующей нас проблемы. • Обобщить существующие теоретические знания и накопленные эмпирические данные.

Виды теоретических обзоров • Теоретический обзор как необходимая основа любого эмпирического исследования: – из него вытекает, зачем Вы проводите своё исследование и почему делаете это именно так; • Теоретический обзор как особый вид аналитической работы: – прояснение того, как ставится та или иная проблема в науке; – обобщение предыдущих исследований в форме «дайджеста» для читателей; – выявление связей, противоречий, «белых пятен» и несоответствий в имеющейся литературе; – наметить следующие шаги в решении проблемы (Eisenberg, 2000).

Характеристики хорошего обзора • • Широта круга источников Глубина анализа источников Релевантность источников Аккуратность в интерпретациях Критика существующих позиций Качественное обобщение Логичная структура (A->B->C) Эффективность: качество/объём

Варианты организации обзора • По логике теории: основные идеи теории частные теории, модели… • По исторической логике: Платон … Вундт … Пупкин • От феноменов: есть А, есть Б сопоставление, проблема • «Как получится» : Nancy Eisenberg: нет единого «правильного» способа структурировать обзор литературы.

Этапы создания обзора • • • Определение проблемного поля Постановка вопросов (целей) Поиск и определение круга источников «Путешествие по ссылкам» Структурирование Анализ и обобщение

Ресурсы для поиска литературы • Поисковые системы: – Google Scholar • Базы научных статей: – базы издательств (hse. ru Электронные ресурсы библиотеки): APA, Elsevier, Wiley, etc. – базы- «агрегаторы» , такие как EBSCO • Индексы цитирования: – Мировых два: Scopus и ISI Web of Science – Российский индекс научного цитирования (РИНЦ): ELibrary. ru • Разнообразные источники: – Google Wikipedia, … … … библиотека!

Как быстро сориентироваться в теме? • Электронные ресурсы библиотеки Scopus • Вводим ключевые слова • Сортируем найденные статьи по убыванию кол-ва цитирований • Просматриваем первые 10 -20 -… (в зависимости от наличия времени) статей; в первую очередь, читаем обзоры и мета-анализы

Рекомендуемый алгоритм поиска 1) Ищем по ключевым словам нужные статьи в Scopus / ISI Web of Science. 2) По кнопке HSE_Full. Text переходим к статьям (если ссылка работает). 3) Либо проверяем, есть ли журнал в нашей подписке, через «A-to-Z сводный каталог» (если есть – там же выходим на нужную БД). 4) Ищем по ключевым словам в Google Scholar (более широкий охват + ссылки на бесплатные ресурсы). 5) Ищем в РИНЦ (elibrary. ru) и русскоязычных поисковых системах.

Создание обзора • Даёт ли обзор исчерпывающую информацию о состоянии проблемы в науке, учитывает ли разные основные имеющиеся подходы и методы её решения? • Является ли обзор достаточным обоснованием исследования: вытекает ли из него, что нужно провести именно такое исследование и именно так? • Является ли текст обзора достаточно экономным (кратким), хорошо структурированным и читаемым?

Как можно найти что-то новое!? Методы поиска нового знания Непрогнозируемое (неведомое, нецелевое) Прогнозируемое (целевое) Комбинирование и сравнение. «Все познается в сравнении» Классифицирование Выполнение поисковой процедуры Селетков С. Г. Методология диссертационного Побочный результат 50

Получение нового прогнозируемого знания Аналогия: сравнение с аналогом: природа, продвинутые технологии Прямое сравнение (методы) Идеализация (сравнение с идеалом): признаки, свойства, состояние, потребности. Случайных объектов Инверсия (сравнение объекта со случайным объектом и их признаков) (сделать наоборот): сравнение с «противоположным» 51

Получение нового прогнозируемого знания морфологический анализ (Ф. Цвикки, 1942 ). синектика (Дж. Гордон, 1944), Сравнение образов по матрицам категорий мозговой штурм (категории участников, А. Осборн 1957) эвристические приемы (перечень действий, типа: «вред в пользу» ), метод контрольных вопросов (Д. Пойт, 1945; Т. Эйлоарт, 1972; Г. Буш, 1972), теория конструирования Коллера (перечень действий), вепольный анализ (комбинации структур вещество-поле, Г. Альтшуллер, 1978), 52

Выполнение последовательности операций Методы поисковых процедур: • Алгоритм решения изобретательских задач (АРИЗ, Г. Альшуллер, 1956). • Функционально-стоимостной анализ (ФСА, Ю. Франк, 1959; Л. Майлз, 1967). • Обобщенный эвристический алгоритм (ОЭА, (Е 1, …, Е 17; М 1, …, М 8) А. И. Половинкин, 1976). 53

Морфологическая классификация как поиск нового непреднамеренного научного знания • Создание классификации – это систематизация нового мира или систематизация нового видения старого мира. 54

Таблица химических элементов Д. И. Менделеева Пример (факт, обоснование) – таблица химических элементов Д. И. Менделеева (координаты: атомный вес элемента (периоды) и химическое сходство (группы)). Было известно (середина XIX в. – 63 элемента). 55

Когда появляется новое в технологиях? • Большинство систем развивается при ограниченных ресурсах. КРИТЕРИЙ эффективности РЕСУРС 56

ГИПОТЕЗЫ

Темы лекции № 8 Тема 1. Генерация и формулирование гипотез. Тема 2. Методы получения. Тема 3. Методы обоснования. Селетков С. Г. Методология диссертационного 58

Методические приемы достижения новизны • Детальное изучение предмета исследования, поиск собственной точки зрения (своей гипотезы). • Систематизация и интеграция предметной области (классифицирование). • Вовлечение в научный оборот новых данных (например, новых данных эксперимента). • Использование новых методов исследования (например, новый инструмент исследования). Селетков С. Г. Методология диссертационного 59

От вопроса к гипотезе • Гипотеза – это конкретное предположение об изучаемой реальности: – сформулированное на языке научных понятий (а не житейских терминов), предполагающих тот или иной вариант понимания изучаемой реальности; – истинность которого между проверить теоретически, либо соответствие которого реальности можно проверить с помощью эмпирической процедуры. • Хорошую гипотезу можно проверить. Плохую гипотезу проверить невозможно. • (Хорошая гипотеза – когда неочевидно, подтвердится ли она…)

Определения понятий • Чтобы сформулировать гипотезы, нам нужно дать определения понятий, опираясь на существующие теории или описания феноменов. • Операциональное определение понятия (описывающее то, с чем мы можем/будем работать в исследовании) может не совпадать с теоретическим определением (описывающим понятие в целом): – например, агрессивность можно операционально определить как наличие установок, выражающих враждебное отношение к другим.

Гипотезы • Теоретические гипотезы (противоречие в теории(ях) проверка теоретически) • Эмпирические гипотезы (проверка опытом): – о наличии явления ( «А был ли мальчик? » ); – о связях между явлениями; – о причинно-следственной связи между явлениями. • Статистические гипотезы (в терминах измеряемых переменных, проверка статистическая): – Нулевая (основная) гипотеза (H 0): «Мальчика не было» . – Альтернативная гипотеза (H 1): нулевая гипотеза неверна.

Нужны ли нам гипотезы? • Они обязательны, если исследование подтверждающее или критическое. • В поисковом исследовании гипотезы по сути могут отсутствовать (но по форме, как правило, должны быть формулируем исследовательский вопрос в виде гипотезы). • (Иногда руководители рекомендуют формулировать гипотезу после исследования… Хорошо ли это? )

Формулирование гипотез Простые правила: 1. Формулировать как утверждение (возможность проверки). А) Повысить … можно за счет …, (применить…), что объясняется …. (но может быть и что-то другое). Б) Наблюдаемое … объясняется …. (м. б. другие версии). 2. Исключить самоочевидность (кто бы возразил!). «Автоматизация …повышает производительность…» «Стабильность … снижает риски …» 3. Иметь потенциальную опровержимость. Допускать отрицательный результат. (фальсифицируемость, искать опровержение К. Поппер). Но какой диссертант это будет делать, если ДС не требует? Селетков С. Г. Методология диссертационного 64

Гипотезы • Ясны ли гипотезы? • Проверяемы ли они? • На какой теоретический контекст они опираются (и почему именно на этот)? • Какие возможности операционализации данных гипотез существуют и почему выбрана именно эта?

Формулирование гипотез • Абдукция (объяснение явления (факта)). Пример абдукционной гипотезы. Непосещение занятий некоторыми обучающимися можно объяснить неприритетностью знаний, получаемых ими на этих занятиях, в сознании обучающегося для его настоящей или будущей деятельности. • Аналогия (наличие прототипа). Пример гипотезы по аналогии. Синергетические принципы самоорганизации неживых структур можно использовать в объяснении некоторых социальных процессов в сообществах и организациях. • Индукция (обобщение на основе данных). Пример индукционной гипотезы. Полученные экспериментальные данные позволяют сказать, что между значением … и фактором … в данном диапазоне исследования наблюдается … зависимость. • Дедукция (логический вывод) Если А включает В, а В включает С, то А включает С. Селетков С. Г. Методология диссертационного 66

МЕТОДЫ

Вопросы о методе • Что и где мы будем изучать? – Какие феномены? (сознания, поведения, …) – Какие процедуры измерения? ( тип данных) – В каких условиях? – На какой выборке? • Как мы это будем изучать? – Каков общий план исследования? – Какие методы анализа данных? • Что конкретно для этого будем делать? – Процедура исследования

КЛАССИФИКАЦИЯ НАУЧНЫХ МЕТОДОВ

ПЛАН ИССЛЕДОВАНИЯ

Виды переменных – по отношению к гипотезам Независимые ? ? ? Зависимые переменные воздействуем Исследуемая реальность наблюдаем, измеряем Побочные переменные контролируем (если можем) или хотя бы учитываем их влияние Случайная ошибка, систематическая ошибка, cмешение

Типы исследований • Эксперимент: есть воздействие, есть контроль побочных переменных можно делать выводы о причинно-следственных связях. • Квазиэксперимент: есть воздействие, но нет полного контроля побочных переменных (в первую очередь, рандомизации испытуемых). • Неэкспериментальное эмпирическое исследование: нет ни воздействия, ни контроля побочных переменных (коррел. исследование, лонгитюд и т. д. ) причинноследственный характер связей можно лишь предполагать.

Четыре угрозы внешней валидности (репрезентативности) по Д. Кэмпбеллу • Влияние тестирования: результаты эксперимента будут применимы лишь к людям, которые были протестированы • Взаимодействие отбора и экспериментального воздействия: результаты применимы лишь к людям с определёнными характеристиками • Условия организации эксперимента определяют реакцию испытуемых на эксперимент: результаты применимы лишь к людям в определённых условиях • Взаимная интерференция (взаимовлияние) экспериментальных воздействий, если их несколько: результаты будут применимы лишь к людям, на которых воздействовали именно так (в таком порядке…)

Квазиэксперимент • Не полностью реализован экспериментальный контроль: исследователь не полностью контролирует, когда и/или кому и/или в каком порядке предъявляются воздействия. • Оправдан в ситуациях, когда применение более совершенного (экспериментального) плана невозможно.

Корреляционный план исследования • Задача – поиск взаимосвязей (и проверка статистических гипотез о взаимосвязях) между переменными (двумя и более). • Нет воздействия нет «независимых» и «зависимых» переменных, но эти слова могут употребляться для обозначения логики анализа (зависимость чего от чего мы предполагаем). • Нет возможности проверять гипотезы о причинно-следственном характере наблюдаемых взаимосвязей говорим не о «влиянии» , а только о «взаимосвязи» !

Планы корреляционных исследований • Межгрупповые: – сравнение выраженности признака(ов) или их взаимосвязей в двух (и более) группах; • Внутригрупповые (repeated measures): – план «одна группа в разных условиях» или в разные моменты времени.

Выбор плана • Выделены ли в гипотезах независимые и зависимые переменные? Говорят ли гипотезы о причинноследственной связи явлений? • Возможен ли истинный эксперимент и реализуем ли он на практике, с учётом ограниченных ресурсов? • Какие угрозы внешней и внутренней валидности выводов связаны с выбранным вами планом? Есть ли возможности их контролировать? • Какого рода исследования «ценятся» научным сообществом в данной области знаний?

ПЕРЕМЕННЫЕ

Измерение И. – процедура приписывания экономическим, управленческим объектам чисел таким образом, чтобы отношения между числами соответствовали отношениям между экономическими и др. объектами.

Виды шкал • номинативная (=) • порядковая (=, >) • интервальная (=, <>, 1) • отношений (=, <>, 1, 0)

Надёжность измерения • Надёжность измерения – это доля дисперсии, связанной с измеряемым свойством, в дисперсии полученных значений (баллов по тесту). • Если измерение ненадёжно, значит, шкала теста или опросника не позволяет измерять точно. • Классическая тестовая теория альфа Кронбаха как показатель надёжности (недооценивает надёжность).

Связь надёжности теста с его стандартной ошибкой измерения

Некоторые проблемы классической тестовой теории (CTT) • CTT исходит из того, что ошибка не связана с тестовым баллом. Но на самом деле точность измерения с использованием полученной с помощью CTT шкалы неравномерна: она максимальна для средних баллов и снижается по мере удаления от них (т. е. , связана с тестовым баллом). • На основе CTT мы просто складываем баллы по пунктам теста, но на самом деле у разных пунктов разная дисперсия ошибки: умножая их перед сложнением на некоторый коэффициент качества, можно повысить общую надежность шкалы. • CTT (и альфа коэффициент) исходит из того, что вся общая дисперсия пунктов – это true score. Но на самом деле не вся общая дисперсия пунктов связана с измеряемым свойством (например: человек на все вопросы, независимо от их содержания, отвечает «да» ) => необходимо различать разные виды ошибки.

Разновидности ошибки • Случайная ошибка (random error): доля балла, не связанная с измеряемым свойством, различная для каждого пункта теста. • Систематическая ошибка (bias): доля балла, не связанная с измеряемым свойством, но не случайная (действующая сходным образом на разные пункты). • Случайная ошибка угрожает надёжности измерения, систематическая ошибка – скорее, его валидности: – надёжность измерения: насколько точно мы что-то померили? – валидность измерения: насколько мы померили то, что нам нужно – или что-то другое?

ВЫБОРКА

Создание выборки • Определитесь, насколько важна репрезентативность. • Выберите оптимальную стратегию подбора: – – – полностью случайный отбор (по списку); стратифицированный отбор; кластерный отбор; смешанные (двухуровневые стратегии); слабые: «снежный ком» / удобная выборка / добровольцы. • Оцените потребный объем выборки с учётом: – количества переменных, характера гипотез и планируемых методов анализа данных; – размера интересующих вас эффектов и статистической мощности анализа. • Рассмотрите возможность проведения исследования онлайн.

Статистическая мощность анализа • Уровень значимости: вероятность того, что мы приняли гипотезу H 1, которая на самом деле неверна. • Статистическая мощность анализа (1β): вероятность того, что мы на выборке примем гипотезу H 1, если на самом деле она верна (= шанс обнаружить эффект, если он на самом деле есть).

Уровень значимости • Достоверность взаимосвязи зависит: – от её силы (чем больше r по модулю, тем больше шансов, что он будет значим); – от объёма выборки (чем больше выборка, тем больше шансов, что r будет значим). • на очень маленьких выборках даже для сильных взаимосвязей значимость может не достичь приемлемого уровня; • на очень больших выборках даже очень слабые (и потому практически бессмысленные) взаимосвязи могут оказаться значимыми.

Статистическая мощность анализа • Зависит от… – объёма выборки: чем он больше, тем она выше; – размера эффекта: чем он сильнее, тем она выше; – от выбранного критерия принятия решений о значимости: чем строже требование к уровню значимости, тем она ниже; – от используемого статистического метода (для разных способов проверки одной и той же гипотезы она м. б. разной). • Является критерием для определения объёма выборки с учётом размера ожидаемого эффекта. • Важно! Только высокая мощность (0, 95 и выше) даёт нам возможность делать достоверный вывод о том, что искомый эффект отсутствует (верна H 0). • При недостаточной статистической мощности подобный вывод является необоснованным (правильный вывод: мы не обнаружили эффект, но не можем сказать, есть он или нет).

Исследования в Интернет

Интернет в России Данные ФОМ, весна 2013

Проблема репрезентативности • Выборки из Интернет имеют ограниченную репрезентативность по отношению к некоторым социальным группам, в первую очередь, людям: – старших возрастов; – с невысоким уровнем образования; – с низким социально-экономическим статусом. • Но для многих исследовательских задач это не является проблемой. Интернет-выборки принимаются в ведущих мировых журналах. • Борьба с проблемой репрезентативности: – балансировка выборки путём взвешивания наблюдений; – проведение раздельного анализа на разных подвыборках (например, младшей и старшей сравнить результаты).

Выборка • Достаточен ли объём выборки? – Каков ожидаемый размер эффекта, какой будет статистическая мощность? • Достаточно ли выборка репрезентативна относительно группы, на которую обобщаются результаты? • Позволяет ли состав выборки (подгруппы) проверять нужные гипотезы планируемыми методами?

Шаги выбора метода • Определение набора исходных переменных и их места в анализе (есть ли независимые и зависимые). • Определение шкалы, по которой они измерены и характера распределения (допустимы ли параметрические методы). • Выбор оптимального метода из допустимых, с учётом объёма выборки.

Выбор метода • Чем обоснован именно такой выбор методов? • Соответствуют ли другу результаты разных методов? • Как теоретически обоснована выбранная математическая модель? • Соответствуют ли результаты полученным на других выборках? • Каковы возможные источники артефактов, какие шаги предприняты для борьбы с ними, каковы возможные погрешности?

НАПИСАНИЕ ТЕКСТА

Виды текстов по содержанию • Эмпирические исследования – Количественные – Качественные • • Обзоры литературы Теоретические статьи Методологические статьи Case study

Структура статьи с эмпирическим исследованием (по APA) • • • Название (title) Информация об авторах, аффилиация Аннотация (abstract) 150 -250 слов Введение (introduction) Методы (methods) – Aim, Design, Instruments, Procedure, Sample Результаты (results) Обсуждение (discussion) Литература (references) Приложения (appendices)

Представление эмпирических данных по стандартам APA • Cтандартный вид таблиц данных для наиболее популярных матметодов = легко разобраться. • Давать не только результат проверки значимости, но и точную информацию о размере эффекта (для метаанализа): – например, для корреляции Z = r * корень(N), где Z – значение нормального распределения, соответствующее уровню значимости, N – количество наблюдений в выборке; соответственно, в публикации должны быть представлены как минимум 2 из 3 членов уравнения, чтобы при метаанализе можно было рассчитать недостающий.

Советы по представлению данных эмпирического исследования • Давать в тексте полную информацию обо всех действиях по сбору и обработке данных, чтобы процедуру можно было повторить • Давать в тексте полную информацию о результатах: уровень значимости и размер эффекта • Представлять количественные данные в общепринятой форме (таблицы по стандартам APA) • Не перегружать текст результатами: лучше выбрать самое важное и представить это как следует • Можно разбить большое исследование на несколько публикаций, но нужно чётко указать, как они соотносятся друг с другом (не должны повторять)

Этические стандарты • Использованы ли процедуры защиты прав респондентов? Рекомендуется: – право на добровольное участие информированное согласие; – право на информацию, благополучие дебрифинг; – право частной жизни конфиденциальность, защита личных данных. • Нет ли нарушений научной этики? Необходимо: – убедиться, что не допущен плагиат; – верное указание авторства, аффилиаций. • Нет ли нарушений авторских прав? Необходимо: – убедиться, что есть разрешение на использование чужих инструментов, примеров и пр. • Нужно/есть ли одобрение этической комиссии (IRB)?

Только один вопрос • Выглядит ли моя статья (по структуре, оформлению) так же, как действительно хорошие статьи в действительно хороших журналах?

ГДЕ ПУБЛИКОВАТЬ?

Куда податься? • Статьи в рецензируемых журналах • Статьи в нерецензируемых журналах, в сборниках статей • Авторские монографии • Тезисы в сборниках тезисов • Отчёты о научноисследовательской работе • Препринты, неопубликованные рукописи

Качество публикаций • Определяется не статусом и авторитетом автора, а качеством экспертизы (рецензирования) материала: – статью в рецензируемом журнале или диссертацию оценивают как минимум 3 человека (автор + 2 и более рецензента); – статью в нерецензируемом журнале оценивает 1 человек (редактор); – научную монографию в хорошем издательстве оценивают несколько человек (рецензенты), в плохом – никто; – учебник – как повезёт.

Рецензирование • Западные журналы peer-review: 2 -4 рецензента + редактор. От 2 недель до 3 месяцев, 1 -3 варианта. • Российские журналы ВАК: чаще всего 1 рецензент + редактор (или даже только редактор). Около 3 месяцев, чаще всего 1 итерация.

Оценка • • • Accept with Minor Revisions R & R (Revise and Resubmit) Major Revision Reject Если 2 рецензента не согласны, 3 -ю рецензию даёт редактор. Редактор может также сразу отвергнуть статью без рецензирования.

• Reject – не приговор статье, а всего лишь пессимистическое мнение редактора относительно возможности и желания автора привести статью в приемлемый для данного журнала вид за относительно небольшой промежуток времени. • Даже безнадёжно плохую статью часто можно «спасти» , вопрос в том, ценой каких усилий.

Возражения рецензентов • Рецензенты и редактор хотят помочь вам улучшить вашу статью. • У них может быть своя, узкая точка зрения на вашу предметную область. • Вы можете внести в статью изменения или мягко поспорить с возражениями по отдельным пунктам, хорошо аргументируя свою позицию ссылками.

Выбор журнала • Поиск подходящих журналов: – Индексы цитирования: Impact Factors по Web of Science / Scopus, РИНЦ • Определить круг возможных журналов, примерно ознакомиться с их стандартами, почитать типичные статьи, оценить свои шансы с учётом их rejection rate • Выбрать приоритетный журнал, подробно ознакомиться со стандартами оформления

Цитирование • Чем больше людей прочтут вашу статью, тем больше шансов, что её процитируют. • Для этого она должна быть в достаточно хорошем и достаточно доступном журнале. • Легче всего найти статью в журнале открытого доступа (open-access). • Главы в монографиях цитируются хуже.

Типичные ошибки • Статья подаётся в журнал, для которого она не подходит по тематике или типу исследований (обзоры, эксперименты, серии экспериментов, репликации, корреляционные исследования…) • Статья подаётся в журнал слишком высокого уровня (но часто ничего не теряем, т. к. в таких журналах обычно быстрый отказ). • Статья не оформлена по стандартам конкретного журнала.

Оценка своего исследования • Публикуются ли исследования с таким планом, выборкой, результатами в журнале такого уровня? • Убедиться, что ваш математический анализ проведён эффективно и валидно. • Чётко определить те исследования и результаты, которые вы хотите представить. • Можно определить общую идею и выстроить статью вокруг неё.

Типичные ошибки авторов

Типичные ошибки авторов • Автор «изобрёл велосипед» : решает проблему 1960 -х годов методами 1930 -х • Автор не рефлексирует сущностный характер того, что он изучает, или множит сущности • Автор строит теорию, которая становится для него самоцелью • Автор не утруждает себя идентификацией своего места в контексте науки и не задумывается о том, понятен ли его текст

Типичные ошибки авторов • Автор не осознаёт ограничения выбранного плана исследования и не думает о других возможностях • Автор не задумывается о качестве и адаптации измерительных инструментов • Автор не задумывается о необходимости валидизации своих экспертных процедур • Автор использует заведомо неадекватную целям или нерепрезентативную выборку

Типичные ошибки авторов • Автор не описывает процедуру сбора данных • Автор недостаточно полно описывает данные и/или свои шаги по их анализу • Автор ненавидит статистику и использует одни лишь корреляции или вообще ничего • Автор не задумывается о статистической мощности своего анализа • Автор забывает об условиях применимости матметодов

Типичные ошибки авторов • Автор думает, что хорошая статистика гарантирует достоверные выводы • Автор не осознаёт или умышленно не обсуждает ограничений своего исследования • Автор не стремится получить обратную связь о своих результатах от коллег до публикации

Sternberg: Критерии качества теорий • • • Clarity and Detail Original Substantive Contribution (8 видов) Relation to Past Work Falsifiability Generalizability Discriminability Internal Consistency Correspondence to Past Data Prediction Parsimony Excitement

Sternberg & Grigorenko: Методы • Выборка – Достаточный ли объём? – Подходящая ли популяция использована? – Сбалансирована ли выборка по демографии? – Для лонгитюдов: есть ли выпадение, сторонние эффекты смешения? – Для срезов: сравнимы ли когорты? Подходят ли методики для разных возрастных групп?

Sternberg & Grigorenko: Методы • Материалы – Подходят ли материалы для респондентов? – Понятны ли материалы респондентам так, как понимает их экспериментатор? – Мотивированы ли респонденты? – Адекватно ли материалы операционализируют изучаемые теоретические конструкты? – Удовлетворительно ли описание материалов?

Sternberg & Grigorenko: Методы • План исследования – Каков принцип разбиения на группы? – Есть ли контрольные группы? – Продуман ли в целом дизайн? – Подходит ли зависимая переменная к гипотезам и соответствует ли выводам? – Подходят ли независимые переменные гипотезам и выводам?

Sternberg & Grigorenko: Методы • Процедура – Чётко ли показана процедура? – Нет ли пропущенных шагов? – Подходит ли процедура для гипотез? – Описано ли оборудование? – Выполнены ли этические нормы (информированное согласие, дебрифинг). – Было ли что-то неэтичное в исследовании? – Подходит ли процедура респондентам? – Если были ошибки, влияют ли они на валидность?

Sternberg & Grigorenko: Методы • Гипотезы – Ясно ли, как гипотезы следуют из теории? – Соответствуют ли гипотезы имеющимся данным? Если нет, объясняется ли это? – Правдоподобны ли гипотезы? – Интересны ли гипотезы? – Согласуются ли гипотезы друг с другом? – Проверяемы ли они?

Автореферат диссертации Положение о порядке … (п. 18) В автореферате должны быть изложены и показаны: – – основные идеи и выводы диссертации, вклад автора в проведенное исследование (? ), степень (? ) новизны (оценка новизны), практическая значимость результатов исследований. 125

ГОСТ Р 7. 0. 11 – 2011 8 Структура автореферата диссертации Автореферат диссертации включает в себя: а)обложку автореферата диссертации; б)текст автореферата диссертации: 1) общую характеристику работы, 2) основное содержание работы, 3) заключение; в)список работ, опубликованных автором по теме диссертации. С. Г. Селетков: Методология диссертационного 126

ГОСТ Р 7. 0. 11 – 2011 9. 2. Оформление текста автореферата диссертации 9. 2. 1. Общая характеристика работы включает в себя следующие основные структурные элементы: • актуальность темы исследования; • степень ее разработанности; • цели и задачи; • научную новизну (как говорить о новизне не сказав о результатах? Мой комментарий); • теоретическую и практическую значимость работы; • методологию и методы исследования; • положения, выносимые на защиту (здесь придется повториться о новизне? Мой комментарий); • степень достоверности и апробацию результатов. Основное содержание работы кратко раскрывает содержание глав (разделов) диссертации. В заключении автореферата диссертации излагают итоги данного исследования, рекомендации и перспективы дальнейшей разработки темы. 127

Автореферат диссертации Конструкты общей характеристики автореферата: 1. Определение объекта и предмета исследования. 2. Актуальность объекта ДИ (с изложением недостатков объекта исследования). 3. Актуальность предмета ДИ. 4. Степень разработанности тематики. 5. Цель (проблема) диссертационной работы (направленность ДИ на устранение недостатков объекта исследования). 6. Задачи (направления) ДИ. 128

Автореферат диссертации 6. Гипотеза (гипотезы) ДИ (при ориентации на решение задачи и изложении новых научных знаний). 7. Методы (методологические основания) исследований (теория, эксперимент, тесты). 8. Основные результаты, полученные лично соискателем (выносимые для защиты) и их научная новизна (новое научное знание, отличие от известных). 9. Достоверность и обоснованность результатов (1 -й и 2 -ой уровень теории, метрологическое обеспечение экспериментов, сравнение ). 129

Автореферат диссертации 10. Значение результатов для теории и для практики. 11. Реализация результатов (практика использования). 12. Апробация работы (презентация результатов на конференциях). 13. Публикации по теме с выделением публикаций в научных журналах из перечня ВАК. 14. Соответствие результатов диссертации паспорту научной специальности. 15. Структура и объем диссертации. 130