Введение в нейро- и психолингвистику Никита Змановский студент

Введение в нейро- и психолингвистику Никита Змановский студент, стажёр-исследователь открытая лекция от клуба «ЭШЭР» 22 марта 2017 г.

Чем мы занимаемся Мы занимаемся фундаментальными исследованиями в области экспериментальной психо и нейролингвистики, а также прикладными разработками в области клинической лингвистики и нейрореабилитации. https: //www. hse. ru/neuroling/

Чем я занимаюсь Я провожу психолингвистические эксперименты, запись айтрекинговых экспериментов, участвую в ЭЭГ исследованиях. Мои интересы: психология и нейробиология языка в норме, языковая способность, генетика и эволюция языковой способности.

Не лингвистикой единой. . .

. . . а страстью к жизни и науке!

Антропоцентрическое языкознание

Когда кресло — это диван Ранее лингвисты могли свободно пользоваться интроспекцией и рассуждать о языке, приводя лишь умозрительные доказательства своей гипотезы и придумывая примеры из головы. armchair linguistics (диванная лингвистика)

Слепота структуралистов Григорий Осипович Винокур (1886– 1947): «… его [языка] как бы «анатомию» , то есть то, что в нем ос тается после того, как он вынесен за скобки всякого данного част ного акта речи, и такими фактами, которые характеризуют именно эти частные акты речи, в процессе которых указанная система при ходит в действие и обрастает различными «физиологическими» функциями» . Винокур О. Г. Об изучении языка литературных произведений // Избранные работы по русскому языку. - М. , 1959. - С. 229 -259)

Слепота антиструктуралистов «… реальное бытие имеет язык каждого индивидуума; язык села, города, области, народа оказывается известной научной фикцией, ибо он слагается из фактов языка, входящих в состав тех или иных территориальных или племенных единиц индивидуумов» . Шахматов А. Очерк современного русского литературного языка, 4–е изд. М. , 1941. С. 59. Алексей Александрович Шахматов (1886– 1947)

Носитель языка: кто он/а? Если мы хотим изучать язык, то мы должны представлять себе, кто такой «носитель языка» . Каковы характеристики носителя языка? Каким он должен / не должен быть?

WEIRD o Western o Educated o Industriolized o Rich o Democratic Henrich et al. (2010)

Как избежать проблемы? Чтобы избежать проблемы W. E. I. R. D. нужно исследовать «weird» носителей языка: o дети, o пожилые люди, o билингвы, o heritage speakers, o люди с афазиями, o люди с расстройствами психического здоровья.

Стоя на плечах гигантов В. А. Плунгян: «Почему современная лингвистика должна быть лингвистикой корпусов» Моя версия: «Почему современная лингвистика должна быть психолингвистикой» ( и нейро- тоже очень даже!)

Психолингвистика

Зачем нужны эксперименты? Фальсифицируемость (Поппер, 1935): теория научна, если существует методологическая возможность её опровержения путём постановки того или иного эксперимента, даже если такой эксперимент ещё не был поставлен. Лингвистика в столкновении с идеалами Поппера: o «Все языки произошли от русского» Karl Raimund Popper (1902 1994) австрийско британский философ o «В произношении нет разницы между тся и ться» o «Свободный порядок слов в русском языке является отражением русской души»

Основные психолингвистические методы Онлайн-методики Оффлайн-методики Исследуются речевые Исследуется «linguistic output» , механизмы в реальном времени результат понимания/порождения Примеры: везде, где фиксируется скорость (self paced reading, eye tracking, скорость называния) Примеры: те, где не фиксируется скорость (любые опросники и анкеты, мы анализируем только правильность ответов и ошибки) Основное допущение онлайн методов: увеличенное время реакции свидетельствует о трудности в обработке речи.

Lexical decision Задача: нажать на кнопку ( «да, это слово» / «нет, это набор букв» ) Мы измеряем правильность ответа, тип ошибки (если есть) и время реакции. Можно получить данные о скорости распознавания слова, влиянии разных факторов на эту скорость (e. g. , росна — фонетически возможное слово, на нём будет задержка).

Picture naming task Задача: назвать объект или действие, изображённые на картинке. Мы измеряем правильность ответа, тип ошибки (если есть) и время реакции. Можно получить данные о скорости распознавания образа (лексического доступа к слову), «прототипических» образах для слова.

Self-paced reading Задача: читать предложения пословно, самостоятельно регулируя скорость; возможно, оценивать предложения или отвечать на вопросы по ним. ------, - ----. Маша ---------, - ---- читает -----, - ------ журналчик, - ------, а ------, - Миша ------, - ---- спит. Маша читает журнальчик, а Миша спит.

SPR: cognitive task Мы измеряем скорость передвижения по предложению, то есть длительность задержки на каждом слове. Это позволяет понять, как происходит процесс восприятия текста, какие факторы его ускоряют/замедляют. Какое предложение вызвало затруднение у носителей английского языка: A) James knew that kids like Hannah because she enjoys playing with other children. B) James knew that kids like Hannah enjoyed playing with other children.

SPR: processing difficulty A) James knew that kids like Hannah because she enjoys playing with other children. B) James knew that kids like Hannah enjoyed playing with other children. менее частотный вариант reanalysis — грамматическая «переобработка»

Eye-tracking studies

Пошевелите глазками!

«Визуалы» и «лингуалы» Reading paradigm Visual world paradigm

И всё же пошевелите! Фиксации (fixations) – 150 600 мсек ◦ Происходит восприятие информации из зрительного поля ◦ Все равно глаз остается «подвижным» . Микродвижения (фиксационный нистагм). Саккады (saccades) 30 80 мсек ◦ Обеспечивают «фовеализацию» объекта. ◦ В момент саккады мы ничего не видим. Движения прослеживания (smooth pursuit) ◦ Непроизвольно возникают при предъявлении движущегося предмета

Как мы читаем • Фиксации и саккады (регрессии) • Ранняя обработка: первая фиксация, первый проход (first fixation, first pass reading) • Переобработка: регрессии, общее время (regressions, total reading times)

Нейролингвистика

Древние корни афазиологии Папирус Эдвина Смита (найден в 1862) — один из древнейших медицинских текстов, датируется XVI веком до н. э. В документе 22 страницы, на которых описано 48 травматических случаев, в том числе 27 случаев травмы головы. В некоторых случаях врачи фиксировали речевые проблемы. Prins, R. , & Bastiaanse, R. (2006). The early history of aphasiology: from the Egyptian surgeons (c. 1700 BC) to Broca (1861). Aphasiology, 20(8), 762 -791.

Отец-основатель Paul Pierre Broca (1824 1880) — французский хирург, этнограф, анатом и антрополог. Получил степень бакалавра в 16 лет, учился в медицинском вузе с 17 по 20 лет. Когда он окончил мединститут, большинство его сверстников туда только поступали. Был ярым сторонником теории Дарвина: «I would rather be a transformed ape than a degenerate son of Adam» .

Первый (официально) пациент Louis Victor Leborgne Monsieur Tan 1840 — первое обращение в госпиталь 12 апреля 1861 — встреча с Брока 17 апреля 1861 — умер от гангрены 18 апреля 1861 — Брока проводит аутопсию

Слабонервным не смотреть! TAN TAN TAN TAN TAN TAN TAN TAN TAN…

Второй пациент Lazare Lelong — восьмидесятичетырёхлетний ground worker, страдал от деменции (старческого слабоумия). Попал в тот же госпиталь, что и Леборн. Пользовался всего 5 языковыми единицами: o oui (да), o non (нет), o tois (из trois ‘три’, однако пациент использовал это слово для всех чисел), o toujours (всегда), o Lelo (фонетически искажённое имя пациента).

Совпадение? Не думаю!

Второй отец нейролингвистики Carl Wernicke (1848 1905) — немецкий психоневропатолог, автор психоморфологического направления в психиатрии. Родился в Польше, мать пророчила ему будущее министра, но не сложилось. Учился на врача. В 26 лет опубликовал свой 72 страничный труд «Der aphasische Symptomenkompleks» , в котором первым описал сенсорную афазию и локализовал её. Первым в мире создал нейробиологическую модель языка (модель Вернике Гешвинда).

Зона Вернике

Две языковых зоны? Две зоны, которые отвечают за всё: • зона Брока — за зона Брока порождение речи, • зона Вернике — за зона Вернике понимание речи. Сейчас это устаревшая модель!

Много языковых зон! 730 пиков активации, связанных с языковой деятельностью, которые описаны в 129 статьях и научных отчётах Как это анализировать? Как это соотносится с зонами Брока и Вернике? См. решение Tremblay, P. , & Dick, A. S. (2016). Broca and Wernicke are синие точки — фонетика dead, or moving past the classic красные точки — значение зелёные точки — грамматика model of language neurobiology. Vigneau, M. et al. (2006). Meta-analyzing left hemisphere language areas: phonology, semantics, and sentence processing. Neuroimage, 30(4), 1414 -1432.

Arcuate fasciculus проводниковая афазия!

Arcuate fasciculus и не только (DTI — трактография)

Процесс коммуникации (классическая модель)

Достаём мозги из шкафа Nina Dronkers — современная нейролингвистка, директор Центра изучения афазии и сопутствующих заболеваний (Университет Калифорнии)

Найдите N отличий

Найдите N отличий

Нейропластичность А нужен ли нам мозг? . . 44 летний мужчина, жалобы на боль в ноге, заодно сделали МРТ. Серьёзная форма гидроцефалии. Поведенческих отклонений нет; жена, двое детей, работа. IQ score= 75: verbal IQ = 84, performance IQ = 70. Feuillet L. , Dufour H. , Pelletier J. Brain of a white-collar worker //The Lancet. – 2007. – Т. 370. – №. 9583. – С. 262.

Афазия пережила отцов Афазия (от др. греч. ἀ — отрицательная частица и φάσις — проявление, высказывание) — это системное приобретенное коммуникативное расстройство, возникающее вследствие поражения головного мозга, характеризующееся нарушениями разных языковых модальностей [Chapey& Hallowell, 2001]. 4 ключевых аспекта в определении: • «нейрогенное расстройство» • «приобретенное» • «языка» • не сенсорное или интеллектуальное нарушение

Не только мозги из банки Видеозапись опроса пациента изъята по этическим соображениям

Стимуляция мозга Транскраниальная магнитная стимуляция (ТМС, англ. Transcranial magnetic stimulation, TMS) — метод, позволяющий неинвазивно стимулировать кору головного мозга при помощи коротких магнитных импульсов.

Стимуляция всегда и везде https: //www. youtube. com/watch? v=XJt. NPq. Cj i. A

Страшные картинки Операции с пробуждением (awake surgery) — операции на мозге, во время которых человека выводят из наркоза после трепанации черепа. Это нужно для картирования функциональных зон, а значит, максимального сохранения навыков и уровня жизни пациентов.

Студентов операцией не напугаешь Валерия Толкачева, студентка 4 курса Фи. ПЛа, стажер исследователь лаборатории: «Вместе с моим научным руководителем Анной Крабис мы принимаем участие в таких операциях один два раза в неделю. Для меня эта работа — реализация детской мечты о медицине, которую во взрослой жизни победила страсть к языкам и лингвистике. Как оказалось, работая в нейролингвистической лаборатории, эти вещи можно совмещать» .

Мозг живой и реагирует Вызванные потенциалы (event-related potentials, ERPs) — нейрофизиологические реакции мозга на разные стимулы, в том числе языковые.

Когда что-то идёт не так Лексические ошибки (по смыслу) Бабушка связала шарфы для внуков. Бабушка связала арбуз для внуков. Грамматические ошибки (по правилам) Сын недолюбливает нарезку из говядины. Сын недолюбливает нарезать из говядины.

Как мозг понимает, чтото идёт не так

Даже если всё хорошо

Эффект неожиданного варенья

Эффект неожиданного варенья

Эффект неожиданного варенья

Верификация лингвистических теорий Экспериментальная лингвистика позволяет проводить верификацию/фальсификацию лингвистических теорий. Пример: ЭЭГ эксперимент с вызванными потенциалами, где независимой переменной будет вид глагола: новые данные о категории вида в русском языке.

Счастье — в электродах!

Эволюция в языке и язык в эволюции

Эволюция в языке Ludwig Josef Johann Wittgenstein (1889 1951) — австрийский аналитический философ и логик. Выдвинул программу построения искусственного «идеального» языка, прообраз которого — язык математической логики. Философию понимал как «критику языка» . «Представить себе какой-нибудь язык — значит представить некоторую форму жизни» . Философские исследования (1953). Ср: вымирающие языки.

Лингвистика как биология Теория Дарвина в применении к науке о языке: публичное послание доктору Эрнсту Геккелю, э. о. профессору зоологии и директору зоологического музея при Иенском университете «Область языков слишком различна от царств растительного и животного, чтобы совокупность рассуждений Дарвина до малейших подробностей могла иметь для нее значение» . August Schleicher (1821 1868)

Что же общего? Морфология, дивергенция и конвергенция, ареал, эволюция, мутация (Поливанов), систематика. . .

Почему меняется язык? Евгений Дмитриевич Поливанов (1891 1938) — русский и советский лингвист, востоковед, японист и литературовед. Один из основателей ОПОЯЗа, участник Гражданской войны, ярый противник марризма в языкознании. Ученик И. А. Бодуэна де Куртенэ и Л. В. Щербы. Принимал героин. Был арестован в 1937 году по обвинению в шпионаже в пользу Японии, а позже — расстрелян.

Механизмы мутаций в языке Поливанов утверждал, что существует два основных механизма, которые вызывают эволюционные изменения в языке: 1) Принцип экономии произносительной энергии (лень — двигатель прогресса): физиологические особенности речи, постоянное упрощение языка, далее в книге А. Мартине «Принцип экономии в лингвистике» (М. , 1960). 2) Социально-экономические условия: сами изменения звуков или речевых форм нельзя объяснять воздействием «материально общественной жизни» , как писал Н. Я. Марр, или «силой производственно общественных корней» , однако если меняются носители, то меняется и язык, на котором они говорят. Закон Поливанова: «Развитие литературного языка заключается отчасти в том, что он все меньше развивается» .

Порезаться бритвой Оккама Мото о Киму ра (яп. 木村資生, 1924 1994) — японский биолог, получивший широкую известность после публикации в 1968 году своей нейтральной теории молекулярной эволюции, Суть: большая часть мутаций генома — нейтральны, не являются ни полезными, ни вредными. Основывается на статистических расчётах изменчивости. Возможно, в языке многие изменения тоже нейтральны.

Эволюция = наследственность Наследуется ли язык?

Мышление без речи KE family — семья пакистанского происхождения в Великобритании, половина членов которой демонстрируют серьёзное речевое нарушение, названное developmental verbal dyspraxia. Особенности заболевания: 1) Менделевское наследование! 2) Затруднения с грамматикой, с трудом проходят wug тест. 3) Интеллект наследуется независимо: есть те, у кого превосходный IQ.

Срыв покровов Особенности выполнения речевых заданий: 1) Различают ball – bell, но путаются в fall – fell. 2) Не was very happy last week when he was|is first — не видят разницы. Значит, specific language impairment (SLI), а не общекогнитивное нарушение. Скорее всего, пациенты просто хранят в памяти все формы, а не образуют их по грамматическим правилам. Myrna Gopnik a Professor Emerita of Linguistics at Mc. Gill University.

Виновник торжества — FOXP 2

Его отец (мать? . . ): FOXP 2 gene Располагается на длинном плече 7 хромосомы человека. Фиолетовым — non silent mutations. За 75 миллионов лет после появления «мышиной ветви» произошла 1 мутация, а за 6 миллионов лет расхождения человека и шимпанзе — две (ок. 10 100 тыс. лет назад).

Микки-Маус из пробирки Мыши с человеческой версией FOXP 2 учатся быстрее. Schreiweis, C. , Bornschein, U. , Burguière, E. , Kerimoglu, C. , Schreiter, S. , Dannemann, M. , . . . & Groszer, M. (2014). Humanized Foxp 2 accelerates learning by enhancing transitions from declarative to procedural performance. Proceedings of the National Academy of Sciences, 111(39), 14253 -14258. У мышей с поломкой в гене FOXP 2 наблюдается нарушение вокализаций и нейропластичности. Shu, W. , Cho, J. Y. , Jiang, Y. , Zhang, M. , Weisz, D. , Elder, G. A. , . . . & Santucci, A. C. (2005). Altered ultrasonic vocalization in mice with a disruption in the Foxp 2 gene. Proceedings of the National Academy of Sciences of the United States of America, 102(27), 9643 -9648.

Как влияют гены? ген ДНК → «код» для белка → белок → построение синапсов → построение нейронной сети → оформление функциональной зоны (зоны Брока, например) → работа всего мозга → поведение человека → язык

Законы генетики поведения 1. Все поведенческие черты человека являются наследуемыми. 2. Эффект разницы воспитания в одной семье слабее, чем эффект влияния схожих генов. 3. Значительная часть вариативности в сложных поведенческих чертах человека не объясняется влиянием генов или семьи. Turkheimer, E. (2000). Three laws of behavior genetics and what they mean. Current Directions in Psychological Science, 9(5), 160 -164.

Эксперименты с обезьянами

Пауку паучье, человеку человечье Steven Pinker род. 1954 «Плетение паутины не было изобретено неким гениальным пауком и не зависит от наличия у паука специального образования или склонностей к архитектуре или конструкторскому делу. Иначе говоря, пауки плетут паутину, потому что обладают паучьими мозгами, которые побуждают их плести и помогают делать это правильно. Хотя между словами и паутиной существуют различия, я призываю вас посмотреть на язык именно с такой позиции, чтобы ухватить суть явления, которое мы собираемся рассматривать» .

«Языкотворческая сила в человечестве» Вильгельм фон Гумбольдт (1767 -1835) «Язык возникает из таких глубин человеческой природы, что в нем никогда нельзя видеть намеренное произведение, создание народов. Ему присуще очевидное для нас, хотя и необъяснимое в своей сути самодеятельное начало, и в этом плане он вовсе не продукт ничьей деятельности, а непроизвольная эманация духа, не создание народов, а доставшийся им в удел дар, их внутренняя судьба. Они пользуются им, сами не зная , как его построили» .

Язык как выделение слюны ●Радикальный бихевиоризм — нужно изучать поведение и только его ●Оперантное научение — вероятность поведения зависит от благоприятности его последствий ●Verbal Behavior (1957): дети усваивают язык через оперантное научение, они получают подкрепление за правильные предложения и негативное подкрепление за неправильные Burrhus Frederic Skinner (1904– 1990)

Мозг на прокачку: эволюционный гаджет Noam Chomsky (род. 1928) ●Нативизм: языковая способность является врождённой, критика Скиннера ●Аргумент poverty of stymulus (бедность стимула): ребёнок слышит слишком мало правильных предложений, чтобы с нуля построить язык, значит, inf. не хватает ●Language Acquisition Device: значит, должно существовать специальное «устройство для усвоения языка» , которое помогает детям усвоить универсальную грамматику (УГ)

Почему языки такие разные? Гипотеза лингвистической относительности: “существующие в сознании человека системы понятий, а, следовательно, и существенные особенности Бенджамен Эдуард Сепир его мышления определяются (1884 1939) тем конкретным языком, Ли Уорф носителем которого этот (1897 1941) человек является”.

И всё же социум. . . Genie (род. 1957) — девочка из США, которую на первые 12 лет жизни изолировали от социума. Не могла усвоить язык, с ней занималась лингвистка Susan Curtiss.

Пересмешник (не? ) будет петь «Пересмешник не будет петь» (англ. Mockingbird Don't Sing) — фильм режиссёра независимого кинематографа США Гарри Бромли Девенпорта, премьера в 2001 году. Может, название — отсылка к усвоению языка через повторение? . .

Усвоить нельзя потерять Eric Heinz Lenneberg (1921 1975) — лингвист и нейроучёный. Развивал идеи биологии языка. В своей книге Biological Foundations of Language (1967) популяризовал идеи невролога Wilder Penfield и соавтора Lamar Roberts о критическом периоде при усвоении языка. Идея critical period hypothesis: после некоторого возраста, если естественный язык не был освоен, то человек не сможет освоить язык больше никогда.

Мыслю, следовательно, говорю? ● Зона ближайшего развития: ребёнку скучно слишком простое и неподъёмно слишком сложное, для языка работает так же ● Врождённая реакция (крик) → реакция на опред. стимул (адресованный крик) ● Внешняя речь: на первых этапах ребёнок проговаривает все свои действия ● Интернализация: внешняя речь сворачивается во внутренний монолог Лев Семёнович ● «Мышление и речь» (1934): внутренняя Выготский vs. внешняя речь, язык и мышление имеют разную основу 1896 1934

Учим язык в один присест? Англоговорящие дети и глаголы: 1. механическое запоминание 2. усвоение парадигмы и генерализация (goed) 3. обнаружение исключений и изоляция неправильных форм 4. сосуществование двух различных механизмов Brown & Bellugi, 1964; Slobin, 1971; Pinker & Prince, 1988; Pinker, 1991; Marcus, Pinker, Ullman, Hollander, Rosen & Xu, 1992

Вернёмся к нашим лингвистам Что же мы поняли?

Парадокс лингвистики Когда лингвистика использует «гуманитарные» методы — она всё сильнее отдаляется от человека. Когда лингвистика использует «точные» и «естественнонаучные» методы — она всё ближе к пониманию человека.

Кто, если не мы? Ольга Драгой, заведующая лабораторией нейролингвистики НИУ ВШЭ: «Лаборатория находится при филологическом факультете, и это важно, потому что мы идем от лингвистики. В нашу область должны прежде всего идти лингвисты — люди, которые превосходно разбираются в том, как устроен язык; и при соответствующем дополнительном образовании они могут блестяще заниматься нейролингвистикой» . http: //theoryandpractice. ru/posts/7375 molodye uchenye neyrolingvist olga dragoy o patologii rechi bilingvizme i neyrovizualizatsii yazyka

Спасибо за внимание!

Дополнительные материалы Небольшая лекция И. А. Секериной о методах психолингвистики http: //postnauka. ru/video/54744 Видео операций с пробуждением скрипач — https: //www. youtube. com/watch? v=M_fji. EOb 40 M оперный певец — https: //www. youtube. com/watch? v=p 8415 HRX 9 q 8 Интервью с сотрудницами лаборатории нейролингвистики Вышки https: //www. hse. ru/neuroling/interview Рекомендуемые учебники и курсы на Coursera https: //www. hse. ru/neuroling/interns

Дополнительные материалы Пациентка с другим типом афазии — афазией Вернике https: //www. youtube. com/watch? v=d. KTd. MV 6 c. OZw История открытий Поля Брока и Карла Вернике http: //www. slideshare. net/tonynatera 58/20150316 broca email only О пациентах Брока, вошедших в историю http: //blogs. scientificamerican. com/literally psyched/the man who couldnt speakand how he revolutionized psychology/ Глава про языковую способность из книги Мэта Ридли «Геном» http: //rubooks. org/book. php? book=9410&page=36