Учёные использовали модель Whisper в качестве примера языковой модели (LLM) и сравнили её работу с нейронной активностью людей, записанной с помощью интракраниальных электродов во время спонтанных разговоров. Наложив векторы эмбеддингов модели на векторы паттернов мозга, они оценили линейную зависимость между ними.
Результаты оказались поразительными. Геометрия эмбеддингов в LLM — то есть математические отношения между словами в векторном пространстве — напрямую соотносится с представлениями в мозге. Это особенно удивительно, учитывая, что технически мозг и ИИ используют совершенно разные подходы к обработке информации.
Исследователи выявили чёткие параллели в обработке речи. Во время слушания речевые эмбеддинги (speech-embeddings) явно коррелируют с активностью в слуховой коре (верхняя височная извилина), а затем языковые эмбеддинги (language-embeddings) соотносятся с активностью в зоне Брока (нижняя лобная извилина), отвечающей за обработку языка.
Во время говорения наблюдается обратная последовательность: сначала языковые эмбеддинги «активируются» в зоне Брока (где происходит планирование высказывания), затем речевые эмбеддинги активируются в моторной коре (непосредственно произнесение), и в конце снова в слуховой коре при восприятии собственной речи.
Это открытие бросает вызов устоявшемуся в науке мнению о том, что мозг использует символьный подход к языку, то есть полагается на чёткие семантические структуры, синтаксис и иерархию слов. В моделях машинного обучения такого нет — они понимают язык статистически. И тем не менее, оказывается, что простой метод предсказания следующего токена (next token prediction) демонстрирует удивительное сходство с реальным нейронным кодом человеческого мозга.
Накопленные доказательства из работы команды раскрыли несколько общих вычислительных принципов между тем, как человеческий мозг и модели глубокого обучения обрабатывают естественный язык. Эти находки указывают на то, что модели глубокого обучения могут предложить новую вычислительную основу для понимания нейронного кода мозга при обработке естественного языка, основанную на принципах статистического обучения, слепой оптимизации и непосредственного соответствия природе.
В то же время исследователи отмечают значительные различия между нейронной архитектурой, типами и масштабом лингвистических данных, протоколами обучения трансформерных языковых моделей и биологической структурой и стадиями развития, через которые человеческий мозг естественным образом приобретает язык в социальных условиях.
Оценили 4 человека
6 кармы