Недавние исследования, проведенные специалистами Колумбийского университета и Института медиаисследований имени Файнстейна, выявили поразительные сходства между языковыми моделями, такими как ChatGPT, и нейронной активностью, происходящей в человеческом мозге во время восприятии и обработке языка.
Эти открытия прокладывают мост между миром высоких технологий и биологией, открывая новые горизонты для понимания искусственного интеллекта, сообщает vkurse.kz со ссылкой на Nature Machine Intelligence.
Как показали результаты исследований, по мере усовершенствования языковых моделей, их способность решать различные задачи не просто увеличивается, она и меняет внутреннее строение самих моделей. Примечательно, эти изменения начинают все больше напоминать нейронные реакции, возникающие в человеческом мозге, когда тот работает с языковой информацией.
Ученые пришли к выводу, что сложные модели с каждым шагом становятся всё больше похожими на процессы, которые происходят в мозге. Они, как и человеческий мозг, способны анализировать и интерпретировать информацию, начав с базовых акустических и фонетических сигналов и закончив более абстрактными концептами, которые образуют смысл.
Для того чтобы разобраться в этом феномене, специалисты были использованы данные 12 языковых моделей с открытым исходным кодом. В ходе эксперимента они также фиксировали нейронную активность у пациентов с имплантированными электродами, те что находились на лечении. Эти люди прослушивали речь, и ученые сопоставляли полученные данные о мозговых реакциях с результатами, полученными от языковых моделей. Такой подход позволил более глубоко изучить степень сходства между нейронной активностью и тем, как алгоритмы обрабатывают информацию.
Итоги показали поразительные результаты: с улучшением производительности моделей их внутренние процессы все больше приближаются к нейронной активности мозга, которая участвует в обработке речи. Что особенно примечательно, самые современные языковые системы, такие как ChatGPT, демонстрируют почти полное совпадение между слоями своей нейронной сети и уровнями, через которые проходят языковые данные в человеческом мозге. Это открытие доказывает, что с каждым улучшением этих технологий их внутренние структуры становятся все более точными и совершенными.
Одним из наиболее интересных аспектов исследования стало внимание, которое ученые уделили первичным уровням языковых моделей. Эти слои, оказавшиеся особенно важными для предсказания нейронных реакций, играют критическую роль в эффективности работы модели. Именно на этих уровнях происходит основная обработка информации, что подчеркивает их значимость для успешной генерации ответов и точности обработки текстов.