Искусственный интеллект (ИИ) черпает вдохновение из современных знаний о человеческом мозге, искусственно воспроизводя некоторые из его процессов обучения и функций. Однако степень, в которой искусственные агенты успешно имитируют деятельность мозга, еще не до конца изучена.

Хироши Макино, исследователь из Медицинской школы Ли Конг Чиан при Наньянгском технологическом университете в Сингапуре, недавно провел исследование, изучающее возможное сходство в том, как мозг и искусственные агенты учатся решать новые составные задачи. Его выводы, опубликованные в журнале Nature Neuroscience, могут иметь интересные последствия как для ИИ, так и для нейронаучных исследований.

"Предыдущие исследования в области психологии показали, что люди и нечеловеческие животные комбинируют заранее выученные навыки для расширения репертуара своего поведения", - рассказал Medical Xpress Хироши Макино, исследователь, проводивший исследование. "Однако, как мозг достигает этого, остается малоизученным. Меня вдохновили исследования в области глубокого обучения с подкреплением (подполе исследований ИИ), изучающие ту же проблему, и я эмпирически проверил теоретические предсказания, полученные на их основе, записав нейронную активность в мозге мыши".

При решении новой задачи агенты ИИ извлекают навыки, приобретенные во время предварительного обучения, и рекомбинируют их иерархическим образом. Макино хотел изучить возможность того, что мозг ведет себя подобным образом.

Для этого он сначала изучил, как агенты глубокого обучения с подкреплением учатся решать новую задачу. Затем он сравнил это с тем, как мыши решали ту же новую задачу.

"Когда мыши решали новую задачу, комбинируя заранее приобретенные навыки/знания, регистрировалась активность отдельных нейронов в их мозге", - пояснил Макино. "Полученная нейронная активность сравнивалась с теоретическими моделями, полученными в результате глубокого обучения с подкреплением, где для объединения значений предварительно выученных навыков поведения использовалась простая арифметическая операция".

Используя метод, известный как двухфотонная кальциевая визуализация, Макино исследовал, что происходило в коре головного мозга мышей - области мозга, связанной с исполнительными функциями и обучением, - когда они решали новую задачу, используя ранее приобретенные навыки. Интересно, что он наблюдал нейронные представления значений действий, которые напоминали те, которые создаются алгоритмом глубокого обучения с подкреплением при подходе к новой составной задаче.

"Я обнаружил схожие паттерны активности между искусственным агентом, обученным с помощью алгоритма глубокого обучения с подкреплением, и мозгом", - сказал Макино. "Я думаю, что одним из главных вкладов исследования является интеграция нейронауки и глубокого обучения с подкреплением для выявления потенциального механизма того, как мозг формирует новое поведение".

В целом, результаты исследования Макино свидетельствуют о том, что при решении новой задачи мозг млекопитающих формирует новое поведение посредством простой арифметической операции над ранее приобретенными представлениями действия-значения со стохастической политикой. Эти идеи были заложены в теоретическую основу глубокого обучения с подкреплением.

В будущем это недавнее исследование может проложить путь для новых исследований, связывающих нейронаучные наблюдения с исследованиями в области глубокого обучения с подкреплением. Эти работы в совокупности могут способствовать постоянному совершенствованию искусственно интеллектуальных систем, а также потенциально расширить нынешнее понимание мозга млекопитающих.

"Теперь я планирую изучать нейронные механизмы различных областей естественного интеллекта, применяя теоретические концепции глубокого обучения с подкреплением к нейронауке", - добавил Макино.