За последнее десятилетие или около того ученые-компьютерщики разработали методы машинного обучения (мл), которые удивительно хорошо справляются с различными задачами. Хотя эти алгоритмы предназначены для искусственного воспроизведения когнитивных навыков человека, все еще не хватает инструментов для сравнения их возможностей с человеческими.

Имея это в виду, два исследователя из Университета Савитрибай Пхуле Пуна (SPPU) в Индии недавно создали структуру для выполнения когнитивных оценок агентов машинного обучения. Эта уникальная структура, изложенная в статье, опубликованной в журнале Elsevier Cognitive Systems Research journal, проводит параллели между человеческим познанием, как оно описывается психологическими теориями, и машинным познанием.

"Когда я начал работать над своим основным исследованием о few shot learning (FSL), мы с моим консультантом размышляли о том, как люди могут легко научиться визуально классифицировать объекты и почему это так трудно для машин", - сказал Techxplore Суварна Кадам, один из исследователей, проводивших это исследование. - Люди могут обобщать, но машины находят это довольно сложным. Быстрый анализ современных методов FSL позволил нам понять, что не только трудно оценить, "сколько усвоено" с помощью показателей производительности, но часто мы также понятия не имеем, действительно ли машина понимает поставленную задачу или просто имитирует."

Как только они поняли, что существует недостаток надежных методов оценки когнитивности методов ML, Кадам и ее руководитель Винай Вайдья начали задавать себе фундаментальные вопросы о машинном познании и о том, как его можно эффективно оценить. В конце концов они решили разработать структурированный подход, который мог бы помочь исследователям понять, как машины приобретают новые навыки и оценить, сколько они на самом деле узнали. Созданная ими структура предлагает простой способ мышления о машинном познании, проводя параллели с человеческим познанием.

"Мы решили использовать коллективную мудрость человечества о том, как люди учатся и как они измеряют обучение", - объяснил Кадам. "Наша структура использует когнитивные теории человека, чтобы обеспечить пошаговые рекомендации для оценки обучения машины в любой области. Он предлагает перечислить задачи предметной области и проверить, являются ли они простыми или сложными для реализации, что затем позволяет нам упорядочить задачи в таксономии на основе их когнитивной сложности."

Структура, созданная Кадамом и Вайдьей, предназначена для того, чтобы побудить к размышлению о том, что делает задачу более трудной или более легкой для решения, чем другая. Человеческое обучение обычно оценивается на основе того, насколько хорошо ученик справился с конкретной задачей. Структура, предложенная исследователями, может быть использована для оценки специфичного для задач познания машины, используя концепцию, называемую таксономией задач.

"Поскольку люди очень хорошо умеют обобщать и быстро адаптироваться к новой задаче, мы также продемонстрировали, как количественно оценить потенциал обобщения машин", - сказал Кадам. "Впервые наше исследование показало, что машины демонстрируют более высокий интеллект, и мы должны выйти за рамки показателей производительности, чтобы измерить его."

В своей недавней статье Кадам и Вайдья использовали свою структуру для сравнения двух современных методов ML. Таким образом, он также может оказаться полезным для других исследовательских групп, которые пытаются определить "лучшую" модель мл для выполнения конкретной задачи среди различных вариантов.

В будущем та же структура может также помочь лучше понять процессы, лежащие в основе предсказаний или действий машины. Это может в конечном итоге повысить надежность систем искусственного интеллекта, позволяя разработчикам лучше понять свои когнитивные возможности.

"С помощью этой структуры мы исследовали, как переплетаются познание и обучение, и на обучение большое влияние оказывает познание", - сказал Кадам. "Однако на обучение также сильно влияют навыки, которыми обладает ученик, и отношение, которое он несет. Было бы действительно интересно посмотреть, сможем ли мы расширить нашу работу, чтобы оценить физические и эмоциональные навыки машин. Хотя эмоциональные навыки машин кажутся далекими и нереализованными, машины уже используются в тесном человеческом взаимодействии (например, чат-боты, роботы для ухода или общения и т. д.), Поэтому мы считаем, что они также должны быть проверены на их эмоциональном факторе."

ИСТОЧНИК