Искусственный интеллект, стоящий за самоуправляемыми автомобилями, медицинским анализом изображений и другими приложениями компьютерного зрения, опирается на то, что называется глубокими нейронными сетями.

Слабо смоделированные на мозге, они состоят из слоев взаимосвязанных " нейронов "—математических функций, которые посылают и получают информацию, - которые" срабатывают " в ответ на особенности входных данных. Первый слой обрабатывает необработанные входные данные-например, пиксели в изображении-и передает эту информацию следующему слою выше, вызывая некоторые из этих нейронов, которые затем передают сигнал еще более высоким слоям, пока в конечном итоге не приходит к определению того, что находится во входном изображении.

Но вот в чем проблема, говорит профессор компьютерных наук Дьюка Синтия Рудин. "Мы можем ввести, скажем, медицинское изображение и наблюдать, что выходит на другом конце ("это изображение злокачественного поражения", но трудно понять, что произошло между ними."

Это так называемая проблема" черного ящика". То, что происходит в сознании машины—скрытые слои сети—часто непостижимо даже для людей, которые ее построили.

"Проблема с моделями глубокого обучения заключается в том, что они настолько сложны, что мы на самом деле не знаем, что они изучают", - сказал Чжи Чен, аспирант лаборатории Рудина в Дьюке. "Они часто могут использовать информацию, которую мы не хотим, чтобы они использовали. Их рассуждения могут быть совершенно неправильными."

Рудин, Чэнь и студент Дюка Ицзе Бэй придумали способ решения этой проблемы. Изменяя процесс рассуждения, лежащий в основе предсказаний, исследователи могут лучше устранить неполадки в сетях или понять, заслуживают ли они доверия.

Большинство подходов пытаются выяснить, что привело систему компьютерного зрения к правильному ответу после факта, указывая на ключевые особенности или пиксели, которые идентифицировали изображение: "рост на этом рентгеновском снимке грудной клетки был классифицирован как злокачественный, потому что для модели эти области имеют решающее значение в классификации рака легких." Такие подходы не раскрывают рассуждения сети, только то, куда она смотрела.

Команда герцога попробовала другой подход. Вместо того чтобы пытаться объяснить принятие решений сетью на пост-временной основе, их метод обучает сеть показывать свою работу, выражая свое понимание концепций на этом пути. Их метод работает, показывая, насколько сеть вызывает в памяти различные концепции, чтобы помочь расшифровать то, что она видит. "Это распутывает, как различные понятия представлены в слоях сети", - сказал Рудин.

Например, данный подход позволяет определить, насколько различные слои нейронной сети полагаются на свое ментальное представление "книг"для идентификации сцены.

Исследователи обнаружили, что при небольшой корректировке нейронной сети можно идентифицировать объекты и сцены на изображениях так же точно, как и исходную сеть, и при этом получить существенную интерпретируемость в процессе рассуждения сети. - Техника очень проста в применении, - сказал Рудин.

Этот метод управляет тем, как информация проходит через сеть. Она включает в себя замену одной стандартной части нейронной сети на новую. Новая часть заставляет только один нейрон в сети срабатывать в ответ на определенную концепцию, понятную людям. Эти понятия могут быть категориями повседневных предметов, таких как" книга "или " велосипед"." Но они также могут быть общими характеристиками, такими как "металл", "дерево", "холод" или "тепло"." Имея только один нейрон, контролирующий информацию об одном понятии за один раз, гораздо легче понять, как сеть "думает"."

Исследователи испробовали свой подход на нейронной сети, обученной миллионами помеченных изображений распознавать различные виды внутренних и наружных сцен, от классных комнат и фуд-кортов до детских площадок и патио. Потом включили изображения, которых он раньше не видел. Они также посмотрели, какие концепции сетевые слои используют больше всего при обработке данных.

Чен выводит сюжет, показывающий, что произошло, когда они скормили картинку оранжевого заката в сеть. Их обученная нейронная сеть говорит, что теплые цвета в изображении заката, такие как оранжевый, как правило, связаны с понятием "кровать" в более ранних слоях сети. Короче говоря, сеть активирует "постельный нейрон" высоко в ранних слоях. По мере того как изображение проходит через последовательные слои, сеть постепенно опирается на более сложное ментальное представление каждого понятия, и понятие "самолет" становится более активным, чем понятие кровати, возможно, потому, что "самолеты" чаще ассоциируются с небом и облаками.

Это лишь малая часть того, что происходит, если быть уверенным. Но с этой траектории исследователи могут уловить важные аспекты хода мысли сети.

Исследователи говорят, что их модуль может быть подключен к любой нейронной сети, которая распознает изображения. В одном эксперименте они подключили его к нейронной сети, обученной обнаруживать рак кожи на фотографиях.

Прежде чем ИИ научится распознавать меланому, он должен узнать, что делает меланому отличной от обычных родинок и других доброкачественных пятен на коже, просеивая тысячи обучающих изображений, помеченных и помеченных экспертами по раку кожи.

Но сеть, казалось, вызывала концепцию "нерегулярной границы", которую она сформировала сама по себе, без помощи обучающих ярлыков. Люди, комментирующие изображения для использования в приложениях искусственного интеллекта, не обратили внимания на эту особенность, но машина заметила.

- Наш метод выявил недостаток в наборе данных, - сказал Рудин. Возможно, если бы они включили эту информацию в данные, стало бы яснее, правильно ли рассуждает модель. "Этот пример просто иллюстрирует, почему мы не должны слепо верить в модели" черного ящика", не имея понятия о том, что происходит внутри них, особенно для сложных медицинских диагнозов", - сказал Рудин.

Работа команды появилась 7 декабря в журнале Nature Machine Intelligence.

ИСТОЧНИК