Команда из Центра компьютерного зрения (CVC) и Университета Барселоны опубликовала результаты исследования, которое оценивает точность и предвзятость в отношении пола и цвета кожи алгоритмов автоматического распознавания лиц, протестированных на реальных данных. Хотя лучшие решения превышают 99,9% точности, исследователи обнаружили некоторые группы, которые показывают более высокие ложноположительные или ложноотрицательные показатели.

Распознавание лиц регулярно используется как частными, так и правительственными организациями во всем мире. Автоматическое распознавание лиц может использоваться в законных и выгодных целях (например, для повышения безопасности), но в то же время его мощь и повсеместность усиливают потенциальное негативное воздействие несправедливых методов на общество (например, дискриминация этнических меньшинств). Необходимым, хотя и недостаточным условием легитимного внедрения алгоритмов распознавания лиц является одинаковая точность для всех демографических групп.

С этой целью исследователи из Группы восстановления позы человека и анализа поведения Центра компьютерного зрения (CVC) – Университета Барселоны (UB) во главе с Серхио Эскалерой организовали вызов в рамках Европейской конференции компьютерного зрения (ECCV) 2020. Результаты, недавно опубликованные в журнале Computer Vision—ECCV 2020 Workshops, оценивали точность представленных участниками алгоритмов по задаче верификации лица при наличии других сбивающих с толку атрибутов.

"[Исследование] привлекло 151 участника, которые в общей сложности сделали более 1800 представлений, превысив наши ожидания относительно количества участников и представлений", - объяснил Серхио Эскалера, также член Института математики UB.

Участники использовали несбалансированный набор данных изображений, который имитирует сценарий реального мира, где модели на основе искусственного интеллекта должны обучаться и оцениваться на несбалансированных данных (значительно больше белых мужчин, чем темных женщин). В общей сложности они работали с 152 917 изображениями из 6139 личностей.

Изображения были аннотированы для двух защищенных атрибутов: пол и цвет кожи; и пять законных атрибутов: возрастная группа (0-34, 35-64, 65+), поза головы (фронтальная, другая), источник изображения (неподвижное изображение, видеокадр), ношение очков и размер ограничивающего прямоугольника.

Полученные результаты были очень многообещающими. Лучшие выигрышные решения превысили 99,9% точности при достижении очень низких баллов в предлагаемых метриках смещения, "что можно считать шагом к разработке более справедливых методов распознавания лиц", - сказал Хулио К. С. Жак-младший, исследователь CVC и Открытого университета Каталонии.

Анализ топ-10 команд показал более высокие показатели ложноположительных результатов для женщин с темным тоном кожи и для образцов, где оба человека носят очки. Напротив, были более высокие ложноотрицательные показатели для мужчин со светлым тоном кожи и для образцов, где оба человека были в возрасте 35 лет и ниже. Кроме того, было обнаружено, что в наборе данных люди моложе 35 лет носят очки реже, чем пожилые люди, что приводит к сочетанию эффектов этих атрибутов. "Это не было неожиданностью, поскольку принятый набор данных не был сбалансирован в отношении различных демографических атрибутов. Однако это показывает, что общей точности недостаточно, когда цель состоит в создании справедливых методов распознавания лиц, и что будущие работы по этой теме должны учитывать точность и смягчение предвзятости вместе", - заключил Хулио К. С. Жак-младший.

ИСТОЧНИК