Анализ видеопотока на сервере

Анализ видеопотока на IP-камере

1. Алгоритм - megvii-000 от Megvii , Китай
   Китайская компания Megvii со своим основным продуктов Face++. По оценкам Коммерсанта оборот компании составил порядка $100 млн.
2. Алгоритмы: 2 место - visionlabs-003, 7 место - visionlabs-002, VisionLabs , Россия
3. Алгоритмы: 3 место - morpho-002, 17 место - morpho-000. OT-Morpho , Франция
   Первый тяжеловес, в рейтинге с оборотом почти 3 млрд. евро за 2017 год. Совместное предприятие Oberthur Technologies (OT) и Safran Identity & Security (Morpho)
4. Алгоритмы: 4 место - ntechlab-003, 13 место - ntechlab-002 от NtechLab , Россия
   Московская компания, получившая известность как разработчик решения для поиска порно актеров .
   Получил инвестиции от «РТ – развитие бизнеса» («дочка» «Ростеха»), и фонда компании VB Partners. Сумма инвестиций не раскрывается. В результате «дочка» «Ростеха», получила 12,5% компании, фонд New Dimension Fund Variable Capital Investment, им управляет VB Partners, – 25% компании. NtechLab планирует выйти на рынок систем национальной безопасности и усилить развитие в коммерческом секторе.
5. Алгоритм - cogent-000 от Gemalto Cogent , США
   Разрабатывает полный спектр биометрических решений с акцентом на правоохранительную деятельность, пограничный контроль и гражданскую идентификацию. Ежегодные глобальные продажи составляют около 205 миллионов долларов.
6. Алгоритм - vocord-002 от Vocord , Россия
   Компания «Вокорд» основана в 1999 году выпускниками МФТИ Дмитрием Заварикиным и Алексеем Кадейшвили. По данным «СПАРК-Интерфакс», в 2014 году выручка компании составила 302 млн рублей, более свежих данных на момент написания статьи получить не удалось.
7. Алгоритмы: - fdu-000, 9 место - fdu-001. Fudan University , Китай
8. Алгоритм - neurotechnology-003. Neurotechnology , Литва
   С сайта компании можно скачать демо версию программного обеспечения для ПК и для смартфона на Android, демо версию SDK. У компании информативный канал на YouTube. Цены опубликованы на сайте. Так же компания предлагает собственный облачный сервис www.skybiometry.com
9. Алгоритм - itmo-003. Университет ИТМО , Россия
10. Алгоритм - 3divi-001. Тридиви (3DiVi Inc.) , Россия
11. Алгоритм - yitu-000. Yitu Technologies , Китай
    Главный продукт Yitu - система распознавания лиц Dragonfly Eye, которую используют государственные системы безопасности в разных городах Китая. В первые три месяца использования системы в Шанхае с помощью Dragonfly Eye задержали 567 нарушителей закона. Система хранит 1,8 миллиарда фотографий, причём в базу попадают фото не только граждан Китая, но и всех туристов, пересекающих границу страны. Систему разворачивают и на массовых событиях: во время фестиваля пива в Циндао камеры помогли задержать 22 разыскиваемых. Власти на местах рапортуют об успехах : в одном городе система Yitu помогла сократить карманные кражи на 30%, в другом - за два года раскрыть 500 преступлений. Каким-то невероятным образом система даже помогла опознать жертву убийства по черепу спустя пять лет после преступления.
12. Алгоритм - gorilla-000, Gorilla Technology , Тайвань
13. Алгоритм - cyberextruder-002, CyberExtruder , США
14. Алгоритм - tongyitrans-002, TongYi Transportation Technology , Китай
15. Алгоритм - yisheng-001, Zhuhai Yisheng Electronics Technology , Китай

Итого: 5 представителей из России, что не может не радовать, 5 от Китая, что даже не удивляет.

На самом деле производителей алгоритмов распознавания гораздо больше, многих отсутствующих здесь вы можете найти в рейтинге MegaFace. Но если даже составить единый список, он все равно будет не полон. Почти все гиганты IT индустрии разрабатывают собственные алгоритмы распознавания лиц - Facebook, Google (считает свою систему распознавания самой точной), Baidu, Microsoft , Яндекс (тестирует авторизацию водителей по лицу и голосу), Вконтакте, Toshiba и многие другие.

Существуют даже .

Из всего это разнообразия, можно сделать несколько несложных выводов:

Конкуренция на этом рынке будет усиливаться, ее следствием уже стало многократное снижение цен. Для примера - Macroscop еще в 2017 году снизил свои цены модуль распознавания в 18 раз, о чем радостно сообщают на своем же сайте, как бы передавая «большой привет» всем своим клиентам которым посчастливилось купить модуль распознавания до 2017 года.

Очевидно что цены и дальше будут снижаться. Качественные показатели алгоритмов распознавания постоянно растут, и во многих случаях отличаются друг от друга незначительно, значительно же отличается цена, как вы сможете увидеть ниже, еще более значительно отличается быстродействие, естественно такой параметр как быстродействие нужно тестировать на базе данных максимального объема.

Еще нетрудно заметить, что в рейтингах практически нет производителей оборудования для систем видеонаблюдения , а без видеокамер и устройств хранения, вся эта история с алгоритмами лишь игры на компьютере. Но то, что их нет, это не означает что они не видят этого рынка, и не понимают его значимость. Вот - распознавание лиц от Panasonic , от NEC , Amazon и многих других. В общем на этом рынке скоро станет очень жарко. Кроме софтверных решений (это когда непосредственно распознавание происходит на сервере), есть еще Stand Alone решения - это когда распознавание происходит на устройстве считывания.




Программное обеспечение для распознавания лиц для систем видеонаблюдения

Тестирование эффективности алгоритмов распознавания лиц это конечно интересно, как и любое соревнование, но больше похоже на выставку достижений народного хозяйства. Вроде впечатляет, но как конкретно начать использовать и сколько будет стоить непонятно. Результатом работы алгоритмов для распознавания лиц, будет совпадение или несовпадение с базой эталонов. А далее в зависимости от специфики вашей системы должно произойти заранее запрограммированное действие. Например при входе VIP клиента старший менеджер получает уведомление со всеми данными по клиенту из вашей базы данных.

Или наоборот при входе человека из черного списка, уведомление получает охрана. Или при попытке прохода человека из черного списка через проходную, система контроля доступа блокирует проход - это уже интеграция системы распознавания лиц с системой контроля доступа.

Работа системы распознавания лиц в реальных условиях это целый комплекс программно аппаратного взаимодействия. Для организации таких взаимодействий существует куча интегрированных платформ, позволяющей настраивать взаимодействия с системами контроля доступа, системами видеонаблюдения, охранными системами, системами пожарной безопасности, CRM системами, системами управления предприятием, и многими другими.

Так если вам не шашечки, а везти, следующие пара разделов для вас просто «Must Have».
Интеграционные платформы - громкое название, к перечисленным ниже разработчикам оно относится в разной степени, поэтому выбирая решения для распознавания лиц необходимо ознакомиться со всеми возможностями софта (платформы). Учитывая как текущие потребности предприятия, так и возможности развития, как качественные характеристики алгоритма распознавания лиц, так возможности интеграции.

Разработчики программного обеспечения для системы распознавания лиц и цены на их модули

ISS , Россия, Программное обеспечение «SecurOS® Face»


Лицензия модуля захвата лиц - цена 41 275 рублей
На канал. Устанавливается на сервере распознавания лиц или на сервере захвата лиц

Лицензия модуля распознавания лиц (до 1000 чел. в базе) - цена 665 760 рублей.
На сервер распознавания лиц.



Сервера для программного обеспечения для целей распознавания лиц

Распознавание лиц как и любая другая видеоаналитика задачи процессорно емкие, поэтому для развертывания даже небольшой системы распознавания лиц вам потребуется достаточно мощные и совсем не дешевые сервера. Характеристики сервера подбираются индивидуально и зависят от множества факторов - от количества каналов распознавания, до предполагаемого размера базы данных лиц эталонов, и длительности хранения видеоархива.

Сервера для программного обеспечения систем распознавания лиц - цена от 101 567 рублей
Выбор серверов не ограничивается представленными в этом каталоге, в большинстве случаев мы собираем сервер в зависимости от заявленных вами требований.




Лучшие IP-камеры для распознавания лиц

Программное обеспечение и сервера, мы рассмотрели выше, но чтобы система заработала, нужны IP-камеры. Именно от качественных характеристик камер будет сильно зависеть, то насколько качественно система будет работать система распознавания лиц.

При выборе IP-камеры для распознавания лиц мы рекомендуем обращать внимание на следующие характеристики.

WDR (Широкий динамический диапазон)
Несмотря на то что последнее время появляются камеры с WDR за 5000 рублей, качество изображения таких камер сильно уступает камерам с из более высокого ценового сегмента. Камеры с лучшим WDR по нашему опыту не может стоить дешевле 80000 рублей.

Частота кадров не менее 60 кадров с секунду
Чем больше частота кадров в секунду тем больше вероятность того что вы получите снимок с наилучшей ориентацией лица человека относительно камеры, что напрямую будет влиять на качество распознавания лиц.

Вариофокальный объектив
Чем больше будет приходится пикселей на лицо человека, тем более будет изображение.

Тесты показали, что для успешного распознавания лица требуется, чтобы лицо было представлено не менее 160 пикселями приходящимися на овал лица, и в идеале не менее 50 пикселей приходилось на расстояние между глазами. Как бы тщательно вы не выбирали месторасположение камеры, чтобы добиться этих значений ее придется подстраивать по месту в зависимости от множества факторов. Именно для этого вам и понадобится вариофокальный объектив.

Камеры видеонаблюдения с установленными рекомендуемыми характеристиками для распознавания лиц - цена от 10 000 рублей

Дальше как говорится, выбор за вами. Если вы строите систему распознавания с нуля, то стоит задуматься о выборе действительно лучших протестированных моделей IP-камер.


Достаточно распространенный и недорогой функционал, как правило он всегда присутствует в основном программном обеспечении для распознавания лиц, но может и приобретаться отдельно. Если вы никогда в жизни не интересовались системами видеонаблюдения. Посмотрите видео там максимально коротко рассказано в чем суть.


ITV , Россия, Программное обеспечение «Интеллект»
Поиск лиц в архиве (за 1 видеоканал) - цена 6 200 рублей

Trassir , Россия, Программное обеспечение «Trassir Face Search»
Модуль поиска определенного лица в архиве Trassir Face Search - цена 36 990 рублей

В том или ином виде данный функционал присутствует у большинства разработчиков, поэтому мы пожалуй не станем растягивать и без того ни короткую статью.




Производители оборудования с интегрированными алгоритмами распознавания лиц

Если раздел выше с разработчиками программного обеспечения это настоящее, т.е. именно там сосредоточены основные решения показывающее максимальную эффективность на данный момент. То этот раздел про будущее которое уже наступает.

В первом случае видеопоток от камеры по сети передается на сервер с установленным софтом, и именно там происходит распознавание лиц, поток от одной IP-камер примерно равен 5 Мбит/с, и этот поток нужно передать по сети на сервер и там обработать. В случае с одной камерой все выглядит приемлемо, а если камер сотни - это проблема которую нужно отдельно решать. Решать ее можно в основном десятками серверов для обработки данных, любая видеоаналитика это процессорно емкая задача. Так что сервера будут немалой статьей расходов.

Гораздо эффективнее произвести распознавание на борту устройства , а по сети передать уже обработанные результаты, что уменьшит нагрузку на сети и сервера на порядки.

Кроме того что такие устройства уже есть, они уже показывают потрясающую эффективность и быстродействие. Все оборудование я бы поделил на две большие группы «Камеры видеонаблюдения со встроенным распознаванием лиц» и «Оборудование для систем контроля доступа со встроенным распознаванием лиц».


Камеры видеонаблюдения со встроенным распознаванием лиц

Умные камеры со встроенными алгоритмами распознавания лиц являются одним из самых передовых в отрасли. Они позволяют обрабатывать видеопоток на непосредственно на самой камере, а на сервер отправлять обработанные метаданные. 2Мп камера iDS-2CD8426G0/F-I c двумя объективами - цена 135 550 рублей

HikVision , Китай, крупнейший китайский производитель систем видеонаблюдения.
Матрица - 1/2.8’’ Progressive Scan CMOS
Чувствительность - Цвет: 0.005 лк @ (F1.2, AGC ВКЛ), 0.0089 лк @ (F1.6, AGC ВКЛ), 0 лк с ИК
Скорость электронного затвора - 1с ~ 1/100000с
Разрешение 2МпАппаратный WDR 120дБ, частота кадров 25к/с@2Мп, слот для microSD до 128Гб, ИК-подсветка до 10м

Камера для распознавания лица, с двумя объективами, представляет собой компактное устройство с алгоритмами глубокого обучения DeepinViewс системой распознавания лиц на борту.

Камера поддерживает несколько кодеков сжатия видео (H.265, H.264, MPEG-4 и MJPEG) и может обрабатывать до пяти видеопотоков. Размер видеокамеры - 180,4 х 147 х 117,9 мм, вес устройства - 1500 грамм. Конструктивно представляет собой двухлинзовую камеру с бинокулярной стереофонической технологией, которая считывает большое количество характеристик лица для более точного распознавания.

Она оснащена объективом с фиксированным фокусным расстоянием 4 мм, угол обзора равен 86°. Камера автоматически захватывает выбирает и выводит оптимальное изображение лица человека.

Выполняет распознавание лиц, мгновенное сравнение захваченных лиц с библиотеками на борту, поддерживается настройка активации тревоги по идентифицированному лицу.

HikVision заявляет о рабочих температурах в диапазоне от -10 °C до 40 °C и уровне влажности до 95 процентов.

Камера автоматически переключается между режимами дневной и ночной съемки. Инфракрасная подсветка действует на расстояние до 10 метров.

Видеорегистратор iDS-96128NXI-I16 с системой распознавания лиц - цена 3 299 990 рублей

Запись видео с разрешением до 12Мп, Вывод видео с разрешением до 4K
128 каналов, Синхронное воспроизведение 4 канала@4К
16 SATA HDD до 10ТБ каждый
1/2 аудио вход/выходов, 16/8 тревожных входов/выходов
Сетевой интерфейс 4 RJ-45 10M/100M/1000M Ethernet

Память видеорегистратора рассчитана на 16 библиотек снимков людей (всего до 100 000 фото)

Видеорегистратор поддерживает Smart-функции по поиску похожих людей, анализу поведения, обнаружения лиц и автомобилей.
Есть возможность работы с тепловизорами, обнаружение огня, морских судов, измерение температуры, ведение статистики камер тепловых карт и подсчета посетителей.
iDS-96128NXI-I16 способен обнаруживать людей на 32 каналах, и моделировать лица со скоростью 64 фото в секунду.

Регистратор имеет интерфейсы 1 RS-232, 1 RS-485, RS-485 для клавиатуры, и по два разъема USB 2.0 и USB 3.0, а так же 16 тревожных входов и 8 выходов.

IDS-96128NXI-I16 поддерживает использование рейд-массивов RAID0, RAID1, RAID5, RAID6 и RAID10.

Камера видеонаблюдения DH-IPC-HF8242F-FR с системой распознавания лиц на борту - цена 100 000 рублей
Dahua Technology , Китай
1/1.9", 2 Мп progressive scan CMOSSmart кодек 265+/H.264+, кодирование в 3х потоках
Starlight, true WDR 120дБ, 3DNR, День/ночь (ICR), AWB, AGC, BLC
Множественный мониторинг сети: веб-просмотрщик, CMS (DSS / PSS) & DMSS
Автоматическая задняя фокусировка (ABF)

Face capture - это программное приложение, которое автоматически захватывает лица из цифрового изображения или видеофрагмента из видеоисточника. Камеры Dahua используют усовершенствованные алгоритмы Deep Learning, что позволяет камере быстро и точно распознавать и сопоставлять лица.

Видеокамера для распознавания лиц DH-IPC-HF8242FP-FR использует технологию Deep Learning, что позволяет эффективно распознавать и сопоставлять лица. Аналитические функции устройства позволяют определять возраст, пол, настроение, наличие или отсутствие маски/очков/бороды или усов.

Видеокамера обладает функцией подсчета людей и генерирует тепловую карту.
Память камеры вмещает до 10 000 лиц, которые могут быть разделены на 5 категорий, что позволяет обеспечить захват и сравнение лиц в реальном времени.

Благодаря Starlight технологии от компании Dahua, камера идеально подходит для работы в сложных условиях c ограниченным освещением.
Ее низкая светочувствительность обеспечивает производительность цветной картинки с минимальным окружающим освещением. Даже в экстремальных условиях низкой освещенности, практически в полной темноте, Starlight технология способна отобразить цветное изображение.

Камера видеонаблюдения IPC2255-Gi4N с системой распознавания лиц на борту - цена 100 000 рублей

Kedacom, Китай
1/1.9" КМОП Starlight матрица, 0.001 лк при цветном изображении 1080@30 к/с в H.265 / H.264 / MJPEG
Распознавание до 18 целей одновременно (образ, лицо)
Аппартный WDR, Адаптированная ИК-подсветка до 100м
2 тревожных входа / 1 выход, Класс защиты IP66, Диапазон температур -40°C +60°C

Видеокамера Axis P1367 со встроенным алгоритмом Ayonix - цена 68 448 рублей

Ayonix, Япония
Матрица 1/2,9” с прогрессивной разверткой
Переменное фокусное расстояние 2,8–8,5 мм
Превосходное качество видеоизображения с разрешением 5 Мп
Технологии Lightfinder и Forensic WDR, Технология Zipstream
Расширенные возможности для анализа изображений

Японский разработчик программного обеспечения для распознавания лиц Ayonix, разработала программное обеспечение для работы на борту камеры Axis P1367.

Благодаря платформе ACAP, сторонние разработчики могут разрабатывать приложения для установки их непосредственно на камеры Axis.

Терминалы для систем учета рабочего времени со встроенным распознаванием лиц

Терминал учета рабочего времени FacePass Pro - цена 23 000 рублей

Anviz , Китай
Объем памяти на 400 пользователей
Время идентификации < 0,1 сек
Расстояние для идентификации пользователя: от 30 см. до 80 см
Процент распознавания: > 99%
Чувствительный 2,8” сенсорный TFT дисплей
Встроенный Web Server для удобства настройки терминала

Две сканирующие камеры обеспечивают максимально точную идентификацию, а высокоскоростной процессор Samsung ARM сводит к минимуму время распознавания лиц сотрудников

На точность и скорость идентификации не влияют даже такие факторы, как: цвет кожи, выражение лица, пол, прическа, а так же наличие или отсутствие на лице растительности.

Anviz FacePass Pro - система учета рабочего времени сотрудников с распознаванием по лицу, бесконтактным RFID картам или паролю.

Сочетание нового алгоритма BioNANO с высокопроизводительной аппаратной частью, гарантирует идентификацию пользователей менее чем за 0,1 (!) секунды.

Уникальная инфракрасная подсветка, обеспечивает стабильную работу устройства как в помещениях с меняющейся освещенностью, так и в полной темноте.
На скорость и качество идентификации не влияют даже такие факторы, как: цвет кожи, выражение лица, пол, прическа, а так же наличие или отсутствие на лице бороды или усов.

Динамическая цифровая клавиатура и чувствительный 2,8” сенсорный TFT дисплей гарантируют комфортную эксплуатацию.

Мультибиометрический терминал учёта рабочего времени ZKTeco Pface202-ID - цена 26 500 рублей

ZKTeco, Китай

Память на 600 шаблонов вен ладони, 1200 лиц (до 3000 при верификации 1:1), 2000 пальцев и 10000 карт
Емкость журнала 100000 на событий
Сенсорный ЖК дисплей 4.3’’
Встроенный считыватель карт Em-Marin

Сетевой биометрический терминал для систем учета рабочего времени и контроля доступа с идентификацией по лицам, венам ладони, отпечаткам пальцев, считывателем RFID-карт и подключением по ethernet.

Мультибиометрический терминал учёта рабочего времени ZKTeco uFace302-ID - цена 27 405 рублей

Память рассчитана на 1 200 шаблонов лиц, 2 000 отпечатков пальцев и 10 000 карт
Журнал событий на 100 000 записей
Высокая скорость распознавания
Интерфейсы TCP/IP, RS232/485, USB Host, Wiegand выход
Выходы для подключения элеткрозамка, датчика состояния двери, кнопки выхода, тревожный выход
Использование аппаратного шифрования для защиты прошивки

Биометрический терминал для учёта рабочего времени и контроля доступа UFace302-ID осуществляет идентификацию по лицу, отпечатку пальца, карте и коду. Face302-ID способен отличить лицо реального человека от фотоизображения. Продвинутый и дружелюбный пользовательский интерфейс обеспечивает 4-дюймовый сенсорный дисплей (Touch Screen).

Биометрический терминал учёта рабочего времени ZKTeco uFace800 - цена 27 405 рублей

Встроенная двойная камера высокого разрешения для сканирования лиц с инфракрасной подсветкой
Память до 3000 лиц, 5000 пальцев, 10000 карт и 100000 событий
Платформа ZMM220_TFT, алгоритмы ZK Face 7.0, ZK Finger 10.0
6 статусов событий при регистрации
Сканер отпечатков пальцев, Встроенный считыватель карт
Интерфейсы TCP/IP, USB Host, WiFi (optional), Wiegand выход

Сетевой биометрический терминал для систем учета рабочего времени и контроля доступа с идентификацией по лицам, сканером отпечатков пальцев, считывателем RFID-карт и подключением по ethernet.
uFace800 поддерживает управление замком, контроль датчика двери, звонок, датчик взлома, подключение кнопки выхода.

Оборудование для систем контроля доступа со встроенным распознаванием лиц

Терминал распознавания лиц FaceStation 2 - цена 80 856 рублей

Suprema , Корея. Крупнейший мировой производитель биометрии, входит в топ 50 крупнейших мировых производителей систем безопасности.
Микропроцессорная система: 1.4 GHz Quard Core, Память: 8 GB Flash + 1 GB RAM
Автономная память на 30 000 пользователей, 5 000 000 событий, 50 000 фото
Быстрая идентификация – сравнение 1:3 000 шаблонов в секунду
Сенсорный дисплей 4" LCD Touchscreen, Подсветка до 25000 лк
Стабильная работа при любом освещении благодаря подсветке 25 000 лк

FaceStation 2 - высокопроизводительная платформа для распознавания лиц. Распознавание лиц может быть использовано как в режиме идентификации так и в режиме верификации. Кроме идентификации по лицу, поддерживается идентификация по смартфону и бесконтактным картам.

Для решения конкретных задач СКУД на реальном объекте пользователь может подобрать различные режимы идентификации (1:N) или верификации (1:1) из широкого перечня, предлагаемого FaceStation 2.
Таким образом, появляется возможность выбрать оптимальное соотношение уровня безопасности и скорости работы в каждом конкретном случае.

В зависимости от выбранного режима в работе будут задействованы различные сочетания биометрических сенсоров, встроенного считывателя Smart карт и сенсорной клавиатуры для ввода PIN кода.
Бесконтактная идентификация по лицу и возможность использования смартфона вместо карты доступа делает FaceStation 2 исключительно удобным для пользователей.

Терминал распознавания лиц высокой производительности, со встроенным мультичастотным считывателем карт (125kHz EM & 13.56Mhz MIFARE, DESFire/EV1, FeliCa, NFC, ISO14443A/B, ISO15693).

Благодаря расширенной области распознавания, установленное согласно инструкции устройство «видит» лица людей ростом от 145 см до 210 см.
Терминал оснащен расширенным функциями безопасности, такими как инфракрасная технология блокировки поддельных лиц и многополосная технология RF-считывания, поддерживающая новейшие стандарты RFID.

Так же имеется модификация терминала FaceStation 2 (модель FS2-AWB) - цена 93 850 рублей , отличающаяся встроенным считывателем MultiCLASS SE (125kHz EM, HID Prox & 13.56Mhz MIFARE, DESFire/EV1, FeliCa, iCLASS SE/SR, NFC, ISO14443A/B, ISO15693).

Ну и конечно решения от наших китайских партнеров, которые не были бы китайскими партнерами, если бы не предлагали современные технологии в 3-4 раза дешевле. Дешевизна безусловно не достигается без последствий, одно из основных отличий это размер базы данных, который у китайцев меньше раз в 5 минимум, ну и скорость и точность тоже немного страдают. Но в принципе это вполне рабочие, локальные решения для малых предприятий.

Устройство мультифакторной биометрической идентификации ZKTeco VF680 - цена 13 410 рублей

ZKTeco® , Китай, крупнейший китайский производитель биометрических, самостоятельно разрабатывает алгоритмы распознавания.
Платформа ZEM810, алгоритм ZK Face 7.0
Встроенная двойная камера высокого разрешения для сканирования лиц с инфракрасной подсветкой
Память на 800 лиц, до 10 000 и 100 000 событий
Скорость верификации не более 1 секунды
Подключение по TCP/IP

VF680 может работать автономно или подключаться к сетевым системам контроля доступа. Терминал оснащен платформой ZEM810, сенсорным экраном 3.0 дюймов и алгоритмом ZK Face 7.0, поддерживающим 800 лиц.
Считыватель может программироваться с встроенной клавиатуры или с помощью программного обеспечения.

Устройство мультифакторной биометрической идентификации ZKTeco MultiBio700id - цена 28 530 рублей

Версия алгоритма: ZK Face v7.0 и ZK Finger v10.0


100 000 событий в журнале
Распознавание не более 1 секунды


Мульти биометрический терминал ZKTeco Multibio700 осуществляет доступ по лицу, отпечатку пальца, бесконтактной карте и коду.
Устройство захватывает относительную позицию, размер, и форму глаз, носа, скул, челюстей и формирует из этих данных биометрический шаблон для последующего сравнения.
Распознавание пользователя проходит точно и быстро в пределах 1 секунды. Инфракрасная подсветка помогает удачно проводить идентификацию в условиях недостаточной освещенности.

Для прямого управления замком терминал может использоваться автономно, или подключаться в роли считывателя в сетевые системы доступа с использованием Wiegand интерфейса.

Биометрический считыватель ZKTeco SpeedFace V5

Процессор Quad-Core A17 1.8Ghz, Память 2G RAM / 16G ROM
Двойная камера: IR камера + Visible Light камера
Работа при освещении 0~40,000Lux
5 дюймовый сенсорный экран
Память на 6 000 ~ 10 000 (1:N) лиц
Скорость верификации менее 1 секунды
Считыватель поддерживает распознавание по лицу, отпечатку пальца и RFID картам EM-Marine или Mifare.

Распознавание лиц Visible light в разы превосходит распознавание лиц IR и дистанция распознавания увеличена до 2 метров, что значительно упрощает ситуацию в час-пик. Нет необходимости долго стоять перед камерой устройства. Пользователь может быстро пройти в нужном направлении рядом с устройством, чтобы лицо попало в поле видимости камеры.

Благодаря использованию CNN и созданию 3D модели лица стало возможным распознавания с разных углов обзора. С применением интеллектуального алгоритма CNN, функция анти-спуффинга эффективно предотвращает проход по маскам, фото и видео.

Биометрический терминал доступа HikVision DS-K1T606M - цена 49 990 рублей

HikVision , Китай
Память на 3 000 шаблонов лиц, 5 000 карт формата Mifare и 100 000 событий в журнале
2 тревожных входа и 1 выход
Интерфейсы связи TCP/IP; Wi-Fi; EHome протокол; RS-485; Wiegand 26/34
Рабочие условия от -20 °C до +50 °C , влажность 10% - 90%
Подходит для уличной установки


Считыватель со встроенным контроллером и алгоритмом распознавания лиц ST-FR040EM - цена 26 824 рублей
Smartec , Россия, зонтичный российский бренд, размещает заказы на куче китайских фабриках и продает в России под единым брендом Smartec.
Версия алгоритма: ZK Face v7.0 и ZK Finger v10.0
Инфракрасная камера высокого разрешения, Сенсорный дисплей 3 дюйма
Объем памяти на 400 шаблонов лиц, 2000 отпечатков пальцев и 1000 бесконтактных карт
Распознавание не более 1 секунды
Встроенный RFID ридер Em-Marine 125kHz

Если вам показалось что он похож на ZKTeco MultiBio700ID , то вы правы для Smartec этот считыватель производит ZKTeco, и это полная копия MultiBio700ID.

Домофон со встроенной системой распознавания лиц DS06M - цена 14 300 рублей

Бевард , Россия
1,3 Мп сенсор SONY Exmor, с чувствительностью 0.01Лк
Эксплуатация в диапазоне температур от -40 до +50°С, класс защиты IP54
Установленная карта microSDHC на 4 ГБ, запись на карту памяти
Двухсторонняя аудиосвязь
Поддержка облачного сервиса Camdrive

Не спешите радоваться низкой цене, база данных максимум на 30 лиц. Но если у вас небольшое предприятие и вы хотите произвести ВАУ эффект на ваших посетителей - это то, что может подойти.

К слову, системой распознавания лиц, может быть оборудован любой IP домофон , желательно с нормальной IP камерой.
И даже больше, IP домофон устанавливается именно на уровне лица или чуть ниже, что идеально подходит для качественного распознавания лиц.

Тот же домофон Бевард, но подключенный к системе распознавания лиц Макроскоп, в данном случае программное обеспечение Макроскоп устанавливается на сервер . В такой конфигурации размер базы данных ограничен только, простите, вашими финансовыми возможностями.

Очки с системой распознавания лиц уже использует полиция города Чжэнчжоу

LLVision Technology , Китай

Подключенные к базе данных полиции, очки выдают имя и адрес человека за 2-3 минуты. За полторы недели с помощью очков на железнодорожном вокзале в Чжэнчжоу было задержано семь человек числящихся в розыске, и 26 с поддельными ID-картами .

Кроме хакеров, есть еще вездесущий товарищ майор, который к биометрическим данным проявляет не меньший интерес. WikiLeaks опубликовала сообщение (url предусмотрительно заблокирована РосКомНадзором) о возможной краже базы данных Aadhaar ЦРУ, с помощью оборудования которое используется для сканирования отпечатков пальцев и радужной оболочки глаза от компании Cross Match (Запомните эту американскую компанию она до сих пор активно продвигает свое оборудование, в том числе на международных рынках)

Естественно Aadhaar сам предоставляет доступ коммерческим компаниям, например компания Microsoft использует Aadhaar для подтверждения личности пользователей специальной версии Skype для Индии.

В предоставлении доступа коммерческим компаниям к государственным базам биометрических данных есть большой смысл. Как правило сами биометрические данные не передаются, передаются лишь результат идентификации. Кроме того что эти услуги платные, именно на эти поступления создаются и обслуживаются государственные биметрические базы данных.

Свой Aadhaar появился и в России, очевидно что российская базе данных вряд ли удастся избежать, всех тех проблем через которые прошла Aadhaar.

Доступ к российской базе данных планируется предоставлять банкам.

Есть и примеры другого подхода, Бельгия первая страна запретившая использование систем распознавания лиц коммерческими организациями.

Базы данных при надлежащие коммерческим компаниям
Государство даже обладая монополией на принудительный сбор данных, как правило не является самым эффективным их собирателем.

Поэтому мы имеем гигантское количество коммерческих баз данных биометрической информации. Крупнейшие - База данных Вконтакте (более 97 000 000 человек ежемесячно пользуются ВКонтакте), именно ей например пользуется NtechLab для своего сайта FindFace , также большой базой данных обладает Facebook и другие социальные сети и сайты знакомств.

Коммерческие базы данных для того и создаются что за скромные деньги их могли использовать другие коммерческие компании.

Например Битрикс24 в своих продуктах Face-трекер, Face-карт для 1С, Bitrix24.Time и визит-трекер использует базу данных вконтакте.

Лучшая база данных
У всех выше перечисленных баз данных, есть один существенный недостаток, они не имеют никакого отношения к вашему бизнесу. И содержат лишь определенные наборы данных, зачастую крайне полезные наборы, но без учета специфики вашего бизнеса, применение их сильно ограничено.

Одним из самых важных показателей качества вашей базы данных - будет качество изображений лица, эталонов.
Самые важные показатели качества базы данных эталонных изображений:
Количество пикселей
Контраст и прорисовка деталей лица
Фон, на котором находится основная часть лица
Отсутствие мешающих деталей на области лица и т. д.

Важно при этом еще и соблюдать более или менее одинаковые условия получения образов лиц (освещенность, размер самого лица на фоне всего образа).

Эти показатели важно учесть еще на этапе проектирования системы в целом, отдельно уделяя большое внимание системе получения распознанных лиц эталонов.
Начните создавать вашу базу данных уже сегодня!

Использование биометрических баз данных
Многие проявляют разумные опасения как по использованию биометрических данных государством так и еще большие опасения по поводу использования этих данных коммерческими структурами.

И действительно эти опасения не лишены смысла, но они не должны останавливать внедрение технологии. В нашем недалеком будущем именно наша биологическая идентичность позволит отличить человека от искусственного интеллекта .

Скрин с данными о количестве ботов и реальных людей посещающих веб сайты, исследование проведено компанией Imperva Incapsula


Даже на данный момент количество ботов и реальных людей посещающих сайты примерно одинаково. С развитием интернета вещей и искусственного интеллекта количество ботов будет расти в математической прогрессии как и их возможности, уже существуют решения способные позвонить от вашего имени например в парикмахерскую или пиццерию.



Области применения систем распознавания лиц

Специфика применения технологии распознавания лиц отличается разной критичностью к ошибкам в зависимости от сферы применения.


Системы контроля доступа

Одно из наилучших применений систем распознавания лиц на данный момент именно в системах контроля доступа. Во первых сотрудник сам заинтересован в предоставлении ему доступа и не будет сознательно саботировать работу системы распознавания лиц. Во вторых вы контролируете, все внешние факторы влияющие на качество распознавания - освещение, фон, схема движения сотрудников. Использую все это вы можете создать идеальные условия.


Системы распознавания лиц могут использоваться в системах контроля доступа в двух режимах:

Режим идентификации - решение о допуске принимается на основе только данных от системы распознавания лиц. То есть, например база данных из ваших сотрудников 100 человек, и задача системы распознавания сравнить лицо текущего человека с базой данных в 100 человек. То есть сравнение происходит 100:1. Если человек будет идентифицирован как сотрудник, то ему будет предоставлен доступ.

Терминалы распознавания лиц от HikVision

Данный режим, эффективнее всего использовать в задачах обнаружения посторонних на контролируемой территории. Как правило есть смысл использовать в особо охраняемых зонах предприятия, куда доступ разрешен ограниченному кругу лиц. К системе распознавания подключаются все камеры установленные на данной территории в случае обнаружения любого лица, которое не содержится в базе данных происходит информирование службы безопасности.

Режим верификации - идентификация в данном случае проводится с помощью другой технологии, например RFID (если вы консерватор), или может использоваться мобильные идентификаторы, или отпечатки пальца или венозный рисунок руки или пальца , если вы сечете куда ветер дует в современных тенденциях СКУД, и не хотите выкидывать деньги на ветер.
Человек подносит карту к считывателю система его идентифицирует, то есть устанавливает что это Иванов, и Иванову разрешен доступ в данное время. Система распознавания лиц в данном случае уже знает, что это Иванов, и используя только фото Иванова из базы данных сравнивает, предъявителя RFID карты с фотографией Иванова в базе данных. То есть сравнение происходит 1:1.

В режиме верификации работает вообще идеально, так как задача верификации очень простая даже для средних по качеству систем распознавания лиц.

Данный режим целесообразно использовать на любых проходных - бизнес центры, производственные предприятия, институты, школы.

Задача системы распознавания лиц - верифицировать держателя карты. Обычно эту задачу выполняет охранник или вахтер . И это не лучшая идея, если только вы не фольклорист, и не преследуете цели составить «энциклопедию современной культуры»


У охранника на мониторе отображается фото человека при поднесении бесконтактной карты к считывателю, задача охранника сравнить фото и предъявителя карты (по науке это называется верификация). Охранником выполняется эта работа плохо - как и любая другая однообразная, рутинная, повторяющаяся работа.

Система распознавания лиц не только гораздо эффективней выполнит эту работу, но и еще предотвратить злоупотребления со стороны охраны.

Распознавание лиц в транспорте

В транспорте распознавание лиц может применяться для нескольких целей:

Поиск пропавших людей
Поиск преступников находящихся в розыске
Извлечение демографической информации людей для лучшего обслуживания
Измерение удовлетворенности людей от их лиц
Подсчет количества пассажиров, использующих общественный транспорт

Данные о количестве пассажиров поступающие в режиме онлайн помогут быстрее, более гибко и эффективно управлять сетями общественного городского транспорта.

Также подсчет количества пассажиров при сопоставлении этих данных с количеством оплат, позволит устанавливать нарушения правил оплаты проезда.

Идентификация по лицу для целей оплаты проезда

Распознавание лица для целей оплаты проезда может на данный момент вестись в режиме верификации, и позволит избегать несанкционированного использования многоразовых проездных билетов, например использованию одного проездного абонемента несколькими лицами.

Использование распознанного лица как единственного идентификатора пассажира для автоматизированной оплаты проезда, на данном уровне развития технологий представляется возможным только в небольших корпоративных транспортных сетях, и никак не подойдет для массового общественного городского транспорта.

Учет рабочего времени

Еще недавно учет рабочего времени без использования преграждающих устройств, было недостижимой мечтой. Сегодня это реальность.
Учет рабочего времени это конечно одна из функций системы контроля доступа, но учет рабочего времени может вестись и отдельно, только с помощью систем распознавания лиц.

Одно из основных преимуществ, использования систем распознавания лиц для учета отработанного времени - это отсутствие требований к чистоте лица. В пределах разумного конечно - смотрите раздел «Саботаж».

Также преимуществами учета рабочего времени с помощью системы распознавания лиц будут:

Отсутствие преграждающих устройств, что конечно повышает комфортность
Возможность использовать учет рабочего времени скрытно, без информирования сотрудников

Учет рабочего времени всего лишь одна из метрик, и вообщем то сама по себе в отрыве от других данных по работе предприятия, мало, что говорящая. Но обладая всем объемом знаний она отлично встраивается в анализ эффективности работы компании.

Особенно внимательно стоит следить за посещаемости в кризис, на это нам сам PricewaterhouseCoopers прямо указывает . Не будете следить за посещаемостью получите 2 дополнительных дня отсутствия на работе, о которых вы не узнаете, но которые вы оплатите. Что в 1,3 раза увеличит ваши финансовые потери от отсутствия сотрудников на рабочем месте.

Распознавание лиц для целей учета рабочего может быть реализовано в двух видах.

Сервер + софт + хорошие IP-камеры и все это за много денег. Царский вариант - когда учет рабочего времени может вестись без информирования сотрудников.

Специализированные терминалы - это тот вариант когда сотруднику нужно подойти к терминалу, тем самым пройдя процедуру идентификации. Это работает только если вы объявили о том, что любому, кто не отметится в устройстве распознавания лиц - рабочий день оплачен не будет. Это простая административная мера как по волшебству сокращает количество ошибок FAR и FRR до абсолютного нуля.


Распознавание лиц в толпе

Говоря о системе распознавания лиц, как правило наше воображение рисует именно сценарии идентификации преступников на улицах города. Эта самая желанная самая востребованная, и самая сложная на данный момент задача.

Поиск пропавших людей в Китае с помощью системы распознавания лиц

Сложности
Неравномерное освещение (день, ночь, светящее солнце, все это разные условия которые будут сильно влиять на процент распознавания лиц)
Большое количество людей в кадре

Плюсы
Эффект неожиданности
Распознавание лиц хоть и перспективная технология о которой очень много пишут, но пишут в специализированных «гиковских» изданиях. Следовательно количество людей которые вкурсе - микроскопическое, в масштабе общего количество населения. Большинство преступников просто не будут совершать действия препятствующие идентификации.

Сеть покрытия
Камер видеонаблюдения в большинстве больших городов очень много. Именно этот аспект будет вносить свою коррективу в работу системы распознавания лиц. Например в Великобритании человек за день попадает в объектив видеокамеры около 300 раз. И это не рекорд, и не предел при текущей низкой стоимости IP-камер.

Определение возраста

От задач безопасности переходим к задачам маркетинга. Когда говорят об присоединении отрасли «Систем безопасности» к большой отрасли IT имеют ввиду именно это - с помощью оборудования которое раньше считалось способным решать только проблемы безопасности. Сегодня решаю гигантский спектр разных задач, не имеющих отношения к «Системам безопасности» как таковым.

Возрастной состав посетителей бесценная информация для любого маркетолога, и если верить нашему министру здравоохранения, которая заявила , что средняя продолжительность жизни может вырасти до 120 лет, правда госпожа Скворцова не уточнила в какой стране это произойдет, что очевидно выдает в ней умного человека. (я лично верю, что в России), так или иначе актуальность задачи определения возраста точно будет возрастать.

Онлайн сервисы для определения возраста
Насколько точным будет определение возраста, вы можете протестировать на нескольких онлайн сервисах. Загружайте свои фото и тестируйте.

Для целей определения возраста вам подойдет:

Программное обеспечение для распознавания лиц www.axis.com/products/axis-demographic-identifier/

Определение пола

Если вы не собираетесь анализировать пол участников Евровидения, для современных систем распознавания лиц это достаточно простая задача.

Не нужно быть великим маркетологом, чтобы понимать, что разный гендерный состав ваших покупателей требует разной маркетинговой, рекламной, PR и любых других стратегий связанных с взаимодействием с клиентами.

Сети кинотеатров «Синема парк» и «Формула кино» уже запустили сбор возраста и пола своих посетителей.

Насколько точным будет определение пола вы можете протестировать по уже знакомым вам онлайн сервисам. Загружайте свои фото и тестируйте.

www.skybiometry.com/demo/face-detect/
www.how-old.net

Для целей определения возраста вы можете использовать:
Программное обеспечение для распознавания лиц, во многих случаях это одна из его функций.

Готовые решения от Axis, HikVision - Смарт видеорегистратор + IP-камеры

Швеция
AXIS Demographic Identifier
https://www.axis.com/products/axis-demographic-identifier/




Подсчет уникальных посетителей

Классическую задачу подсчета количества посетителей, всегда решали инфракрасными или лазерными датчиками, которые просто показывают количество пересечений виртуальной линии. Например тележка будет давать отдельное пересечение, пользы от них, как от показателя средней температуры по больнице .

Есть современные комплексы видеоаналитики, как правило совмещенные с дополнительными датчиками. Они уже умеют считать конкретно людей, но вас же охранник, или местный городской сумасшедший, 50 раз прошедший туда - обратно, может свести данные практически к полной бесполезности.

Впервые, благодаря современным системам распознавания лиц маркетологи могут получать по настоящему полезные данные - количество уникальных посетителей . А в купе с показателями пола и возраста - это Яндекс метрика для вашего магазина.

Trassir Face Analytics модуль анализа лиц - цена 36 990 рублей
Интеллектуальный модуль анализа лиц. Функционал:
1. подсчёт уникальных лиц
2. демографический анализ лиц (пол, возраст)
3. идентификация расы
4. распознавание атрибутов лица (очки, головной убор, усы, цвет волос). Стоимость за обработку 1 видеоканала.

Скоро в нашем блоге выйдет статья с обзором современный систем видеаналитики для магазинов, это будет бомба, подписывайтесь чтобы не пропустить - мы доступны на всех платформах -

Колонка

Она ставит под угрозу безопасность и гражданские права человека, поэтому частичное её регулирование должно быть заменено полным запретом. Пока весь мир увлечён преимуществами технологии распознавания лиц, некоторые специалисты по безопасности считают, что она таит в себе большое зло для человечества. Преподаватель права и информатики Вудроу Хартцог и преподаватель философии Эван Селинджер изложили свою точку зрения на методы контроля технологии в статье на Medium.

Жители Трои были бы в восторге

Очень легко поддаться внешне заманчивому, но в действительности ошибочному мнению о том, каким будет будущее человечества в мире, раскрывшем весь скрытый потенциал технологии распознавания лиц. Люди смогут мгновенно получать информацию о незнакомцах, им больше не придётся запоминать массу паролей или бояться забыть кошелёк. Можно будет запросто находить события с определённым человеком в архивах фотографий и видео, оперативно разыскивать пропавших людей или преступников, сделать безопасными общественные места.

Казалось бы, технология несёт одни только плюсы, в мире воцарится абсолютная справедливость, реализуются самые невероятные идеи человечества. Но ни один из изобретённых человечеством механизмов наблюдения не несёт в себе такой опасности, как технология распознавания лиц.

Соблазняясь этим утопическим видением, люди будут впускать технологию распознавания лиц в своё жилище и открывать доступ к своим устройствам, позволяя ей занять центральное место во всё новых аспектах жизни. Это будет означать, что ловушка захлопнулась, а после придёт неприятное осознание того, что технология была своего рода троянским конём. Этот идеальный инструмент притеснения слишком хорош, чтобы им не воспользовались правительства для установления авторитарного контроля и всеобъемлющих режимов, которые уничтожат понятие личной жизни.

Этот троянский конь не должен проникнуть в город.

Текущие обсуждения

Американский союз защиты гражданских свобод совместно с 70 другими правозащитными организациями потребовал от Amazon прекратить предоставлять технологию распознавания лиц правительству, а также призвал Конгресс ввести мораторий на её использование правительством. К ним подключились и СМИ, выразили свою обеспокоенность. Например, редколлегия Washington Post считает , что Конгресс обязан немедленно вмешаться в ситуацию. У парламентариев тоже есть веский повод задуматься: некоторых из них программа по распознаванию лиц Amazon с преступниками.

Не остались в стороне и редакторы The Guardian. Президент Microsoft Брэд Смит обратился в своём блоге к правительству США с просьбой ввести регулирование технологии распознавания лиц:

«Единственный надёжный способ контролировать использование технологии правительством - это чтобы оно самостоятельно и с учётом возможных обстоятельств контролировало её использование. Мы считаем, что сегодня существует острая необходимость в правительственной инициативе по контролю за правомерным применением технологии распознавания лиц, основанной на решении двухпартийной комиссии экспертов»

Мнение лидеров компаний имеет немаловажное значение, как и законодательные акты, ограничивающие использование технологии. Но лишь частичной поддержки и тщательно прописанных инструкций никогда не будет достаточно. Законы могли бы принести большую пользу, но их, скорее всего, начнут вводить тогда, когда технология станет в разы дешевле и проще в использовании. Смит подчёркивает, что Microsoft призывала к созданию национального закона в этой области ещё в 2005 году. Прошло более десяти лет, но подобный закон Конгресс так и не принял.

Если технологию распознавания лиц продолжат разрабатывать и внедрять в жизни, возникнет гигантская инфраструктура, которая поглотит человечество. Как показывает история, широкое внимание к успехам, страх не обеспечить должного уровня безопасности и пьянящее чувство власти могут приводить к обману, сдвигу корпоративных ценностей и в конечном счёте систематическом злоупотреблению технологией.

Благополучие человечества в будущем возможно только в том случае, если технология распознавания лиц будет запрещена, прежде чем слишком прочно укрепится в жизни человека.

Почему нужен запрет

Необходимость полного запрета систем распознавания лиц - чрезвычайна. Но некоторые талантливые учёные, вроде Джудит Донат , считают эту позицию неверной. Они предлагают более нейтральную с технологической точки зрения тактику: запрет на конкретные действия, а также обозначение ценностей и прав, которые нужно защитить. Этот подход вполне разумен почти для всех цифровых технологий.

Но ни один из изобретённых человечеством механизмов наблюдения не несёт в себе такой опасности, как технология распознавания лиц. Это недостающий элемент уже опасной инфраструктуры наблюдения за людьми, разработанный потому, что эта инфраструктура нужна правительствам и частному бизнесу. И если технологии становятся опасными в такой степени, а соотношение пользы и вреда - настолько искажённым, пришло время задуматься о категорических запретах. На законодательном уровне уже запрещены некоторые виды опасных цифровых технологий, например шпионского ПО . Технология распознавания лиц несёт в себе гораздо большие риски, и её не мешало бы удостоить особого юридического внимания. Нужен конкретный запрет на основе надежной, целостной, основанной на ценностях и в значительной степени нейтральной с точки зрения технологий нормативной базы. Такая система поможет избежать нормативных ситуаций, когда законодатели пытаются догонять технические тенденции.

Наблюдение с использованием систем распознавания лиц по своей сути деспотично. Существование таких систем, которые сами часто скрыты от глаз человека, - нарушение гражданских свобод, потому что люди ведут себя иначе, если подозревают, что за ними наблюдают. Даже законы, которые гарантируют строгие защитные меры, не предотвратят гнетущее ощущение того, что будут ущемлены возможности самовыражения человека.

Вот примеры злоупотребления и разрушительных действий технологии распознавания лиц:

• непропорциональное внимание к людям небелого цвета кожи , другим меньшинствам и незащищённым народам ;
• замена презумпции невиновности на принцип «люди, чья вина пока что не доказана»;
• распространение насилия и жестокости;
• отрицание фундаментальных прав и возможностей, например защиты от произвольного отслеживания правительствами передвижения, привычек, отношений, интересов и мыслей человека;
• беспрерывная «работа» закона - как постоянная мера пресечения;
• уничтожение концепции хранения информации «practically obscure », когда данные находятся в открытом доступе, но хранятся в различных источниках и найти их чрезвычайно сложно;
• распространение «капитализма надзора ».

Как отмечает исследователь технологии распознавания лиц Клэр Гарви, ошибки в ней могут иметь фатальные последствия:

«Что произойдёт, если подобная система даст сбой? В случае ошибки системы видеонаблюдения будут преследовать, допрашивать или могут даже арестовать и обвинить в преступлении невинного человека. Или портативные камеры с системой распознавания лиц у полицейских: если система укажет на человека, который якобы может представлять опасность для общества, полицейский должен будет мгновенно решить, применять ли ему оружие. В результате ложного оповещения могут пострадать невинные люди».

В числе прочих есть два доклада, которые подробно затрагивают многие из этих проблем: весьма ценная работа об использовании правоохранителями распознавания лиц, опубликованная старшим юристом Electronic Frontier Foundation Дженнифер Линч, а также исследование специалистов Center on Privacy & Technology университета Джорджтауна.

Несмотря на описанные в докладах проблемы, не все убеждены, что запрет действительно необходим. Ведь другие технологии представляют не меньшую угрозу: геолокационные данные, информация из профилей в соцсетях, результаты поисковых запросов и многие другие источники информации о пользователях можно использовать, чтобы составить их детальный портрет. Но распознавание лиц всё же несёт опасность иного характера и стоит особняком даже по сравнению с биометрическими данными: отпечатками пальцев, образцами ДНК или сканированием сетчатки глаза.

Системы, обрабатывающие изображения лиц, имеют пять отличительных особенностей, которые дают все основания для их запрета. Во-первых, лицо трудно скрыть или изменить. Лица нельзя зашифровать, как данные на цифровых носителях, в электронных или текстовых сообщениях. Их можно снимать с помощью удалённых камер, а стоимость самой технологии и хранения изображений в облаке постоянно снижается, что приводит к всё более широкому применению таких систем мониторинга.

Во-вторых, существуют базы данных имён и лиц, например для водительских удостоверений, или аккаунты в соцсетях, к которым можно очень легко получить доступ.

В-третьих, в отличие от типичных систем наблюдения, которые часто требуют дорогостоящее оборудование или новые источников данных, входные данные для распознавания лиц находятся повсюду и поступают непосредственно в момент съёмки камерами.

В-четвёртых, переломный момент. Любая база данных лиц для идентификации арестованных или попавших в поле зрения камер личностей с помощью нескольких строчек кода может «сравниваться» с любой другой базой в режиме реального времени, подключаясь к портативным камерам полицейских или системам видеонаблюдения. Губернатор штата Нью-Йорк Эндрю Куомо точно подметил причины распространения технологии распознавания лиц, утверждая, что простое сканирование номерных знаков автомобилей покажется мелочью по сравнению с возможностями применения камер со встроенной технологией: «Система считывает номерной знак, чтобы вычислить нарушителя, но штрафы - далеко не самая большая польза от этой аппаратуры. Мы переходим на технологию распознавания лиц, и теперь система сможет сканировать лицо водителя и проверять его по базам данных, что открывает абсолютно новые перспективы».

В-пятых, лицо, в отличие от отпечатков пальцев, походки или снимков сетчатки, - центральный элемент идентичности человека. Лицо - это посредник между виртуальной и реальной жизнью человека, связующее звено между действиями, которые человек выполняет анонимно, под своим или чужим именем. Может легко показаться, что обеспечивать конфиденциальность лиц, как любой другой частной информации, не нужно, потому что в жизни люди обычно не закрывают лица. За исключением стран, где женщины обязаны носить паранджу, люди со скрытым лицом вызывают подозрения.

Обеспечивать конфиденциальность лица человека действительно необходимо, потому что в прошлом люди вырабатывали институты и ценности, связанные с защитой частной информации в те периоды, когда опознать незнакомых людей в основном было достаточно сложно. По причине биологических особенностей память человека ограничена, и без технологической надстройки он может запомнить лишь небольшое количество лиц. А с учётом численности и распределения населения за свою жизнь человек встретит не так уж много новых людей. Эти ограничения создают своего рода «белые пятна», благодаря чему у людей были хорошие шансы затеряться в толпе.

Недавние решения Верховного суда США касательно четвёртой поправки (которая запрещает необоснованные обыски и задержания, а также требует выдачи ордеров на обыск судом при наличии достаточных оснований) свидетельствуют о том, что борьба за защиту конфиденциальности в общественных местах по-прежнему актуальна. Этим летом в одном из процессов суд решил, что геолокационные данные с мобильных телефонов подпадают под действие Конституции, а информация, которую человек желает сохранить в тайне, даже если она оказывается доступна публично, может охраняться Конституцией.

Почему технология распознавания лиц не поддаётся правовому регулированию

В связи с тем, что технология распознавания лиц представляет огромную угрозу, общество не может пустить её регулирование на самотёк. Потенциальная прибыльность подтолкнёт к появлению идей по реализации максимальных возможностей технологии, и отдельные компании будут продвигать свои интересы в этом направлении.

Общество также не может ждать подъёма популистов. Технологию распознавания лиц продолжат «продавать» как часть самых новых и продвинутых приложений и устройств. Apple уже называет Face ID лучшей функцией последнего iPhone. То же самое касается новостных репортажей с идеологической подоплёкой, в которых технологию распознавания лиц провозглашают решением всех проблем.

Наконец, обществу не следует излишне рассчитывать на традиционные методы регулирования. Особенности технологии распознавания лиц не позволяют удержать её в рамках мер, которые определяют законные и незаконные способы применения и пытаются уместить в ней потенциальную полезность для общества и устрашающий фактор для злоумышленников. Это - один их немногих примеров, когда необходимо ввести полный запрет.

На данный момент существует очень немного проектов по контролю технологии распознавания лиц и ещё меньше - по её ограничению. Есть достойные законы о биометрических данных в штатах Иллинойс и Техас, но они придерживаются общепринятой стратегии регулирования, согласно которой субъекты, собирающие и использующие эти данные, должны выполнять ряд базовых информационных практик и протоколов конфиденциальности. Сюда относятся требование получать информированное согласие на сбор биометрических данных, их обязательная защита и ограничение на срок хранения, запрет на их использование с целью получения прибыли, ограничение прав передачи третьим лицам и частные основания для подачи иска в случае нарушения этих норм.

Предлагаемые законы в области распознавания лиц похожи на них. Федеральная комиссия по торговле США рекомендует ввести такой же механизм в отношении технологии: предупреждать человека о её применении, давать ему выбор и честно ограничивать использование его данных. Доклад Electronic Frontier Foundation, в котором упор сделан на проведение этих законов в жизнь, содержит аналогичные, хотя и более глубокие предложения. Например, создать чёткие правила использования, распространения и обеспечения безопасности данных; ввести ограничения на сбор и хранение данных; запрет на включение нескольких видов биометрических данных в одну базу; обязательное уведомление, проведение проверок и независимого надзора. В своём проекте закона о распознавании лиц Center on Privacy & Technology университета Джорджтауна предлагает значительно ограничить доступ правительства к базам лиц, а также использование технологии распознавания лиц в реальном времени.

К сожалению, большинство действующих и предлагаемых требований носят процедурный характер. И в конечном счёте не остановят распространение самой технологии и развитие соответствующей инфраструктуры. Прежде всего нужно отметить ложность некоторых исходных допущений относительно согласия, уведомления и выбора, которые присутствуют в существующих законах. Информированное согласие как механизм регулирования наблюдения и обработки данных полностью бесполезно. Даже если бы людям всецело принадлежало право контролировать свои данные, они бы всё равно не смогли им воспользоваться в полной мере.

И всё же законодатели и сама отрасль пытаются сдвинуться с мёртвой точки. Но в этих нормах, как и в большинстве норм конфиденциальности цифровой эры, есть много пробелов. Одни законы касаются только сбора или хранения данных и не затрагивают то, как они используются. Другие применимы лишь к компаниям или правительству и настолько неоднозначны, что позволяют избежать последствий за различные противоправные действия. И чтобы прочувствовать преимущества технологии распознавания лиц, которую так расхваливают, потребуется больше камер, лучшая инфраструктура и необъятные базы данных.

Будущее технологии распознавания лиц

Технология распознавания лиц открывает безграничные возможности отслеживать информацию о личности и перемещениях человека. А также практически мгновенно сохранять, распространять и анализировать её. Развитие этой технологии в будущем может привести к тому, что конфиденциальность частной информации человека будет постоянно нарушаться. Благополучие человечества возможно лишь в том случае, если будет введён запрет на технологии распознавания лиц, прежде чем эти системы слишком прочно войдут в повседневную жизнь. Иначе людям будет знаком только мир, в котором при каждом появлении в общественном месте их будут автоматически идентифицировать, заносить информацию в профиль и, возможно, использовать её. В таком мире те, кто выступает против технологии распознавания лиц, будут дискредитированы, вынуждены замолчать или устранены.

С завидной регулярностью на Хабре появляются статьи, рассказывающие о тех или иных методах распознавания лиц. Мы решили не просто поддержать эту замечательную тему, но выложить наш внутренний документ, который освещает пусть и не все, но многие подходы к распознаванию лиц, их сильные и слабые места. Он был составлен Андреем Гусаком, нашим инженером, для молодых сотрудников отдела машинного зрения, в образовательных, так сказать, целях. Сегодня предлагаем его все желающим. В конце статьи – впечатляющих размеров список литературы для самых любознательных.

Итак, начнем.
Несмотря на большое разнообразие представленных алгоритмов, можно выделить общую структуру процесса распознавания лиц:

Общий процесс обработки изображения лица при распознавании

На первом этапе производится детектирование и локализация лица на изображении. На этапе распознавания производится выравнивание изображения лица (геометрическое и яркостное), вычисление признаков и непосредственно распознавание – сравнение вычисленных признаков с заложенными в базу данных эталонами. Основным отличием всех представленных алгоритмов будет вычисление признаков и сравнение их совокупностей между собой.

1. Метод гибкого сравнения на графах (Elastic graph matching) .

Суть метода сводится к эластичному сопоставлению графов, описывающих изображения лиц. Лица представлены в виде графов со взвешенными вершинами и ребрами. На этапе распознавания один из графов – эталонный – остается неизменным, в то время как другой деформируется с целью наилучшей подгонки к первому. В подобных системах распознавания графы могут представлять собой как прямоугольную решетку, так и структуру, образованную характерными (антропометрическими) точками лица.

А)

Б)

Пример структуры графа для распознавания лиц: а) регулярная решетка б) граф на основе антропометрических точек лица.

В вершинах графа вычисляются значения признаков, чаще всего используют комплексные значения фильтров Габора или их упорядоченных наборов – Габоровских вейвлет (строи Габора), которые вычисляются в некоторой локальной области вершины графа локально путем свертки значений яркости пикселей с фильтрами Габора.

Набор (банк, jet) фильтров Габора

Пример свертки изображения лица с двумя фильтрами Габора

Ребра графа взвешиваются расстояниями между смежными вершинами. Различие (расстояние, дискриминационная характеристика) между двумя графами вычисляется при помощи некоторой ценовой функции деформации, учитывающей как различие между значениями признаков, вычисленными в вершинах, так и степень деформации ребер графа.
Деформация графа происходит путем смещения каждой из его вершин на некоторое расстояние в определённых направлениях относительно ее исходного местоположения и выбора такой ее позиции, при которой разница между значениями признаков (откликов фильтров Габора) в вершине деформируемого графа и соответствующей ей вершине эталонного графа будет минимальной. Данная операция выполняется поочередно для всех вершин графа до тех пор, пока не будет достигнуто наименьшее суммарное различие между признаками деформируемого и эталонного графов. Значение ценовой функции деформации при таком положении деформируемого графа и будет являться мерой различия между входным изображением лица и эталонным графом. Данная «релаксационная» процедура деформации должна выполняться для всех эталонных лиц, заложенных в базу данных системы. Результат распознавания системы – эталон с наилучшим значением ценовой функции деформации.

Пример деформации графа в виде регулярной решетки

В отдельных публикациях указывается 95-97%-ая эффективность распознавания даже при наличии различных эмоциональных выражениях и изменении ракурса лица до 15 градусов. Однако разработчики систем эластичного сравнения на графах ссылаются на высокую вычислительную стоимость данного подхода. Например, для сравнения входного изображения лица с 87 эталонными тратилось приблизительно 25 секунд при работе на параллельной ЭВМ с 23 транспьютерами (Примечание: публикация датирована 1993 годом). В других публикациях по данной тематике время либо не указывается, либо говорится, что оно велико.

Недостатки: высокая вычислительная сложность процедуры распознавания. Низкая технологичность при запоминании новых эталонов. Линейная зависимость времени работы от размера базы данных лиц.

2. Нейронные сети

В настоящее время существует около десятка разновидности нейронных сетей (НС). Одним из самых широко используемых вариантов являться сеть, построенная на многослойном перцептроне, которая позволяет классифицировать поданное на вход изображение/сигнал в соответствии с предварительной настройкой/обучением сети.
Обучаются нейронные сети на наборе обучающих примеров. Суть обучения сводится к настройке весов межнейронных связей в процессе решения оптимизационной задачи методом градиентного спуска. В процессе обучения НС происходит автоматическое извлечение ключевых признаков, определение их важности и построение взаимосвязей между ними. Предполагается, что обученная НС сможет применить опыт, полученный в процессе обучения, на неизвестные образы за счет обобщающих способностей.
Наилучшие результаты в области распознавания лиц (по результатам анализа публикаций) показала Convolutional Neural Network или сверточная нейронная сеть (далее – СНС) , которая является логическим развитием идей таких архитектур НС как когнитрона и неокогнитрона. Успех обусловлен возможностью учета двумерной топологии изображения, в отличие от многослойного перцептрона.
Отличительными особенностями СНС являются локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов), общие веса (обеспечивают детектирование некоторых черт в любом месте изображения) и иерархическая организация с пространственными сэмплингом (spatial subsampling). Благодаря этим нововведениям СНС обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям.

Схематичное изображение архитектуры сверточной нейронной сети

Тестирование СНС на базе данных ORL, содержащей изображения лиц с небольшими изменениями освещения, масштаба, пространственных поворотов, положения и различными эмоциями, показало 96% точность распознавания.
Свое развитие СНС получили в разработке DeepFace , которую приобрел
Facebook для распознавания лиц пользователей своей соцсети. Все особенности архитектуры носят закрытый характер.

Принцип работы DeepFace

Недостатки нейронных сетей: добавление нового эталонного лица в базу данных требует полного переобучения сети на всем имеющемся наборе (достаточно длительная процедура, в зависимости от размера выборки от 1 часа до нескольких дней). Проблемы математического характера, связанные с обучением: попадание в локальный оптимум, выбор оптимального шага оптимизации, переобучение и т. д. Трудно формализуемый этап выбора архитектуры сети (количество нейронов, слоев, характер связей). Обобщая все вышесказанное, можно заключить, что НС – «черный ящик» с трудно интерпретируемыми результатами работы.

3. Скрытые Марковские модели (СММ, HMM)

Одним из статистических методов распознавания лиц являются скрытые Марковские модели (СММ) с дискретным временем . СММ используют статистические свойства сигналов и учитывают непосредственно их пространственные характеристики. Элементами модели являются: множество скрытых состояний, множество наблюдаемых состояний, матрица переходных вероятностей, начальная вероятность состояний. Каждому соответствует своя Марковская модель. При распознавании объекта проверяются сгенерированные для заданной базы объектов Марковские модели и ищется максимальная из наблюдаемых вероятность того, что последовательность наблюдений для данного объекта сгенерирована соответствующей моделью.
На сегодняшний день не удалось найти примера коммерческого применения СММ для распознавания лиц.

Недостатки:
- необходимо подбирать параметры модели для каждой базы данных;
- СММ не обладает различающей способностью, то есть алгоритм обучения только максимизирует отклик каждого изображения на свою модель, но не минимизирует отклик на другие модели.

4. Метод главных компонент или principal component analysis (PCA)

Одним из наиболее известных и проработанных является метод главных компонент (principal component analysis, PCA), основанный на преобразовании Карунена-Лоева.
Первоначально метод главных компонент начал применяться в статистике для снижения пространства признаков без существенной потери информации. В задаче распознавания лиц его применяют главным образом для представления изображения лица вектором малой размерности (главных компонент), который сравнивается затем с эталонными векторами, заложенными в базу данных.
Главной целью метода главных компонент является значительное уменьшение размерности пространства признаков таким образом, чтобы оно как можно лучше описывало «типичные» образы, принадлежащие множеству лиц. Используя этот метод можно выявить различные изменчивости в обучающей выборке изображений лиц и описать эту изменчивость в базисе нескольких ортогональных векторов, которые называются собственными (eigenface).

Полученный один раз на обучающей выборке изображений лиц набор собственных векторов используется для кодирования всех остальных изображений лиц, которые представляются взвешенной комбинацией этих собственных векторов. Используя ограниченное количество собственных векторов можно получить сжатую аппроксимацию входному изображению лица, которую затем можно хранить в базе данных в виде вектора коэффициентов, служащего одновременно ключом поиска в базе данных лиц.

Суть метода главных компонент сводится к следующему. Вначале весь обучающий набор лиц преобразуется в одну общую матрицу данных, где каждая строка представляет собой один экземпляр изображения лица, разложенного в строку. Все лица обучающего набора должны быть приведены к одному размеру и с нормированными гистограммами.

Преобразования обучающего набора лиц в одну общую матрицу X

Затем производится нормировка данных и приведение строк к 0-му среднему и 1-й дисперсии, вычисляется матрица ковариации. Для полученной матрицы ковариации решается задача определения собственных значений и соответствующих им собственных векторов (собственные лица). Далее производится сортировка собственных векторов в порядке убывания собственных значений и оставляют только первые k векторов по правилу:

Алгоритм РСА

Пример первых десяти собственных векторов (собственных лиц), полученных на обучаемом наборе лиц

= 0.956*-1.842*+0.046 …

Пример построения (синтеза) человеческого лица с помощью комбинации собственных лиц и главных компонент

Принцип выбора базиса из первых лучших собственных векторов

Пример отображения лица в трехмерное метрическое пространство, полученном по трем собственным лицам и дальнейшее распознавание

Метод главных компонент хорошо зарекомендовал себя в практических приложениях. Однако, в тех случаях, когда на изображении лица присутствуют значительные изменения в освещенности или выражении лица, эффективность метода значительно падает. Все дело в том, что PCA выбирает подпространство с такой целью, чтобы максимально аппроксимировать входной набор данных, а не выполнить дискриминацию между классами лиц.

В было предложено решение этой проблемы с использование линейного дискриминанта Фишера (в литературе встречается название “Eigen-Fisher”, “Fisherface”, LDA). LDA выбирает линейное подпространство, которое максимизирует отношение:

Где

Матрица межклассового разброса, и

Матрица внутриклассового разброса; m – число классов в базе данных.

LDA ищет проекцию данных, при которой классы являются максимально линейно сепарабельны (см. рисунок ниже). Для сравнения PCA ищет такую проекцию данных, при которой будет максимизирован разброс по всей базе данных лиц (без учета классов). По результатам экспериментов в условиях сильного бакового и нижнего затенения изображений лиц Fisherface показал 95% эффективность по сравнению с 53% Eigenface.

Принципиальное отличие формирования проекций PCA и LDA

Отличие PCA от LDA

5. Active Appearance Models (AAM) и Active Shape Models (ASM) ()

Пример разметки изображения лица из 68 точек, образующих форму AAM.

Процедура обучения AAM начинается с нормализации форм на размеченных изображениях с целью компенсации различий в масштабе, наклоне и смещении. Для этого используется так называемый обобщенный Прокрустов анализ.

Координаты точек формы лица до и после нормализации

Из всего множества нормированных точек затем выделяются главные компоненты с использованием метода PCA.

Модель формы AAM состоит из триангуляционной решетки s0 и линейной комбинации смещений si относительно s0

Далее из пикселей внутри треугольников, образуемых точками формы, формируется матрица, такая что, каждый ее столбец содержит значения пикселей соответствующей текстуры. Стоит отметить, что используемые для обучения текстуры могут быть как одноканальными (градации серого), так и многоканальными (например, пространство цветов RGB или другое). В случае многоканальных текстур векторы пикселов формируются отдельно по каждому из каналов, а потом выполняется их конкатенация. После нахождения главных компонент матрицы текстур модель AAM считается обученной.

Модель внешнего вида AAM состоит из базового вида A0, определенного пикселями внутри базовой решетки s0 и линейной комбинации смещений Ai относительно A0

Пример конкретизации AAM. Вектор параметров формы
p=(p_1,p_2,〖…,p〗_m)^T=(-54,10,-9.1,…)^T используется для синтеза модели формы s, а вектор параметров λ=(λ_1,λ_2,〖…,λ〗_m)^T=(3559,351,-256,…)^Tдля синтеза внешнего вида модели. Итоговая модель лица 〖M(W(x;p))〗^ получается как комбинация двух моделей – формы и внешнего вида.

Подгонка модели под конкретное изображение лица выполняется в процессе решения оптимизационной задачи, суть которой сводится к минимизации функционала

Методом градиентного спуска. Найденные при этом параметры модели и будут отражать положение модели на конкретном изображении.

Пример подгонки модели на конкретное изображение за 20 итераций процедуры градиентного спуска.

С помощью AAM можно моделировать изображения объектов, подверженных как жесткой, так и нежесткой деформации. ААМ состоит из набора параметров, часть которых представляют форму лица, остальные задают его текстуру. Под деформации обычно понимают геометрическое преобразование в виде композиции переноса, поворота и масштабирования. При решении задачи локализации лица на изображении выполняется поиск параметров (расположение, форма, текстура) ААМ, которые представляют синтезируемое изображение, наиболее близкое к наблюдаемому. По степени близости AAM подгоняемому изображению принимается решение – есть лицо или нет.

Active Shape Models (ASM)

Суть метода ASM заключается в учете статистических связей между расположением антропометрических точек. На имеющейся выборке изображений лиц, снятых в анфас. На изображении эксперт размечает расположение антропометрических точек. На каждом изображении точки пронумерованы в одинаковом порядке.

Пример представления формы лица с использованием 68 точек

Для того чтобы привести координаты на всех изображениях к единой системе обычно выполняется т.н. обобщенный прокрустов анализ, в результате которого все точки приводятся к одному масштабу и центрируются. Далее для всего набора образов вычисляется средняя форма и матрица ковариации. На основе матрицы ковариации вычисляются собственные вектора, которые затем сортируются в порядке убывания соответствующих им собственных значений. Модель ASM определяется матрицей Φ и вектором средней формы s ̅.
Тогда любая форма может быть описана с помощью модели и параметров:

Локализации ASM модели на новом, не входящем в обучающую выборку изображении осуществляется в процессе решения оптимизационной задачи.

а) б) в) г)
Иллюстрация процесса локализации модели ASM на конкретном изображении: а) начальное положение б) после 5 итераций в) после 10 итераций г) модель сошлась

Однако все же главной целью AAM и ASM является не распознавание лиц, а точная локализация лица и антропометрических точек на изображении для дальнейшей обработки.

Практически во всех алгоритмах обязательным этапом, предваряющим классификацию, является выравнивание, под которым понимается выравнивание изображения лица во фронтальное положение относительно камеры или приведение совокупности лиц (например, в обучающей выборке для обучения классификатора) к единой системе координат. Для реализации этого этапа необходима локализация на изображении характерных для всех лиц антропометрических точек – чаще всего это центры зрачков или уголки глаз. Разные исследователи выделяют разные группы таких точек. В целях сокращения вычислительных затрат для систем реального времени разработчики выделяют не более 10 таких точек .

Модели AAM и ASM как раз и предназначены для того чтобы точно локализовать эти антропометрические точки на изображении лица.

6. Основные проблемы, связанные с разработкой систем распознавания лиц

Проблема освещенности

Проблема положения головы (лицо – это, все же, 3D объект).

С целью оценки эффективности предложенных алгоритмов распознавания лиц агентство DARPA и исследовательская лаборатория армии США разработали программу FERET (face recognition technology).

В масштабных тестах программы FERET принимали участие алгоритмы, основанные на гибком сравнении на графах и всевозможные модификации метода главных компонент (PCA). Эффективность всех алгоритмов была примерно одинаковой. В этой связи трудно или даже невозможно провести четкие различия между ними (особенно если согласовать даты тестирования). Для фронтальных изображений, сделанных в один и тот же день, приемлемая точность распознавания, как правило, составляет 95%. Для изображений, сделанных разными аппаратами и при разном освещении, точность, как правило, падает до 80%. Для изображений, сделанных с разницей в год, точность распознавания составило примерно 50%. При этом стоит заметить, что даже 50 процентов - это более чем приемлемая точность работы системы подобного рода.

Ежегодно FERET публикует отчет о сравнительном испытании современных систем распознавания лиц на базе лиц более одного миллиона. К большому сожалению в последних отчетах не раскрываются принципы построения систем распознавания, а публикуются только результаты работы коммерческих систем. На сегодняшний день лидирующей является система NeoFace разработанная компанией NEC.

Список литературы (гуглится по первой ссылке)

Если вы использовали в последние 10 лет какую-либо фотографию, то вы, вероятно, видели, как действует обнаружение лиц:

Обнаружение лиц - великое дело для фотокамер. Если камера может автоматически обнаруживать лица, то можно быть уверенным, что все лица окажутся в фокусе, прежде чем будет сделан снимок. Но мы будем использовать это для другой цели - нахождение областей изображения, которые надо передать на следующий этап нашего конвейера.

Обнаружение лица стало господствующей тенденцией в начале 2000-х годов, когда Пол Виола и Майкл Джонс изобрели способ обнаруживать лица , который был достаточно быстрым, чтобы работать на дешёвых камерах. Однако сейчас существуют намного более надёжные решения. Мы собираемся использовать метод, открытый в 2005 году , - гистограмма направленных градиентов (коротко, HOG ).

Для обнаружения лиц на изображении мы сделаем наше изображение чёрно-белым, т.к. данные о цвете не нужны для обнаружения лиц:

Затем мы рассмотрим каждый отдельный пиксель на нашем изображении последовательно. Для каждого отдельного пикселя следует рассмотреть его непосредственное окружение:

Нашей целью является выделить, насколько тёмным является текущий пиксель по сравнению с пикселями, прямо примыкающими к нему. Затем проведём стрелку, показывающую направление, в котором изображение становится темнее:

При рассмотрении этого одного пикселя и его ближайших соседей видно, что изображение темнеет вверх вправо.

Если повторить этот процесс для каждого отдельного пикселя на изображении, то, в конечном итоге, каждый пиксель будет заменён стрелкой. Эти стрелки называют градиентом , и они показывают поток от света к темноте по всему изображению:

Может показаться, что результатом является нечто случайное, но есть очень хорошая причина для замены пикселей градиентами. Когда мы анализируем пиксели непосредственно, то у тёмных и светлых изображений одного и того же человека будут сильно различающиеся значения интенсивности пикселей. Но если рассматривать только направление изменения яркости, то как тёмное, так и светлое изображения будут иметь совершенно одинаковое представление. Это значительно облегчает решение проблемы!

Но сохранение градиента для каждого отдельного пикселя даёт нам способ, несущий слишком много подробностей. Мы, в конечном счёте, не видим леса из-за деревьев . Было бы лучше, если бы мы могли просто видеть основной поток светлого/тёмного на более высоком уровне, рассматривая таким образом базовую структуру изображения.

Для этого разбиваем изображение на небольшие квадраты 16х16 пикселей в каждом. В каждом квадрате следует подсчитать, сколько градиентных стрелок показывает в каждом главном направлении (т.е. сколько стрелок направлено вверх, вверх-вправо, вправо и т.д.). Затем рассматриваемый квадрат на изображении заменяют стрелкой с направлением, преобладающим в этом квадрате.

В конечном результате мы превращаем исходное изображение в очень простое представление, которое показывает базовую структуру лица в простой форме:

Исходное изображение преобразовано в HOG-представление, демонстрирующее основные характеристики изображения независимо от его яркости.

Чтобы обнаружить лица на этом HOG-изображении, всё, что требуется от нас, это найти такой участок изображения, который наиболее похож на известную HOG-структуру, полученную из группы лиц, использованной для обучения:

Используя этот метод, можно легко находить лица на любом изображении:

Если есть желание выполнить этот этап самостоятельно, используя Python и dlib, то имеется программа , показывающая, как создавать и просматривать HOG-представления изображений.

Шаг 2. Расположение и отображение лиц

Люди могут легко увидеть, что оба изображения относятся к актёру Уиллу Ферреллу, но компьютеры будут рассматривать их как лица двух разных людей.

Чтобы учесть это, попробуем преобразовывать каждое изображение так, чтобы глаза и губы всегда находились на одном и том же месте изображения. Сравнение лиц на дальнейших шагах будет значительно упрощено.

Для этого используем алгоритм, называемый «оценка антропометрических точек» . Есть много способов сделать это, но мы собираемся использовать подход, предложенный в 2014 году Вахидом Кэземи и Джозефином Салливаном .

Основная идея в том, что выделяется 68 специфических точек (меток ), имеющихся на каждом лице, - выступающая часть подбородка, внешний край каждого глаза, внутренний край каждой брови и т.п. Затем происходит настройка алгоритма обучения машины на поиск этих 68 специфических точек на каждом лице:

68 антропометрических точек мы располагаем на каждом лице

Ниже показан результат расположения 68 антропометрических точек на нашем тестовом изображении:

СОВЕТ ПРОФЕССИОНАЛА НОВИЧКУ: этот же метод можно использовать для ввода вашей собственной версии 3D-фильтров лица реального времени в Snapchat!

Теперь, когда мы знаем, где находятся глаза и рот, мы будем просто вращать, масштабировать и сдвигать изображение так, чтобы глаза и рот оказались отцентрованы как можно лучше. Мы не будем вводить какие-либо необычные 3D-деформации, поскольку они могут исказить изображение. Мы будет делать только базовые преобразования изображения, такие как вращение и масштабирование, которые сохраняют параллельность линий (т.н. аффинные преобразования):

Теперь независимо от того, как повёрнуто лицо, мы можем отцентровать глаза и рот так, чтобы они были примерно в одном положении на изображении. Это сделает точность нашего следующего шага намного выше.

Если у вас есть желание попытаться выполнить этот шаг самостоятельно, используя Python и dlib, то имеется программа для нахождения антропометрических точек и программа для преобразования изображения на основе этих точек .

Шаг 3. Кодирование лиц

Простейшим подходом к распознаванию лиц является прямое сравнение неизвестного лица, обнаруженного на шаге 2, со всеми уже отмаркированными лицами. Если мы найдём уже отмаркированное лицо, очень похожее на наше неизвестное, то это будет означать, что мы имеем дело с одним и тем же человеком. Похоже, очень хорошая идея, не так ли?

На самом деле при таком подходе возникает огромная проблема. Такой сайт как Фейсбук с миллиардами пользователей и триллионами фотографий не может достаточно циклично просматривать каждое ранее отмаркированное лицо, сравнивая его с каждой новой загруженной картинкой. Это потребовало бы слишком много времени. Необходимо распознавать лица за миллисекунды, а не за часы.

Нам требуется научиться извлекать некоторые базовые характеристики из каждого лица. Затем мы могли бы получить такие характеристики с неизвестного лица и сравнить с характеристиками известными лиц. Например, можно обмерить каждое ухо, определить расстояние между глазами, длину носа и т.д. Если вы когда-либо смотрели телесериал о работе сотрудников криминалистической лаборатории Лас-Вегаса («C.S.I.: место преступления»), то вы знаете, о чём идёт речь:

Как в кино! Так похоже на правду!

Самый надёжный метод обмерить лицо

Оказывается, что характеристики, представляющиеся очевидными для нас, людей, (например, цвет глаз) не имеют смысла для компьютера, анализирующего отдельные пиксели на изображении. Исследователи обнаружили, что наиболее адекватным подходом является дать возможность компьютеру самому определить характеристики, которые надо собрать. Глубинное обучение позволяет лучше, чем это могут сделать люди, определить части лица, важные для его распознавания.

Решение состоит в том, чтобы обучить глубокую свёрточную нейронную сеть (именно это мы делали в выпуске 3). Но вместо обучения сети распознаванию графических объектов, как мы это делали последний раз, мы теперь собираемся научить её создавать 128 характеристик для каждого лица.

Процесс обучения действует при рассмотрении 3-х изображений лица одновременно:

1. Загрузите обучающее изображение лица известного человека

2. Загрузите другое изображение лица того же человека

3. Загрузите изображение лица какого-то другого человека

Затем алгоритм рассматривает характеристики, которые он в данный момент создаёт для каждого из указанных трёх изображений. Он слегка корректирует нейронную сеть так, чтобы характеристики, созданные ею для изображений 1 и 2, оказались немного ближе друг к другу, а для изображений 2 и 3 - немного дальше.

Единый «строенный» шаг обучения:

После повтора этого шага миллионы раз для миллионов изображений тысяч разных людей нейронная сеть оказывается в состоянии надёжно создавать 128 характеристик для каждого человека. Любые десять различных изображений одного и того же человека дадут примерно одинаковые характеристики.

Специалисты по обучению машин называют эти 128 характеристик каждого лица набором характеристик (признаков) . Идея сведения сложных исходных данных, таких как, например, изображение, к списку генерируемых компьютером чисел оказалась чрезвычайно перспективной в обучении машин (в частности, для переводов). Такой подход для лиц, который мы используем, был предложен в 2015 году исследователями из Гугл , но существует много аналогичных подходов.

Кодировка нашего изображения лица

Но если сеть обучена, то можно создавать характеристики для любого лица, даже для того, которое ни разу не видели раньше! Таким образом, этот шаг требуется сделать лишь один раз. К счастью для нас, добрые люди на OpenFace уже сделали это и предоставили доступ к нескольким прошедшим обучение сетям , которые мы можем сразу же использовать. Спасибо Брендону Амосу и команде!

В результате всё, что требуется от нас самих, это провести наши изображения лиц через их предварительно обученную сеть и получить 128 характеристик для каждого лица. Ниже представлены характеристики для нашего тестового изображения:

Но какие конкретно части лица эти 128 чисел описывают? Оказывается, что мы не имеем ни малейшего представления об этом. Однако на самом деле это не имеет значения для нас. Нас должно заботить лишь то, чтобы сеть выдавала примерно одни и те же числа, анализируя два различных изображения одного и того же человека.

Если есть желание попробовать выполнить этот шаг самостоятельно, то OpenFace предоставляет Lua-скрипт , создающий наборы характеристик всех изображений в папке и записывающий их в csv-файл. Можно запустить его так, как показано .

Шаг 4. Нахождение имени человека после кодировки лица

Это можно сделать, используя любой базовый алгоритм классификации обучения машин. Какие-либо особые приёмы глубинного обучения не требуются. Мы будем использовать простой линейный SVM-классификатор , но могут быть применены и многие другие алгоритмы классификации.

От нас потребуется только обучить классификатор, который сможет взять характеристики нового тестового изображения и сообщить, какое известное лицо имеет наилучшее соответствие. Работа такого классификатора занимает миллисекунды. Результатом работы классификатора является имя человека!

Опробуем нашу систему. Прежде всего я обучил классификатор, используя наборы характеристики от примерно 20 изображений Уилла Феррелла, Чеда Смита и Джимми Фэлона:

О, эти восхитительные картинки для обучения!

Затем я прогнал классификатор на каждом кадре знаменитого видеоролика на Youtube, где на шоу Джимми Фэлона Уилл Феррелл и Чед Смит прикидываются друг другом :

Сработало! И смотрите, как великолепно это сработало для лиц с самых разных направлений - даже в профиль!

Самостоятельное выполнение всего процесса

1. Обработайте картинку, используя HOG-алгоритм, чтобы создать упрощённую версию изображения. На этом упрощённом изображении найдите тот участок, который более всего похож на созданное HOG-представление лица.

2. Определите положение лица, установив главные антропометрические точки на нём. После позиционирования этих антропометрических точек используйте их для преобразования изображения с целью центровки глаз и рта.

3. Пропустите отцентрованное изображение лица через нейронную сеть, обученную определению характеристик лица. Сохраните полученные 128 характеристик.

4. Просмотрев все лица, характеристики которых были сняты раньше, определите человека, характеристики лица которого наиболее близки к полученным. Дело сделано!

Теперь, когда вы знаете, как всё это работает, просмотрите инструкции с самого начала до конца, как провести весь процесс распознавания лица на вашем собственном компьютере, используя OpenFace :

Прежде чем начать

Docker pull bamos/openface docker run -p 9000:9000 -p 8000:8000 -t -i bamos/openface /bin/bash cd /root/openface

Совет профессионала новичку: если вы используете Docker на OSX, то можно сделать папку OSX/Users/ видимой внутри контейнерного изображения, как показано ниже:

Docker run -v /Users:/host/Users -p 9000:9000 -p 8000:8000 -t -i bamos/openface /bin/bash cd /root/openface

Затем можно выйти на все ваши OSX-файлы внутри контейнерного изображения на /host/Users/…

Ls /host/Users/

Шаг 1

Mkdir training-images

Шаг 2

Mkdir ./training-images/will-ferrell/ mkdir ./training-images/chad-smith/ mkdir ./training-images/jimmy-fallon/

Шаг 3

Шаг 4

Сначала должны быть выполнены обнаружение положения и выравнивание:

./util/align-dlib.py ./training-images/ align outerEyesAndNose ./aligned-images/ --size 96

В результате будет создана новая подпапка./aligned-images/ с обрезанной и выровненной версией каждого из ваших тестовых изображений.

Затем создайте представления из выровненных изображений:

./batch-represent/main.lua -outDir ./generated-embeddings/ -data ./aligned-images/

Подпапка./generated-embeddings/ будет содержать csv-файл с наборами характеристик для каждого изображения.

Проведите обучение вашей модели обнаружения лица:

./demos/classifier.py train ./generated-embeddings/

Будет создан новый файл с именем./generated-embeddings/classifier.pk . Этот файл содержит SVM-модель, которая будет использоваться для распознавания новых лиц.

С этого момента у вас появляется работающий распознаватель лиц!

Шаг 5. Распознаём лица!

./demos/classifier.py infer ./generated-embeddings/classifier.pkl your_test_image.jpg

Вы должны получить примерно такое предупреждение:

=== /test-images/will-ferrel-1.jpg === Predict will-ferrell with 0.73 confidence.

Здесь, если пожелаете, можете настроить python-скрипт./demos/classifier.py .

Важные замечания:

Если результаты неудовлетворительные, то попытайтесь добавить ещё несколько изображений для каждого человека на шаге 3 (особенно изображения с разных направлений).

Данный скрипт будет всегда выдавать предупреждение, даже если он не знает это лицо. При реальном использовании необходимо проверить степень уверенности и убрать предупреждения с низким значением степени уверенности, поскольку они, скорее всего, неправильные.

Юбилейный iPhone X получил одну из самых неординарных фишек среди конкурентов. Флагман умеет распознавать лицо владельца, а вместо Touch ID и кнопки «Домой» инженеры интегрировали камеру TrueDepth и функцию Face ID.

Быстро, моментально и без необходимости вводить пароли. Так можно разблокировать iPhone X уже сегодня.

Apple известна тем, что всегда смотрит в технологическое будущее намного раньше, чем очередная функция становится стандартом. В случае с iPhone X и сканером лица компания уверена, что за распознаванием лиц будущее.

Разберемся, заблуждается ли Apple или наши лица – это верный пропуск в цифровое будущее.

😎 Рубрика «Технологии» выходит каждую неделю при поддержке re:Store .

Так как работает распознавание лиц?

Для работы технологии распознавания лиц нужно несколько составляющих. Во-первых, сам сервер, на котором будет храниться и база данных, и подготовленный алгоритм сравнения.

Во-вторых, продуманная и натренированная нейросеть, которой скормили миллионы снимков с пометками. Обучают такие сети просто. Загружают снимок и представляют его системе: «Это Виктор Иванов», затем следующий.

Нейронная сеть самостоятельно распределяет векторы признаков и находит геометрические закономерности лица таким образом, чтобы затем самостоятельно узнать Виктора из тысяч других фотографий.

В той же технологии FaceN, о которой мы поговорим ниже, используется около 80 различных числовых признаков-характеристик.

Почему про распознавание лиц внезапно заговорили?

В середине 2016 года интернет буквально взорвало приложение и одноименный . Используя нейронные сети, разработчики сумели воплотить в жизнь самую смелую мечту пользователей социальных сетей.

Увидев человека на улице, вы могли сфотографировать его на смартфон, отправить фото в FindFace, и через несколько секунд найти его страничку во «ВКонтакте». Алгоритм совершенствовался, допиливался и все лучше и лучше распознавал лица.

А начиналось все с распознавания пород собак по фотографии. Автор технологии распознавания FaceN и приложения Magic Dog, Артем Кухаренко. Парень быстро смекнул, что за этой технологией будущее и приступил к разработке.

После успеха приложения FindFace, основатель компании-разработчика N-Tech.Lab Кухаренко в очередной раз убедился в том, что распознавание лиц интересно практически в любой отрасли:

В мае 2016 года N-Tech.Lab приступило к тестированию сервиса совместно с правительством Москвы. По всей территории столицы разместили десятки тысяч камер, которые в режиме реального времени опознавали прохожих.

Трустори. Вы просто проходите по двору, в котором установлена подобная камера. К ней подключена база преступников и пропавших людей. В случае, если алгоритм определяет, что вы схожи с подозреваемым, сотрудник полиции тут же получает предупреждение.

Разумеется, человека тут же можно найти в социальной сети и пробить по любым базам. А теперь представьте, что такие камеры установлены по периметру всего города. Скрыться злоумышленнику не удастся. Камеры есть везде: во дворах, на подъездах, на трассах.

А как дела с распознаванием лиц в России

Вы удивитесь, но с середины 2016 года градоначальники Москвы активно внедряют систему распознавания лиц по всей территории города.

На сегодняшний день только на подъездах московских многоэтажек установлено более 100 тысяч камер , умеющих распознавать лица. Более 25 тысяч установлены во дворах. Разумеется, точные цифры засекречены, но можете сомневаться – активный контроль распространяется быстрее, чем вы можете себе представить.

В столице системы распознавания лиц устанавливаются повсеместно: от площадей и мест большого скопления людей, до общественного транспорта. Со дня установки систем удалось задержать более десяти преступников, но это только по официальным данным.

Все камеры постоянно обмениваются информацией с Единым вычислительным центром Департамента информационных технологий. Подозрительные оповещения тут же проверяются правоохранительными органами.

И это только начало. В конце прошлого года аналогичную систему контроля стали тестировать и на улицах Санкт-Петербурга. Удобство предложенной FindN технологии в том, что вовсе необязательно устанавливать какие-то специальные камеры.

Изображение со стандартных камер видеонаблюдения поступает на обработку «умному» алгоритму и настоящая магия происходит уже там. По актуальным данным точность распознавания FindFace сегодня варьируется в пределах 73% – 75%. Разработчики уверены, что смогут добиться результата в 100% уже в ближайшее время.

Как вообще появилось распознавание лиц?

Изначально любой тип биометрической идентификации использовался исключительно внутри правоохранительных органов и служб, где безопасность в приоритете. Буквально за несколько лет измерение анатомических и физиологических характеристик для идентификации личности стало стандартом практически во всех потребительских гаджетах.

Типов биометрической аутентификации масса:

И именно последняя технология особенно интересна, поскольку имеет сразу несколько преимуществ перед другими.

Прообразом технологии распознавания лиц в XIX веке служили сперва «портреты по описанию», а позже – фотографии. Так полиция могла идентифицировать преступников. В 1965 году специально для правительства США была разработана полуавтоматическая система распознавания лиц. В 1971 к технологии вернутся, обозначив основные маркеры, необходимые для распознавания лиц, но ненадолго.

С тех пор в качестве главного биометрического идентификатора спецслужбы все же предподчитают проверенную технологию снятия отпечатков пальцев.

А все потому, что технологии не позволяли как-либо взаимодействовать с чертами лица человека. Ультраточных лазеров, инфракрасных датчиков и мощных процессоров, как и самих систем распознавания, на тот момент не было.

С появлением мощных компьютеров, практически все ведомства возвращаются к идентификации посредством сканирования лица. Бум на технологию в ведомствах и спецучреждениях приходится на середину 2000-х годов, а в прошлом году технология стала впервые использоваться и в потребительских устройствах.

Где сегодня используют технологию распознавания лиц

В смартфонах

Популяризация технологии распознавания лиц началась с флагмана Apple. iPhone X задал тренд на последующие годы и OEM-производители активно приступили к интеграции аналогов Face ID в свои устройства.

В банках

Биометрическое распознавание лиц уже не первый год используется в США. Теперь же технология добралась и до России. Только за 2017 год благодаря внедрению данной системы удалось предотвратить более 10 тысяч мошеннических сделок и сохранить сумму в размере 1,5 млрд рублей.

Распознавание лиц используется для идентификации клиента и принятия решения по возможности выдачи кредита.

В магазинах

Сегмент ритейла используют технологию по-своему. Так, если вы покупали какую-либо бытовую технику в магазине, а спустя какое-то время вернулись в него за очередными покупками, система распознавания лиц тут же идентифицирует вас еще на входе. Продавец тут же получит информацию из базы и узнает не только ваше имя, но и историю покупок. Дальнейшее поведение продавца предугадать несложно.

В жизни городов

Это именно то, ради чего разрабатывается и развивается технология. От стадионов до кинотеатров – везде, где огромное количество людей, идентификация особо важна. Сегодня технология распознавания лиц позволяет предотвратить массовые беспорядки и террористические акты.

Какие компании интересуются распознаванием лиц

Google, Facebook, Apple и прочие IT-гиганты сейчас занимаются активной скупкой проектов от разработчиков, занимающихся распознаванием лиц. Все они видят в технологии огромный потенциал.

Это лишь часть официально анонсированных сделок. На деле их намного больше. Помимо интеграции Face ID и аналогов технологии в смартфоны, у ведущих IT-компаний намного большие виды на использование распознавания лиц.

Как будет выглядеть будущее с распознаванием лиц

С тем, какие преимущества открывает технология сканирования лица в смартфонах и электронных устройствах, мы уже разобрались, то давайте заглянем в недалекое будущее и представим один день из жизни человека, который попал в город, где повсеместно установлены камера распознавания лиц.

Доброе утро! Улыбочку, на вас смотрит система «умный» дом. Мда, хозяин, выпито вчера было немало – по лицу вижу, с трудом опознала. Так, рядом супруга, в прихожей доедает вечерний корм Барсик. Посторонних нет. Замечательно.

Один взгляд на кофеварку на расстоянии «чуть ближе обычного» и ваш американо средней крепости со слегка теплым молоком готовится. Оп, кто-то у дверей! Ах, это же любимая теща. Проходите, для вас дверь открыта – ваше лицо не забудет ни одна система распознавания в мире.

Вы собрались и подходите к лифту. Нет-нет, это система распознавания уже в курсе, что вы предпочитаете садится в крайний лифт, поэтому он уже вызван.

Завидев вас издалека, 500-сильный электрокар автоматически подстроил вылет руля и подкорректировал положение кресла. Дверь открыта – присаживайтесь.

Пока производители систем автопилота безуспешно пытаются убедить законодательство в необходимости внедрения беспилотных автомобилей, старайтесь не нарушать ПДД. Камеры наблюдения повсюду, а оплата штрафа неизбежна. Ведь за рулем точно вы, и, как только вы вдавите педаль акселератора в пол, с вашей банковской карты спишется штраф за превышение скорости.

Наконец, мы у здания офиса той самой компании, которая занимается внедрением технологии распознавания лиц в инфраструктуру городов России. Да, это ваша работа. Контроль жесткий, но вам не стоит переживать – пока вы парковали машину, камеры уже узнали вас.

Работать стало сложнее: по всему периметру офиса камеры распознавания, которые «видят» кто и чем занимается, а заодно умеют читать эмоции. Короче, валять дурака на рабочем месте не выйдет.