Каким способом работает распознавание лиц в мобильных устройствах

Почему мы предпочитаем разблокирование по лицу

В последние годы определение лиц превратилось в одной из самых популярных опций для деблокировки смартфонов. Еще некоторые лет тому назад большинство пользователей удовлетворялись пин-кодами, паролями или сканерами отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь обуславливает эту возможность очень нужной? Во-первых, это практично: не нужно удерживать в памяти сложные пароли или искать верный палец в темноте. Во-вторых, это оперативно: современные алгоритмы узнают лицо практически за доли секунды. В-третьих, это впечатление футуристичности — как будто в кинофильмах про Вулкан казино шпионов.

Однако за этой кажущейся несложностью скрывается весь универсум сложных техник и инженерных разработок. Позвольте нам исследовать, как именно действует фейсканирование в современных гаджетах, какие существуют методы, насколько они безопасны и что нас ожидает в будущем.

Сжатая хроника развития инноваций

Идентификация лиц как методика существует уже более 50 годов. Начальные пробы автоматического анализа лица были предприняты еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ умели лишь определять силуэты черепа и вычислять промежутки между зрачками и ртом на ахроматических изображениях.

Первые коммерческие платформы появились в 90-х, но они были неидеальны: функционировали медленно и нередко ошибались. Только с развитием нейронных сетей и таких систем, как Vulkan Platinum, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять свои разработки.

Основные шаги работы системы определения

Процесс идентификации лица можно примерно разделить на несколько важных этапов:

Идентификация лиц — камера определяет присутствие людского лица в кадре.
Извлечение характеристик — система исследует черты облика: форму глаз, носа, уст, позицию надбровных дуг.
Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со образцом — созданный модель сверяется со зафиксированной при регистрации биометрической данными владельца.
Принятие решения — если сходство достаточно высокое, смартфон открывается.

Каждый из данных шагов требует индивидуальных методов и усовершенствований для быстрой работы непосредственно на девайсе.

Железные составляющие: что находится в их недрах

Стандартная передняя камера.

Самый несложный метод распознавания облика использует лишь переднюю видеокамеру мобильного устройства. Данный метод внедрён во различных недорогих версиях Android-устройств.

Сильные стороны:

Не требует дополнительных датчиков.
Оперативно работает при хорошем освещении.

Слабые стороны:

Просто ввести в заблуждение изображением или видеозаписью.
Неправильно работает при слабом освещении или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Каким образом это работает:

Точечный проекционный прибор показывает на физиономию юзера невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 меток).
ИК устройство фиксирует искривление этой сетки по поверхности физиономии.
Создаётся трёхмерная карта глубинности, которая почти неосуществима для подделки обычной снимком или маской.

Преимущества

Надёжная функционирование даже в полной темноте.
Сильная устойчивость к фальсификациям.
Точность распознавания выше 99%.

Дополнительные сенсоры

В некоторых аппаратах применяются также экстра датчики: ToF (Time-of-Flight), которые фиксируют время движения луча до цели и обратно; Трехцветные-датчики дальности; специальные оптические лидары для построения более точной 3D-модели физиономии.

Эти инновации используются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический разум на работе

Современные системы распознавания лиц невозможны в отсутствие эксплуатации ИИ и machine learning. Именно из-за таким технологиям, как Vulkan Platinum, устройство способно распознавать пользователя даже при изменениях внешности: новая стрижка, щетина, оптика или косметика не становятся препятствием для деблокировки.

Распознавание физиономии

При начальном шаге система обязана оперативно обнаружить образ лица среди целого кадра камеры. Для данной цели используются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы находить человеческие лица среди множества других объектов.

Пример: процесс MTCNN может распознавать лицо даже с частичном перекрытии (например, шалью или рукой).

Выделение основных аспектов

После распознавания лица система, такая как Vulkan Platinum, определяет местоположение ключевых точек: уголки глаз, кончик носа, контуры губ и так далее. Часто применяется от 68 до 128 ключевых точек на лицевой области.

Это действие требуется для выравнивания визуала: если пользователь удерживает телефон под наклоном, или повернул голову, программа исправляет картинку до нормального состояния для дальнейшего анализа.

Построение биометрического модели

Далее нейросеть строит компактное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Такой шаблон крайне затруднительно сфальсифицировать: он не хранит само картинку пользователя, а лишь исключительные особенности его облика, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и вынесение решения

Если пользователь желает разблокировать телефон взглядом, механизм воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ блокируется.

Приспособление к метаморфозам внешнего вида

Увлекательная черта современных систем — возможность самообучения. Если ты постоянно открываете смартфон с обновленной стрижкой или очками, алгоритм постепенно освежает основной шаблон вашего облика для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрических данных.

Множество клиенты опасаются сохранять свои биометрические идентификационные данные на телефоне из-за угрозы утечки данных или взлома гаджета. Некоторые фирмы, такие как Вулкан Казино Платинум, предоставляют варианты для увеличения безопасности информации пользователей.

Локальное хранение: Большинство девайсов хранит биометрические шаблоны лишь внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и недоступны даже изготовителю.
Шифрование: Все сведения хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения третьих разработчиков не обладают прямого доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Следует упомянуть существенную деталь: если кто-то получит доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют систему защиты от “слепого” разблокирования — например, заставляют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются виды определения лиц на изображениях?

На сегодняшний день можно выделить три основных подхода к осуществлению этой задачи:

Программное двухмерное распознавание

Используется только лицевая камера без дополнительных датчиков глубины. Такой подход используется чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; низкая цена; скоростная функционирование при достаточном свете.
Минусы: несложно ввести в заблуждение фотографией; нестабильная работа ночью; низкая безопасность.

Техническое объёмное оцифровка

Использует ИК видеокамеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Плюсы: большая надёжность; нельзя исказить изображение/видеозапись; постоянная деятельность при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например Vulkan Platinum и Google Pixel Face Unlock современных поколений, сочетают фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации эксплуатации разных способов

iPhone серии X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 обеспечивают как софтверное плоское идентификацию по изображению селфи-камерой, так и сканер глазного ириса.
Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы охраны и неверные срабатывания

Несмотря на замечательный успехи технологий за последние годы, совершенных системы пока не наблюдается:

Возможность обмана: Бюджетные смартфоны без труда открываются четкой изображением пользователя или видеозаписью с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные механизмы могут перепутать между монозиготными близнецами либо родственниками с очень схожей внешностью.
Метаморфозы облика: Резкое снижение веса/увеличение массы тела, косметические процедуры или повреждения иногда требуют обновления данных биометрических данных.
Условия записи: Яркая освещённость солнцем или же плотная темнота могут снизить верность идентификации признаков.

Вот несколько рекомендаций для безопасному использованию:

Для важных операций всегда используйте двухэтапную аутентификацию;
Не включайте опцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку программное обеспечение телефона для защиты от актуальных атак;
Включайте настройку “Требовать распахнутых глаз” везде, где она имеется.

Где дополнительно применяется технологии кроме смартфонов?

Несмотря на то, что основная мысль нашей публикации касается именно смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

Мониторинг прохода в офисах и резиденциях;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Цифровые паспорта нового образца;
Комплексы видеоконтроля муниципальных подразделений;
Автоматизация регистрации явки образовательных учреждений/вузов;
Авторизация юзеров компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Похожие проекты осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется технология в нынешнее время?

Каждый год появляются современные идеи для улучшения стандарта деятельности систем распознавания лиц:

Увеличивается разрешение датчиков — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность неточности;
Развиваются нейросети — современные конструкции типа MobileNetV3 дают возможность скоростно адаптироваться к дополнительным характеристикам внешности обладателя прямо на устройстве без пересылки информации в облачное хранилище.
Развиваются способы антиспуфинга — теперь мобильные устройства могут распознавать реальные живые лица от неподвижных снимков/маскировок по мельчайшим движениям кожи.
Синхронизация со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к телефон, если владелец удалился на значительное расстояние.
Возникают гибридные устройства — к примеру совмещающие аудио аутентификацию + лицо + пальцевой отпечаток.

Итак, какие тенденции в особенности востребованы в данный момент:

1) Миниатюризация компонентов

Производители намереваются уменьшить габариты выреза (“чёлки”) для датчики на экране за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для повышения конфиденциальности всё больше расчётов выполняется внутри устройства без отправки информации во сторонний облачный услугу.

3) Упорядочивание стандартов

Гугл энергично продвигает норму BiometricPrompt API, для того чтобы такие системы, как Вулкан Платинум, и любые Android-программы были совместимы с различными типами биометрии унифицированно.

Какое решить сегодня?

Если вам всем важна максимальная безопасность информации, остановите выбор на флагманские устройства с вмонтированным ИК-проектором либо ToF-датчиком глубины.

iPhone всех существующих новейших версий
Huawei Mate/P Series серии
Mix Professional
Vivo X серии
Oppo Найти Х серий.

Если средства невелик – лучше отдавать предпочтение классическим средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как опциональную опцию удобства.

Как повысить комфорт функционирования опции?

Есть некоторые советов для пользователей, кто уже использует функцию распознавания лица:

Периодически меняйте свою фотографию-шаблон, если кардинально изменяется облик.
Не упускайте из виду протирать линзу фронтальной камеры – загрязнения могут снизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам запускает камеру если вы берёте его в руки.
Во время регистрационного процесса старайтесь сохранять голову неподвижно впереди камеры не допуская значительного наклона головы.
Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от экрана.

Возможности развития техники

В скоро наступающие времена можно предвкушать возникновения полностью безконтактных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + звучание + походка + жесты рук!

Также предполагается возникновение свежих способов обеспечения личной информации – к примеру, динамическое изменение цифрового паттерна после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из самых увлекательных технологий нашего времени! Она предоставляет взаимодействие со смартфоном комфортнее чем раньше, и такие приложения, как Вулкан Казино Платинум, могут значительно улучшить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как функционирует эта технология изнутри, – будете в состоянии более осмысленно подбирать свой очередной девайс!