Каким образом функционирует распознавание лиц в смартфонах

Зачем мы предпочитаем разблокирование по лицу

В прошлые годы распознавание лиц стало одной из самых популярных возможностей для деблокировки мобильных телефонов. Лишь некоторые годков назад большинство юзеров довольствовались PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает данную функцию настолько популярной? Для начала, это практично: не нужно помнить трудные пароли или отыскивать правильный палец в тьме. Также, это оперативно: современные алгоритмы идентифицируют лицо буквально за мгновение. В-третьем пункте, это ощущение будущего — как будто в кинолентах про адмирал х агентов.

Тем не менее за этой видимой несложностью скрывается весь универсум сложных технологий и инженерных разработок. Попробуем разобраться, как именно функционирует идентификация по лицу в современных гаджетах, какие существуют способы, насколько они безопасны и что нас ожидает в будущем.

Краткая история эволюции технологии

Распознавание лиц как технология присутствует уже более 50 лет. Первые эксперименты автоматического исследования облика были сделаны еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины умели лишь выделять контуры лица и вычислять промежутки между зрачками и ртом на черно-белых изображениях.

Первые торговые платформы появились в девяностых годах, но они были несовершенны: работали медленно и часто ошибались. Только с развитием нейронных сетей и таких платформ, как адмирал х, мощных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать личные разработки.

Главные стадии работы механизма определения

Процесс идентификации лица можно ориентировочно поделить на несколько важных этапов:

1. Идентификация лица — камера определяет существование гуманного лица в снимке.
2. Выделение признаков — механизм исследует особенности облика: конфигурацию глаз, обонятельного органа, губ, расположение бровей.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с образцом — сформированный модель сопоставляется с записанной при регистрации биометрической информацией владельца.
5. Принятие определения — если совпадение достаточно высокое, смартфон открывается.

Любой из этих этапов нуждается в особых методов и усовершенствований для скорой работы непосредственно на девайсе.

Железные составляющие: что находится внутри них

Обычная передняя камера.

Самый легкий метод определения облика задействует лишь переднюю видеокамеру смартфона. Данный способ реализован во многочисленных доступных моделях Android-устройств.

Преимущества:

• Необходимо нуждается в внешних датчиков.
• Оперативно действует при достаточном освещённости.

Минусы:

• Несложно обмануть фотографией или видео.
• Неудачно работает при слабом освещённости или нестандартных ракурсах.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Каким способом это действует:

• Точечный проектор проецирует на облик юзера невидимую решетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 меток).
• ИК камера фиксирует искривление этой сетки по поверхности лица.
• Создаётся трехмерная глубинная карта глубинности, что почти что неподвластна для фальсификации обычной снимком или маской.

Выигрыши

• Надёжная функционирование даже в полной тьме.
• Сильная устойчивость к фальсификациям.
• Точность распознавания свыше 99%.

Дополнительные сенсорные устройства

В некоторых девайсах применяются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют период движения света до объекта и обратно; Цветные-датчики глубины; специальные оптические дальномеры для создания более детализированной 3D-модели физиономии.

Эти инновации используются наиболее часто во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум в работе

Нынешние системы распознавания лиц невозможны при отсутствии применения ИИ и машинного обучения. Именно благодаря таким инновациям, как адмирал х, гаджет может узнавать пользователя даже при трансформациях внешнего вида: новая стрижка, борода, очки или грим не становятся препятствием для деблокировки.

Обнаружение лица

В начальном стадии программа обязана оперативно распознать ликовое изображение в пределах полного кадра с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать лицо даже при неполном перекрытии (например, шарфом или ладонью).

Определение важных точек

После обнаружения лица механизм, такая как адмирал х, определяет местоположение главных точек: края глаз, верхушка носа, края губ и так далее. Как правило используется от 68 до 128 основных меток на лицевой поверхности.

Это нужно для выравнивания изображения: если человек удерживает смартфон под наклоненным, или наклонил голову, программа “выпрямляет” изображение до стандартного положения для последующего изучения.

Формирование биометрии образца

Далее нейросеть строит уплотненное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Такой образец очень сложно сфальсифицировать: он не сохраняет непосредственно изображение пользователя, а лишь уникальные особенности его вида, что делает его идеальным для таких систем, как admiral-x.

Сравнение и вынесение заключения

Когда пользователь намеревается разлочить смартфон взглядом, механизм осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Привыкание к метаморфозам внешности

Интересная черта современных системы — способность самообучения. Если ты регулярно доступаете к мобильное устройство с новой укладкой или очками, система постепенно обновляет эталонный модель вашего облика для повышения точности работы без ухудшения безопасности.

Защита биометрических данных.

Множество пользователи опасаются хранить свои биометрические идентификационные данные на мобильном устройстве из-за риска утечки данных или взлома устройства. Определенные компании, такие как admiral-x, предоставляют решения для повышения безопасности данных клиентов.

• Локальное хранение: Большинство аппаратов хранит биометрические шаблоны исключительно внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из устройство и не доступны включая производителю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать подтверждение подтверждения идентичности через системный API.

Стоит подчеркнуть значимую подробность: в случае, если кто-либо достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют меры безопасности от “слепого” разблокирования — к примеру, заставляют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают категории определения лиц?

Сегодня можно выделить выделить 3 главных подхода к выполнению этой задачи:

Софтверное плоское распознавание

Используется только фронтальная камера без вспомогательных сенсоров дистанции. Этот метод используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; минимальная затраты; скоростная работа при качественном свете.
Минусы: просто одурачить снимком; нестабильная функционирование ночью; низкая охрана.

Техническое объёмное сканирование

Применяет ИК видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Достоинства: большая достоверность; нельзя обмануть изображение/видеозапись; постоянная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с ИИ-дополнением

Задействуют комбинацию программных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, как адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры использования различных методов

• iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 поддерживают как программное плоское распознавание по фото фронтальной камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Трудности защиты и неверные тревоги

Несмотря на поразительный успехи техники за прошедшие лет, безупречных системы пока не имеется:

1. Шанс обмана: Бюджетные мобильники легко “разблокируются” качественной снимком хозяина или видеозаписью с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные системы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
3. Метаморфозы внешности: Резкое похудение/увеличение массы тела, пластические операции либо повреждения иногда необходимы для повторной регистрации биометрии.
4. Условия съёмки: Интенсивная освещённость солнечным светом или плотная темнота могут уменьшить аккуратность распознавания признаков.

Ниже некоторые советов для защищённому применению:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не запускайте возможность “Разблокировка по лицу” на дешёвых моделях без ИК-сенсоров;
• Постоянно обновляйте ПО смартфона для обеспечения безопасности от новых видов атак;
• Включайте функцию “Требовать раскрытых глаз” там, где она доступна.

Где ещё используется технология помимо мобильных телефонов?

Хотя основная мысль данной статьи посвящена конкретно смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:

• Контроль прохода в рабочих помещениях и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые идентификационные документы последнего типа;
• Комплексы видеоконтроля муниципальных сервисов;
• Автоматизирование учёта явки школ/институтов;
• Аутентификация пользователей компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или телефона! Аналогичные инициативы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технический процесс в нынешнее время?

Любой годик появляются современные идеи для усовершенствования качества функционирования систем лицевого распознавания:

1. Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются искусственные интеллекты — современные архитектуры модели MobileNetV3 обеспечивают возможность быстро осваивать дополнительным особенностям внешности обладателя непосредственно на девайсе без отправки данных в облако.
3. Совершенствуются технологии антиспуфинга — теперь мобильные устройства умеют различать подлинные анимированные лица от фиксированных снимков/маскировок по незаметным микродвижениям.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать мобильный телефон, если пользователь отошёл далеко.
5. Возникают смешанные механизмы — например объединяющие речевую опознание + физиономию + дактилоскопический след.

Здесь, которые направления особенно актуальны в данный момент:

1) Сокращение деталей

Компании пытаются сократить величину прорези (“чёлки”) для сенсоры на экране за счёт встраивания миниатюрных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения личной безопасности всё больше обработки данных выполняется на месте без передачи информации во дополнительный облачный услугу.

3) Стандартизация стандартов

Google активно пропагандирует эталон BiometricPrompt API, чтобы аналогичные системы, вроде admiral x, и все Android-программы могли взаимодействовать с всеми формами биометрии единообразно.

Какое решить сегодня?

В случае если тебе необходима наивысшая защита информации, остановите выбор на топовые устройства с интегрированным ИК-проектором или ToF-сенсором глубины.

• iPhone каждого актуальных поколений
• Huawei Companion/Series P серии
• Mix Professional
• Vivo X серии
• Оппо Обнаружить Х линейки.

Если средства невелик – лучше отдавать предпочтение традиционным средствам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную возможность удобства.

Каким образом увеличить комфорт использования опции?

Есть несколько лайфхаков для тех, кто уже пользуется функцию распознавания лица:

1. Периодически меняйте свою фото-шаблон, если кардинально изменяется внешность.
2. Не упускайте из виду чистить линзу фронтальной камеры – загрязнения могут снизить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает камеру когда вы берёте его в руки.
4. Во время регистрационного процесса пытайтесь сохранять лицо неподвижно напротив видеоустройства исключая резкого наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от дисплея.

Будущее развития техники

В ближайшие периоды можно ожидать возникновения полностью бесконтактных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + манера ходьбы + движения рук!

Также вероятно развитие новых методов обеспечения конфиденциальности – к примеру, динамическое корректировка цифрового образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень увлекательных техник нашего эпохи! Она предоставляет общение со телефоном проще чем до этого, и такие приложения, как admiral-x, могут существенно улучшить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы знаете, как функционирует эта методика изнутри, – сумеете осознаннее определять свой следующий устройство!