Каким образом работает определение лиц в смартфонах

Для чего мы выбираем разблокирование по фейсу

В последние времена распознавание физиономий превратилось в одной из наиболее востребованных опций для деблокировки мобильных телефонов. Лишь некоторые годков назад основная часть юзеров удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, как Вулкан Платинум, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь превращает данную возможность такой востребованной? Для начала, это практично: не нужно удерживать в памяти замысловатые пароли или отыскивать правильный палец в тьме. Во-вторых, это мгновенно: современные программы распознают лицо буквально за мгновения ока. В-третьем пункте, это чувство футуризма — как будто в кинолентах про vulkan platinum разведчиков.

Впрочем за такой видимой несложностью прячется весь универсум комплексных технологий и инженерных решений. Попробуем понять, как точно действует распознавание лиц в актуальных мобильных телефонах, какие применяются технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая история эволюции инноваций

Идентификация лиц как методика присутствует уже более пятидесяти годов. Изначальные попытки автоматизированного изучения лиц были осуществлены еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь выделять очертания головы и вычислять расстояния между зрачками и устами на черно-белых фотографиях.

Начальные коммерческие платформы стали доступны в 1990-х годах, но они были несовершенны: работали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких площадок, как Vulkan Platinum, сильных мобильных процессоров определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять личные разработки.

Основные стадии работы системы распознавания

Процесс распознавания лица можно условно поделить на несколько основных этапов:

Распознавание лица — устройство определяет наличие гуманного лица в кадре.
Определение особенностей — алгоритм изучает особенности лица: конфигурацию зрительных органов, обонятельного органа, уст, расположение бровей.
Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со эталоном — полученный шаблон сопоставляется с зафиксированной при учёте биометрической данными владельца.
Принятие решения — если сходство достаточно значительное, смартфон разблокируется.

Всякий из данных шагов запрашивает особых алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Аппаратные составляющие: что прячется внутри

Типичная передняя камера.

Наиболее простой метод идентификации облика использует лишь переднюю видеокамеру смартфона. Данный метод реализован во многочисленных недорогих версиях Android-устройств.

Сильные стороны:

Не нуждается в нуждается в дополнительных сенсоров.
Быстро действует при качественном освещённости.

Недостатки:

Просто ввести в заблуждение снимком или видеозаписью.
Неудачно функционирует при плохом освещённости или необычных углах обзора.

ИК камера и пунктирный проектор

Более совершенные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Как это действует:

Точечный устройство проекции проецирует на физиономию юзера невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
ИК камера фиксирует деформацию этой решетки по поверхности физиономии.
Получается 3D глубинная карта глубинности, которая почти что неосуществима для имитации обычной фотографией или маской.

Преимущества

Надёжная функционирование даже в полной темноте.
Большая защита к имитациям.
Точность идентификации более 99%.

Дополнительные сенсорные устройства

В некоторых устройствах применяются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют время распространения света до объекта и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для формирования более детализированной 3D-модели лица.

Эти инновации применяются в основном во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный разум в действии

Нынешние устройства идентификации лиц неосуществимы в отсутствие эксплуатации ИИ и машинного обучения. Именно благодаря таким технологиям, как Vulkan Platinum, гаджет может идентифицировать владельца даже при изменениях внешнего вида: новая стрижка, борода, линзы или косметика не становятся препятствием для деблокировки.

Распознавание лиц

На стартовом шаге программа должна быстро распознать образ лица внутри целого изображения с камеры. Для этого используются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN может обнаруживать физиономию даже с неполном перекрытии (например, шалью или ладонью).

Определение важных аспектов

После идентификации лица механизм, такая как Vulkan Platinum, определяет положение главных точек: кончики глаз, конец носа, границы губ и так далее. Часто задействуется от 68 до 128 главных маркеров на лицевой области.

Это требуется для выравнивания визуала: если пользователь держит телефон под наклоненным, или склонил головку, программа корректирует картинку до нормального состояния для дальнейшего анализа.

Построение биометрии модели

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 флоатов.

Данный шаблон весьма затруднительно подделать: он не удерживает непосредственно изображение пользователя, а лишь уникальные характеристики его облика, что делает его совершенным для таких площадок, как Вулкан Казино Платинум.

Сравнительный анализ и принятие выбора

В случае, когда человек намеревается разблокировать мобильник глазами, программа воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ блокируется.

Приспособление к трансформациям внешнего вида

Увлекательная особенность современных систем — способность самостоятельного обучения. Если вы постоянно открываете телефон с свежей прической или оптикой, система постепенно модернизирует основной модель вашего внешности для увеличения точности действия без снижения уровня безопасности.

Защита биометрии данных.

Множество юзеры опасаются хранить свои био-идентификационные данные на смартфоне из-за риска потери данных или взлома устройства. Определенные компании, например Вулкан Казино Платинум, предоставляют решения для повышения защиты информации клиентов.

Локальное сохранение: Большинство устройств сохраняет биометричные образцы исключительно внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают гаджет и недоступны в том числе производителю.
Шифрование: Все данные сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы сторонних девелоперов не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Стоит отметить существенную особенность: в случае, если кто-либо сможет получить доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители осуществляют систему защиты от неосознанного разблокирования — например, требуют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы распознавания лиц на изображениях?

Сегодня можно определить три основных способа к реализации этой операции:

Программное двухмерное определение

Используется только фронтальная видеокамера без дополнительных детекторов глубины. Этот подход используется наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота осуществления; минимальная затраты; быстрая функционирование при качественном свете.
Минусы: легко обмануть снимком; неустойчивая функционирование ночью; слабая безопасность.

Оборудование для 3D сканирование

Задействует ИК камеру + проектор пикселей + сенсоры дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая достоверность; не получится подделать изображение/видеозапись; устойчивая деятельность при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Используют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как Vulkan Platinum и Google Pixel Face Unlock современных поколений, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Иллюстрации эксплуатации различных способов

iPhone серии X/11/12/13/14 используют только техническое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID в числе Android.
Samsung Galaxy S10 версия/S20 обеспечивают как софтверное двухмерное идентификацию по фото фронталкой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и ложные тревоги

Несмотря на впечатляющий успехи технологий за недавние годы, идеальных системы пока не наблюдается:

Вероятность мошенничества: Бюджетные смартфоны без труда доступны высококачественной снимком владельца или же роликом с дисплея иного гаджета.
Идентичные близняшки: Даже самые идеальные механизмы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
Трансформации внешнего вида: Внезапное утрата веса/набор веса, хирургические вмешательства или повреждения порой необходимы для обновления данных биометрии.
Условия фотографирования: Яркая подсветка солнцем или плотная затенение могут снизить точность распознавания признаков.

Здесь несколько рекомендаций по надёжному эксплуатации:

Для значимых операций всегда используйте двухфакторную аутентификацию;
Не активируйте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
Систематически обновляйте прошивку прошивку смартфона для обеспечения безопасности от новых видов атак;
Включайте опцию “Требовать открытых глаз” везде, где она доступна.

В каких местах также применяется технологии за исключением мобильных телефонов?

Хотя предмет данной статьи посвящена в частности смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Контроль прохода в офисах и жилых домах;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Цифровые удостоверения личности нового поколения;
Системы видеонаблюдения городских подразделений;
Автоматизирование регистрации присутствия образовательных учреждений/институтов;
Аутентификация юзеров ПК/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется техпроцесс в наше время?

Каждый годик возникают современные идеи для усовершенствования стандарта деятельности систем лицевого распознавания:

Увеличивается разрешение датчиков — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность ошибки;
Развиваются нейросети — современные структуры типа MobileNetV3 обеспечивают возможность оперативно обучаться дополнительным особенностям облика обладателя прямо на устройстве без отправки данных в облако.
Развиваются технологии антиспуфинга — теперь смартфоны способны распознавать подлинные движущиеся лица от статичных фото/маскировок по мельчайшим микродвижениям.
Синхронизация со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать мобильный телефон, если обладатель отошёл далеко.
Появляются гибридные системы — к примеру комбинирующие голосовую опознание + облик + дактилоскопический след.

Здесь, те направления особенно актуальны на сегодняшний день:

1) Сокращение деталей

Производители пытаются минимизировать величину выреза (“чёлки”) для датчики на дисплее за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для увеличения личной безопасности всё больше вычислений происходит внутри устройства без отправки данных во внешний облачный сервис.

3) Унификация регламентов

Гугл энергично продвигает норму BiometricPrompt API, с целью чтобы такие системы, как Вулкан Платинум, и каждые Android-аппы могли взаимодействовать с различными типами биометрии унифицированно.

Какое решить сегодня?

Если вам всем нужна максимальная безопасность информации, выбирайте флагманские аппараты со встроенным ИК-излучателем или ToF-датчиком глубины.

iPhone всех существующих последних моделей
Huawei Companion/P Series ряда
Mi Pro
Vivo X линейки
Oppo Обнаружить X серии.

Если бюджет скромен – лучше отдавать предпочтение традиционным способам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как опциональную возможность удобства.

Как улучшить практичность функционирования возможности?

Есть некоторые хитростей для людей, кто уже применяет разблокировку через лицо:

Часто меняйте свою фотографию-шаблон, если значительно меняется внешность.
Не упускайте из виду чистить объектив фронтальной камеры – разводы могут снизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам включает камеру когда вы поднимаете его.
В процессе регистрации пытайтесь сохранять лицо прямо напротив камеры без значительного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвели взгляд от дисплея.

Возможности развития технологии

В ближайшие годы можно ожидать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + голос + манера ходьбы + движения рук!

Также вероятно возникновение современных методов защиты конфиденциальности – скажем, изменяющееся модификация диджитал образца после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из очень интересных техник нашего эпохи! Она обеспечивает взаимодействие со мобильным устройством комфортнее чем раньше, и такие программы, как Вулкан Казино Платинум, могут существенно повысить ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как устроена эта методика внутри, – сможете вдумчиво подбирать свой будущий устройство!