Каким образом функционирует определение лицевых образов в телефонах

Зачем мы выбираем разблокировку по фейсу

В прошлые времена определение физиономий стало одной из наиболее востребованных возможностей для открытия умных телефонов. Лишь пару лет назад большинство пользователей обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект обуславливает эту особенность такой востребованной? Прежде всего, это комфортно: не нужно запоминать замысловатые пароли или отыскивать правильный палец в мраке. Кроме того, это быстро: современные системы узнают лицо практически за мгновение. В-третьих, это чувство футуристичности — словно в кинофильмах про вулкан платинум агентов.

Впрочем за этой видимой легкостью прячется весь универсум трудных техник и инженерных решений. Позвольте нам исследовать, как конкретно действует распознавание лиц в новейших мобильных телефонах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая повествование эволюции инноваций

Идентификация лиц как технология существует уже более 50 лет. Изначальные пробы машинного исследования лица были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда компьютеры умели лишь определять контуры головы и измерять дистанции между очами и ртом на черно-белых снимках.

Начальные торговые платформы возникли в 1990-х годах, но они были несовершенны: работали медленно и нередко ошибались. Только с развитием искусственных сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Основные шаги работы устройства определения

Процесс распознавания лица можно примерно поделить на несколько ключевых этапов:

Обнаружение лица — аппарат выявляет существование гуманного образа в кадре.
Определение особенностей — механизм исследует особенности физиономии: очертания глаз, обонятельного органа, уст, положение надбровных дуг.
Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение с эталоном — созданный шаблон сопоставляется со записанной при регистрации биометрической данными владельца.
Принятие определения — если соответствие достаточно значительное, смартфон разблокируется.

Любой из указанных этапов нуждается в специальных методов и усовершенствований для скорой работы непосредственно на девайсе.

Аппаратные элементы: что находится внутри них

Типичная селфи камера.

Наиболее простой вариант определения лица использует только переднюю видеокамеру мобильного устройства. Подобный способ внедрён во многих недорогих вариантах Android-устройств.

Положительные стороны:

Не потребляет дополнительных сенсоров.
Быстро работает при хорошем освещении.

Слабые стороны:

Просто одурачить изображением или роликом.
Плохо функционирует при плохом свете или непривычных ракурсах.

Инфракрасная камера и точечный проектор

Более совершенные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология лежит в основе Face ID от Apple.

Как это функционирует:

Точечный проектор отображает на физиономию юзера невидимую структуру из тысяч инфракрасных меток (например, Face ID применяет около 30 000 пятен).
ИК камера фиксирует искривление данной сетки по плоскости физиономии.
Получается трёхмерная карта глубинности, которая практически невозможна для подделки обычной снимком или маскировкой.

Преимущества

Надёжная работа даже в полной темноте.
Большая защита к фальсификациям.
Точность распознавания более 99%.

Добавочные сенсорные устройства

В отдельных девайсах задействуются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период прохождения света до цели и обратно; Трехцветные-датчики глубины; специальные лазерные дальномеры для формирования более детализированной 3D-модели лица.

Эти технологии применяются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный разум на исполнении

Нынешние системы опознания физиономий невозможны в отсутствие эксплуатации ИИ и machine learning. Именно благодаря таким технологиям, как Vulkan Platinum, устройство может узнавать владельца даже при изменениях внешности: новая укладка, растительность на лице, линзы или грим не становятся помехой для разблокировки.

Обнаружение физиономии

В первом этапе программа необходимо оперативно найти образ лица внутри целого кадра камеры. Для этого задействуются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать лицо даже с частичном перекрытии (например, шарфом или рукой).

Выделение основных точек

После распознавания лица механизм, такая как Vulkan Platinum, устанавливает положение ключевых точек: уголки глаз, кончик носа, края губ и так далее. Обычно применяется от 68 до 128 ключевых точек на лицевой поверхности.

Это нужно для стабилизации изображения: если юзер держит мобильник под наклоном, или повернул головку, программа исправляет изображение до нормального состояния для последующего изучения.

Создание биометрического идентификатора модели

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой образец весьма трудно сфальсифицировать: он не хранит непосредственно фото юзера, а лишь уникальные особенности его облика, что делает его оптимальным для таких платформ, как Вулкан Казино Платинум.

Сопоставление и вынесение заключения

Когда человек желает открыть мобильник взглядом, система осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ блокируется.

Адаптация к изменениям внешности

Интересная особенность современных систем — способность самообучения. Если ты регулярно открываете телефон с новой стрижкой или очками, система постепенно модернизирует основной модель вашего лица для увеличения точности действия без снижения уровня безопасности.

Защита биометрических данных.

Множество юзеры беспокоятся держать свои био-идентификационные данные на мобильном устройстве из-за риска потери данных или взлома устройства. Определенные фирмы, например Вулкан Казино Платинум, предлагают варианты для повышения безопасности информации клиентов.

Локальное сохранение: Преимущественно аппаратов записывает биометрические образцы лишь в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из гаджет и недоступны в том числе производителю.
Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих разработчиков не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Стоит отметить важную деталь: если кто-либо получит доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании реализуют меры безопасности от неосознанного разблокирования — в частности, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды распознавания лиц на изображениях?

В настоящее время можно определить 3 главных метода к выполнению этой задачи:

Программное 2D распознавание

Применяется только фронтальная камера без дополнительных датчиков глубины. Подобный способ встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная затраты; оперативная деятельность при качественном освещении.
Минусы: легко одурачить фотографией; нестабильная деятельность ночью; низкая охрана.

Аппаратное объёмное сканирование

Задействует ИК видеокамеру + проектор точек + датчики глубины (Face ID от Apple; подобные решения у Huawei Mate).
Достоинства: значительная достоверность; не получится исказить фото/видео; постоянная деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как Vulkan Platinum и Google Pixel Face Unlock современных поколений, объединяют фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Образцы применения различных методов

iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID в числе Android.
Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение плоское идентификацию по изображению фронталкой, так и сканер радужки глаза.
Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Трудности охраны и ложные тревоги

Несмотря на замечательный успехи технологий за недавние годы, совершенных систем пока не существует:

Шанс мошенничества: Доступные смартфоны без труда доступны четкой фотографией владельца либо видеозаписью с дисплея иного гаджета.
Идентичные близняшки: Даже самые безупречные устройства могут ошибиться между монозиготными близнецами либо родичами с очень аналогичной внешностью.
Трансформации внешности: Стремительное утрата веса/увеличение массы тела, пластические операции или повреждения в некоторых случаях необходимы для повторной регистрации биометрических данных.
Условия съёмки: Сильная освещённость солнцем или же плотная затенение могут понизить аккуратность идентификации признаков.

Вот пара рекомендаций по безопасному применению:

Для важных операций всегда используйте двухэтапную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте ПО телефона для обеспечения безопасности от новых видов атак;
Включайте опцию “Требовать раскрытых глаз” везде, где она доступна.

В каких областях ещё находится применение технология помимо смартфонов?

Хотя предмет нашей публикации касается в частности мобильным устройствам, следует отметить прочих направлениях внедрения технологии:

Управление прохода в деловых центрах и многоквартирных зданиях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Цифровые идентификационные документы последнего типа;
Комплексы видеонаблюдения муниципальных служб;
Автоматизирование отслеживания присутствия образовательных учреждений/университетов;
Аутентификация юзеров компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Схожие программы развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом меняется технология в наше время?

Любой годочек появляются новые идеи для повышения качества работы систем идентификации лиц:

Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
Развиваются искусственные интеллекты — передовые структуры вида MobileNetV3 дают возможность скоростно адаптироваться к дополнительным особенностям облика пользователя прямо на устройстве без отправки данных в облако.
Развиваются способы антиспуфинга — теперь телефоны способны распознавать настоящие движущиеся лица от неподвижных фотографий/маскировок по незаметным движениям кожи.
Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно блокировать смартфон, если обладатель отошёл далеко.
Появляются гибридные устройства — в частности объединяющие аудио опознание + физиономию + дактилоскопический след.

Итак, которые направления очень популярны сейчас:

1) Миниатюризация элементов

Производители стараются минимизировать величину выреза (“чёлки”) для сенсоры на дисплее за счёт интеграции миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для повышения личной безопасности всё более вычислений осуществляется внутри устройства без передачи данных во сторонний облачный услугу.

3) Упорядочивание регламентов

Гугл активно продвигает эталон BiometricPrompt API, чтобы такие системы, как Вулкан Платинум, и каждые Android-аппы были совместимы с различными типами биометрии стандартизированно.

Что выбрать сегодня?

Когда вам важна наивысшая защита данных, выбирайте флагманские модели со встроенным ИК-проектором или же ToF-датчиком глубины.

iPhone всех существующих актуальных моделей
Huawei Mate/P ряда
Mix Pro
Vivo X модели
Oppo Find Икс линейки.

Если финансы невелик – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, применять только как опциональную опцию комфорта.

Каким способом улучшить практичность функционирования возможности?

Есть несколько советов для тех, кто уже пользуется разблокировку по лицу:

Регулярно обновляйте свою изображение-шаблон, если значительно трансформируется внешний вид.
Не забывайте очищать линзу передней камеры – пятна могут уменьшить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает фотоаппарат если вы берёте его в руки.
При записи постарайтесь сохранять лицо ровно перед объектива не допуская значительного наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от экрана.

Перспективы прогресса инноваций

В предстоящие времена можно предвкушать появления полностью бесконтактных способов распознавания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + речь + манера ходьбы + жесты рук!

Также предполагается появление свежих методов обеспечения личной информации – скажем, изменяющееся модификация диджитал паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень интересных технологий нашего эпохи! Она обеспечивает интеракцию со телефоном проще чем до этого, и такие аппы, как Вулкан Казино Платинум, могут значительно улучшить ваш пользовательский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как работает эта методика изнутри, – сумеете вдумчиво определять свой очередной гаджет!