Face.DJ – приложение, которое переносит Ваш образ в виртуальную реальность. Необходима только фотография.
Приложение
Приложение Face.DJ основано на технологии воссоздания 3D модели лица, разработанной VisonLabs, создает реалистичную 3D модель Вашего лица и переносит ее в виртуальное пространство. После создания модели у Вас есть возможность изменить прическу, примерить очки, отрастить бороду. Все это осуществляется с помощью приложения. Порядок действий очень прост: вы делаете фотографию на камеру телефона, дожидаетесь, пока приложение построит модель, а дальше добавляете аксессуары и прически на свой вкус.
Технология
Воссоздание 3D модели по одной фотографии стало реальностью благодаря использованию технологии определения ключевых точек лица и их переноса на адаптируемую виртуальную модель головы. Индивидуальные особенности, такие как контур губ, глаза, брови, форма лица определяются на фотографии, а виртуальная модель приводится в соответствие с ними. Виртуальное лицо может менять форму на основании Вашей внешности поскольку соответствующие части виртуальной модели адаптируются под Ваши характерные черты. В результате этих преобразований у Вашей двухмерной фотографии появляется третье измерение. Дополнительно технология анализирует цвет кожи для того, чтобы перенести текстуру кожи с конкретного участка лица на всю модель.
Анализ лица
Алгоритм определения ключевых точек на изображении состоит из двух этапов. Сначала алгоритм детектирует лицо на фотографии, затем вырезает лицо из изображения и дополняет набором заранее определенных ключевых точек. Оба этапа задействуют машинное обучение. Алгоритм обучается на большой выборке данных, подготовленных вручную. Данные включают в себя тысячи изображений лиц с установленными на них ключевыми точками.
Моделирование лица
Виртуальная модель построена на 3D сканах лиц, полученных с помощью специализированного оборудования. Сканы лиц отличаются друг от друга так же, как отличаются люди, поскольку для сканирования использовались лица реальных людей. Полученные данные о различиях в расположении глаз, размере носа, форме лица и рта позволяют строить новые виртуальные лица, объединяя признаки реальных лиц.