Американский программист Кайл МакДональд (Kyle McDonald) описал кадры прогулки по Амстердаму при помощи нейросети, разработанной исследователями из Стэнфордского университета. Кратко об эксперименте рассказывает The Verge.
Взяв в качестве аппаратной платформы MacBook Pro 2013 года, разработчик запустил на нем программу обработки видеопотока с веб-камеры и вышел на прогулку по Амстердаму, держа перед собой раскрытый ноутбук. Получившиеся в результате видео с комментариями нейросети автор опубликовал на Vimeo.
Для обработки кадров программист использовал программу NeuralTalk, которая способна описывать происходящее на статичных фотографиях связными предложениями. Алгоритм сначала распознает объекты на статичном изображении, а затем описывает естественным языком их взаимоотношение на картинке. Для изначальной тренировки нейросети использовался набор из 150 тысяч снимков, описанных вручную живыми людьми.
Ну как бы компьютер, способный интерактивно реагировать на происходящее. Как человек, который визуально воспринимает и автоматически интерпретирует окружение. Это уже не просто робот, который сканирует лазером, и распознаёт рельёф, а робот, который понимает, что он видит.
Сегодня это парнишка с ноутбуком, завтра это андроид, неотличимый от человека. Новая эра, и мы на её пороге. Мы сейчас как испанцы 16 века, наблюдающие открытие и колонизацию Нового Света. Мы сейчас, как мещане 18 века, с опаской и ропотом смотрящие на электричество, похожее на магию. Мы сейчас, как люди середины 20 века, с жадностью поглощающие трансляции первых запусков космических программ.
А ты, блядь, "и чё?". Хуй в очко.
Основанный белорусами проект MSQRD разработал собственную технологию трекинга лиц, которая позволяет изменять человеческую внешность во время видеочатов в режиме реального времени. Опробовать приложение могут бесплатно все владельцы iPhone.
iOS-приложение MSQRD накладывает на лицо пользователя разнообразные эффекты — макияж, усы или эмоции. Можно «дорисовать» себе, к примеру, огромные глаза, усы Сталина или бороду Кончиты Вурст. Приложение работает как с фото, так и с видео. Его технология быстро «подхватывает» черты лица и позволяет сразу же поделиться результатом с друзьями.
«Мы думаем, в будущем люди станут больше общаться с помощью видео, — рассказал ресурсу 42.tut.by Евгений Невгень, сооснователь проекта. — В текстовом общении популярны смайлики, стикеры — вещи, которые дают сообщениям дополнительную окраску. В видеосообщениях этого нет. Мы решили сделать общение людей через видео более эмоциональным».
В проекте задействовано 11 человек, 8 из них находятся в Беларуси. Создатели технологии — Сергей Гончар и Евгений Затепякин — занимаются алгоритмом трекинга лиц на протяжении последних пяти лет. Евгений Невгень присоединился к команде, чтобы разработать бизнес-стратегию и внедрить технологию «в жизнь».
Приложение появилось в App Store в начале декабря, за первые четыре дня его скачало около 5000 человек. 22 декабря проект попал на крупный сайт-агрегатор стартапов Product Hunt.
Первые пользователи начали активно публиковать восторженные отзывы с «ушастыми» и «бородатыми» селфи. По словам создателей проекта, такой активной реакции аудитории они не ожидали.
Ближайший аналог технологии Masquerade — сервис Lenses, встроенный в сверхпопулярный на западе видеомессенджер Snapchat. Однако, по словам белорусских разработчиков, их технология превосходит Lenses. Masquerade показывает лучшие результаты по производительности, нахождению 3D-пространства лица и распознаванию точек. Кроме того, она может работать даже на слабых девайсах.
Сейчас команда Masquerade ищет иллюстратора и Android-разработчика. В будущем они планируют выпустить мобильное приложение для Android, редактор эффектов, где можно будет создавать свои «маски», и онлайн-каталог, где создатели эффектов смогут их продавать.
Отличный комментарий!