Що таке DeepFake

Технологія deepfake-це методика синтезу аудіо або відео з використанням генеративно-змагальних нейронних мереж.

Вперше така нейромережа була створена в 2014 році студентом Стендфордського університету Яном Гудфеллоу. Він автоматизував процес навчання двох нейронних мереж, коли одна з них генерує обличчя або голоси, а інша аналізує повчені результати і дає висновок: схожі вони на оригінал, чи ні. Технологію можна порівняти з роботою художника, який копіює картини відомих майстрів, а експерт намагається виявити таку підробку. Мало просто скопіювати зображення, зберегти розміри і пропорції, а потрібно повторити найдрібніші деталі: техніку нанесення фарби, її склад, наявність пошкоджень на полотні і, при наявності, підпис автора. Коли експерт виявляє підробку-про це повідомляється копіює, який переробляє свою роботу, пропонуючи більш якісний варіант підробки. Аналогічно нейромережі навчають один одного до тих пір, поки друга нейромережа прийме згенеровані зображення за реальні. Після того, як експерт не зможе відрізнити оригінал від копії починається процес виготовлення більш складних підробок, а саме – створення того, що ніколи раніше не існувало. Візуальне представлення змагального навчання двох нейронних мереж підготувала компанія OpenAI.

Чи можна розпізнати Fake відео

З поширенням deepfake виникла небезпека дискредитації будь-якої людини, запис голосу або фото якого є в мережі. Першою жертвою цієї атаки була актриса Галь Гадот. Це стало початком серії атак на представниць прекрасної статі, вставляючи їх образи в порно ролики. Наступна хвиля deepfake атак була спрямована на політичних лідерів: Барака Обами, Дональда Трампа, Ненсі Пелосі, Річарда Ніксона та інших.

У перший момент deepfake відео виглядають досить переконливо, але далеко не всі вони можуть обдурити експертів і спеціальні алгоритми.

Один із способів розпізнання deepfake запропонували вчені з Університету штату Нью-Йорк в Олбані. Вони провели дослідження, в результаті якого виявили, що люди в спокійному стан моргають в середньому 15-17 разів на хвилину. Частота моргання збільшується під час розмови, і падає під час читання. Для генерації більш достовірних результатів, алгоритми виявлення підробок повинні враховувати безліч різних параметрів, в тому числі фізіологічні особливості людини. Це зажадає ускладнення систем виробництва якісних deepfake. Згодом, алгоритми підвищать якість генеруються підробок і рішення по їх виявленню. Рано чи пізно виявлення відхилення найдрібніших деталей стане нормою для розпізнавання згенерованих відеороликів. Вже зараз алгоритми можуть аналізувати рух очей, зміна розміру зіниці або частоту дихання і серцебиття.

Опрацьовано рішення біометричної ідентифікації людини за її персональними фізіологічними особливостями, наприклад, переміщення погляду під час читання. Багато політиків і офіційні особи, виступаючи публічно читають заздалегідь підготовлений текст. Спостерігаючи за рухом їхніх очей, морганням та іншими індивідуальними особливостями можна визначити, які із записів є реальними, а які – підроблені.
Компанії Facebook і Microsoft підвели підсумки Deepfake Detection Challenge — конкурсу для розробників, який спрямований на створення рішень для боротьби з технологіями підміни осіб на відео. У конкурсі взяли участь 2114 розробників, які створили понад 35 тисяч моделей. Оцінка ефективності алгоритмів проводилася двома способами: в першому використовувався заздалегідь наданий розробникам тестовий датасет, а в другому — закритий і ускладнений (в ньому використовувалися відео з біжать рядками, фільтрами і акторами, які частково прикривали обличчя). Згідно турнірній таблиці на Kaggle переміг Білоруський Розробник Селім Сефербеков з компанії Mapbox: його алгоритм зміг визначити діпфейкі з точністю 65,18%. На третьому місці, з результатом ненабагато гірше, виявилася Російська Ntech Lab, яка спеціалізується на створенні алгоритмів розпізнавання осіб.
Де DeepFake може виявитися корисним

Діпфейкі сприймаються як щось негативне, що вводить в оману для обману і компрометації. Однак в деяких випадках ця технологія може виявитися незамінним помічником.

 

1. Реклама

Незважаючи на те що технологія deepfake — порівняно новий медіаінструмент, вона може кардинально змінити сферу відеопродакшену. При виборі актора для рекламного ролика важливим фактором є його впізнаваність. У разі зйомки відомого актора істотну частину вартості ролика становитиме його гонорар.

Перед демонстрацією реклами в різних країнах її дублюють національні диктори, що не кращим чином позначається на впізнаваності образу. У спільній роботі Ridley Scott Associates і Synthesia для озвучування рекламного антималярійного ролика з Девідом Бекхемом на дев’яти мовах була використана технологія deepfake.
При повноцінній генерації голосу і зображення не буде потрібно надовго відривати героя реклами від його професійної діяльності, що дозволить скоротити значну частину бюджету.
Але безпосередня зйомка людини або використання його відеообразу, Згенерованого для реклами, вимагають отримання персональної згоди Учасника. Для скорочення залежності реклами від конкретного актора компанія KFC прийняла рішення використовувати штучно згенерований образ віртуального полковника Сандерса.

Комп’ютерні технології дозволяють одночасно генерувати і записувати кілька рекламних роликів, що підвищує ефективність використання обладнання. Рішення deepfake стануть звичним інструментом при створенні реклами, коли вартість їх застосування не буде перевищувати гонорару знімаються артистів.
Один з нових способів залучення уваги до реклами-це безпосередня інтерактивна взаємодія з користувачем.
Косметична марка Vivienne sabó стала першою в Росії, хто запустив digital-кампанію з використанням технології заміни осіб.це інноваційна технологія, яка дозволить кожній дівчині відчути себе зіркою Кабаре і поділитися з друзями вражаючим відео. І зовсім недавно, ця компанія запропонувала користувачам новий рекламний ролик з використанням технології заміни осіб. на цей раз учасникам пропонується отримати персональне передбачення з собою в головній ролі.

 

2. Роботи та віртуальні консультанти

Вже використовуються віртуальні ведучі на телебачення Xin Xiaowei. Наступним кроком буде створення віртуального консультанта, для якого генерується в реальному часі не тільки текст, але і голос.

Набирати вручну великий обсяг тексту-незручно і довго. Особливо це не любить робити молодь. Симбіоз штучного інтелекту, що веде осмислену бесіду, і Згенерованого зображення «рекламного обличчя компанії» дозволить створити інноваційного віртуального консультанта.

Можна додати до цього біометричну ідентифікацію співрозмовника (по обличчю, голосу або райдужці), і віртуальний консультант, дізнавшись вас, продовжить перервану бесіду. Інтеграція deepfake з біометричними технологіями дозволить створити наскрізне омніканальне рішення для підтримки користувачів. Почавши спілкування по телефону, в мобільному додатку або на сайті, ви зможете завершити бесіду при особистій зустрічі з інтелектуальним роботом.
Такі роботи вже створюються. Поки вони не повністю копіюють вихідний образ, поведінку, міміку і мова. Але нещодавно ЗМІ повідомили, що актор Арнольд Шварценеггер подав до суду на російську компанію Promobot за те, що та створила робота-двійника з його обличчям.
Робот імітує зовнішність свого прототипу. Він може рухати очима, бровами, губами, шиєю і відтворювати більше 600 варіантів мікроміміки людини. Також він може підтримувати розмову.

Для створення робота компанія запатентувала власну конструкцію особи, а також придумала свою технологію виготовлення штучної шкіри. До створення справжнього Термінатора залишився один крок-об’єднати дану технологію з екзоскелетом.

 

3. Індустрія ігор

Ця технологія не може обійти стороною і індустрію комп’ютерних ігор. Завдяки deepfake в грі може бути повністю відтворений наш образ і голос. А серед інших учасників гри ми станемо впізнавати наших друзів.

У сучасних іграх ми стикаємося з абстрактним супротивником. Надавши конкретному гравцеві індивідуальний образ за допомогою deepfake, ми зможемо відрізняти одного противника від іншого. Ми станемо впізнавати їх по кроках і голосу, оцінювати небезпеку по їх інтонації, вгадувати їх поведінку. Технологія віртуальної реальності остаточно зітре межу між грою і реальним світом. Новий імпульс розвитку отримає Кіберспорт — він стане більш реалістичним і захоплюючим.

В індустрії ігор завжди використовувалися передові розробки. Не випадково термін «ігровий комп’ютер» має на увазі потужну обчислювальну систему. Розвиток deepfake для ігор сформує базові алгоритми, які будуть використані в інших областях нашого життя.

 

4. Кіно

У 2001 році Джеймс Кемерон працював над екранізацією фільму про інопланетян за романом письменниці Патрісії Ентоні під назвою «братик Терміт». У цьому фільмі інопланетяни повинні були в реальному часі спілкуватися з людьми. На жаль, робота над фільмом незабаром була припинена, але за цей час Кемерон встиг випробувати технологію перенесення реальних людських емоцій на анімованого персонажа.

Відеокамера відстежувала переміщення точок, нанесених на обличчя людини, і наділяла вийшла мімікою обличчя намальованого прибульця. Пізніше вдосконалена технологія була використана при зйомці фільму «Аватар».
Комп’ютерні алгоритми з того часу сильно змінилися. Тепер для перенесення емоцій та інших дій героїв не потрібно наносити опорні точки, А весь процес генерації відео скоротився з декількох місяців до декількох днів.