Deepfakes nejsou shody pro strojové učení - zde je proč

Nová forma dezinformací je připravena šířit se prostřednictvím online komunit, protože se v polovině volebních kampaní v roce 2018 zahřeje. Po pseudonymním on-line účtu, který popularizoval techniku, která si mohla vybrat své jméno, protože tento proces používá technickou metodu nazvanou „hluboké učení“ - tyto falešné videa vypadají velmi realisticky.

Lidé doposud používali hluboké filmy v pornografii a satiře, aby se zdálo, že slavní lidé dělají věci, které by normálně nebyli. Během sezóny kampaně se však objeví téměř jisté hloubky, které mají za cíl zobrazovat kandidáty, kteří říkají věci nebo místa, kam by skutečný kandidát nebyl.

Vzhledem k tomu, že tyto techniky jsou tak nové, mají lidé problémy s rozlišováním mezi skutečnými videy a hlubokými videi. Moje práce, s kolegou Ming-Ching Changem a naší Ph.D. student Yuezun Li, našel způsob, jak spolehlivě vyprávět skutečná videa z hlubokých videí. Není to trvalé řešení, protože technologie se zlepší. Ale je to začátek a nabízí naději, že počítače budou schopny pomoci lidem říct pravdu z fikce.

Co je to „Deepfake“?

Udělat hluboké video je hodně jako překlad mezi jazyky. Služby jako Google Translate používají strojové učení - počítačovou analýzu desítek tisíc textů ve více jazycích - k detekci vzorů použití slov, které používají k vytvoření překladu.

Algoritmy Deepfake fungují stejným způsobem: používají systém strojového učení nazývaný hluboká neuronová síť pro zkoumání pohybů obličeje jedné osoby. Pak syntetizují obrazy jiné osoby, které provádějí analogické pohyby. Tímto způsobem vytvoříte video cílové osoby, která se zdá dělat nebo říkat věci, které zdrojová osoba udělala.

Než budou moci pracovat správně, hluboké neuronové sítě potřebují mnoho zdrojových informací, jako jsou fotografie osob, které jsou zdrojem nebo cílem zosobnění. Čím více snímků se použije k trénování algoritmu pro hloubkové vyhledávání, tím realističtější bude digitální zosobnění.

Detekce Bliká

V tomto novém typu algoritmu stále existují nedostatky. Jeden z nich má co dělat s tím, jak simulované tváře blikají - nebo ne. Zdraví dospělí lidé mrknou někde mezi dvěma až deseti vteřinami a jeden záblesk trvá jednu desetinu a čtyři desetiny sekundy. To je to, co by bylo normální vidět ve videu člověka, který mluví. Ale to není to, co se děje v mnoha hlubokých videích.

Když je algoritmus hloubkového snímání trénován na obrazech tváře osoby, závisí na fotografiích, které jsou k dispozici na internetu a které lze použít jako tréninková data. Dokonce i pro lidi, kteří jsou často fotografováni, je k dispozici on-line několik obrázků, které ukazují jejich zavřené oči. Nejen, že fotografie jsou takové vzácné - protože oči lidí jsou po většinu času otevřené - ale fotografové obvykle nezveřejňují snímky, kde jsou oči hlavních subjektů zavřené.

Bez tréninkových obrazů lidí, kteří blikají, je méně pravděpodobné, že algoritmy deepfake vytvoří tváře, které normálně blikají.Když spočítáme celkovou míru blikání a porovnáme to s přirozeným rozsahem, zjistili jsme, že postavy v hluboce nahraných videích blikají ve srovnání s reálnými lidmi mnohem méně často. Náš výzkum využívá strojového učení pro zkoumání otevírání a zavírání očí ve videu.

Viz také: Hollywood Won’t Cast Asian-American Stars, ale A.I. Strojové učení může

To nám dává inspiraci pro detekci hlubokých videí. Následně vyvineme metodu detekce, kdy osoba ve videu bliká. Chcete-li být konkrétnější, prohledá každý snímek daného videa, detekuje v něm tváře a automaticky vyhledá oči. Poté využívá jinou hlubokou neuronovou síť k určení, zda je detekované oko otevřené nebo zavřené, s použitím vzhledu oka, geometrických rysů a pohybu.

Víme, že naše práce využívá chyby v datech, která jsou k dispozici pro trénink algoritmů pro hloubkové vyhledávání. Abychom se vyhnuli pádu do podobného defektu, vyškolili jsme náš systém na velké knihovně obrazů otevřených i zavřených očí. Zdá se, že tato metoda funguje dobře av důsledku toho jsme dosáhli více než 95% míry detekce.

Samozřejmě to není poslední slovo o odhalování hlubin. Technologie se rychle zlepšuje a konkurence mezi generováním a detekcí falešných videí je analogická šachové hře. Blikání může být přidáno zejména k přehrávání hlubokých záběrů zahrnutím obrazů obličeje se zavřenýma očima nebo pomocí videosekvencí pro školení. Lidé, kteří chtějí zmást veřejnost, budou mít lepší falešná videa - a my a ostatní v technologické komunitě budeme muset i nadále hledat způsoby, jak je odhalit.

Tento článek byl původně publikován na Konverzaci Siwei Lyu. Přečtěte si originální článek zde.