Uvnitř tajné rozšířené reality pincreen a CGI

Rozšířená realita a výměna tváří se zdají být horkými kandidáty na další mobilní aplikace; Stačí se podívat na nákup produktů MSQRD nebo Snapchat společnosti Looksery na Facebooku. Ale jeden AR start s názvem Pinscreen, v současné době podporovaný ve výši 1,8 milionu dolarů z Lux Capital a Colopl VR fondu, se snaží dělat věci jinak v této oblasti. Inverzní mluvil výhradně k zakladateli společnosti Pinscreen Hao Li o tom, co by mohlo být pro tuto tajnou společnost před námi.

Možná jste neslyšeli o Hao Li, ale tento výzkum USC Assistant Professor jste pravděpodobně viděli v několika filmech. Při práci ve studiu vizuálních efektů Industrial Light & Magic, Li pomohl vyvinout některé nástroje, které umožnily zachytit výkon v reálném čase. Myšlenka byla, že herec mohl sedět v přední části počítače s webovou kamerou, vystupovat na scéně, a pak by se tento výkon v reálném čase přeložil na znak CG.

Li provedl rozsáhlý výzkum i v jiných oblastech, včetně tvorby 3D modelů reálných lidí v reálném čase a zachycení důležitých částí jejich podoby, zejména tváří a vlasů. V poslední době Li předváděl výzkum, který on a jiní provedli při zachycení výkonu od osoby s jedinou kamerou, a překládali ji na digitální charakter.

Zpočátku to není tak nové. Ve vývoji již existuje řada řešení pro sledování tváří, a to jak pro mobilní aplikace, tak pro mnohem sofistikovanější systémy, jako je Faceshift (zakoupené společností Apple v roce 2015). Mnozí z nich se však spoléhají na hloubkové snímače, které Li technologie nevyžaduje. Tento přístup je velmi odlišný.

„Pokud máte snímač hloubky, potřebujete optimalizovat parametry modelu obličeje tak, aby model odpovídal 3D vstupu co nejblíže,“ vysvětluje Li. „Ale v případě čistého RGB vstupu je celý svět promítán na dvojrozměrný obraz bez známých parametrů kamery, jako jsou ohniskové vzdálenosti. Z tohoto promítaného obrazu je tedy třeba vyvodit přesný model 3D obličeje a být schopen zvládnout širokou škálu světelných podmínek i vzhled různých předmětů. “

Proto je důležitý Liův výzkum 3D avatarů. Při mapování lidské tváře má mnoho mapovacích programů potíže s vizuálními překážkami, jako jsou vlasy a brýle. Aby se předešlo tomuto problému, společnost Pincreen „vybudovala hlubokou konvoluční neuronovou síť, která se dokáže naučit segmentovat oblast obličeje v plně neomezeném obrazu.“

Takže, co je to za to, že Pincreen používá tuto šílenou moderní technologii?

„Budeme novým typem sociální mediální / komunikační platformy s některými zajímavými schopnostmi AR,“ říká Li. "Nebude to aplikace jako Snapchat čočky nebo MSQRD, což je pro většinu lidí zajímavé jen pár minut."

Takže to není o nic víc než jen bzučení. Když se ale podíval hlouběji, jeho dřívější práce naznačují, že doufají, že budou schopny sledovat něčí tvář navzdory všem vlasům, brýlím nebo jiným objektům, které brání pohledu na jediný fotoaparát. Přidejte v nějaké rozšířené realitě a limit nebe pro filmy, sociální média a hry.

Zní to spíše průlomově, ale je důležité si uvědomit, že Li a jeho tým nejsou jediní, kteří v této oblasti zkoumají. Disney nedávno představil svůj záběr na zachycení výkonu obličeje v reálném čase, stejně jako někteří další výzkumníci s nástrojem Face2Face. Tam je také výše zmíněný Faceshift, spolu s Facebookem a Snapchatem, kteří také začali demonstrovat své zboží.

Co dělá technologii Pincreen jiné? Li naznačuje, že řešení jeho společnosti je „mnohem robustnější a dokáže odvodit přesnější 3D modely, protože jsme se explicitně zabývali okluzemi“.

„Naší nejvýznamnější novinkou je technologie, která nám umožňuje vytvořit kompletní 3D model hlavy včetně vlasů z jakéhokoliv obrazu automaticky,“ uvádí. „Tento typ úkolu tradičně vyžaduje zkušeného modeláře CG a riggeru k jeho výrobě. Nejnovější články prezentované na SIGGRAPH (přední konference počítačové grafiky a interaktivní techniky) také vyžadují více vstupních obrazů jako vstup - zaměřujeme se na řešení s minimálním požadavkem na vstup, jeden 2D obraz. “

Samozřejmě, dokud lidé nevidí a nepoužívají jakoukoli aplikaci z Pincreen, porota bude o svých schopnostech i nadále. Rozdíl je však v tom, že Li má za sebou jistě solidní historii výzkumu a inovací, zejména v oblasti tvorby digitálních avatarů.

Li je jednoznačně přesvědčen o možnostech společnosti Pinscreen v prostoru sociálních médií. „Vzhledem k tomu, že naše technologie bude demokratizovat generování 3D avatarů, bude to mít zřejmé aplikace ve hrách, aplikacích VR / AR pro pohlcující komunikaci nebo agenty AI,“ říká, „ale myslím si, že sami vytvoříme tu nejlepší aplikaci, kterou je sociální mediální platformu, kterou vyvíjíme.

„A co je nejdůležitější,“ dodává, „chceme vybudovat něco, co by lidem umožnilo vytvořit opravdu zajímavý obsah bez nutnosti dnešního drahého potrubí VFX a může použít opravdu zábavný obsah AR pro spojení s ostatními.“

Zní to, jako by pincreen zahrnoval řadu technologií, na kterých Li a jeho tým pracují. Ale, říká, to je jen část plánu. „Tech demo je opravdu jen rys toho, co plánujeme použít,“ poznamenává. „Pincreen bude něco mnohem většího a technika bude na začátku zajímavou funkcí. Budeme také zcela odlišní od ostatních sociálních médií. “

Prozatím je Pincreen stále trochu záhadou a vypadá to, že budeme muset počkat, až uvidíme, co mají v obchodě.