Tváří v tvář hudbě: Jak "Eye Conductor" pomáhá Paralytics Rock the Fuck Out

Andreas Refsgaard, designér interakce a kreativní kodér žijící v Amsterdamu, navrhl hudební rozhraní, které umožňuje lidem s tělesným postižením dělat hudbu. Eye Conductor používá software pro sledování očí a webovou kameru počítače k ​​převodu pohybů obličeje do různých složek hudební kompozice. Uživatelé se mohou naučit hrát svou hru s tváří, což znamená, že ochrnutí lidé - lidé, kteří již nemohou hrát nástroje - mohou mít druhou šanci udělat krásné (nebo jen hlasité) zvuky. Refsgaardův vynález doslova udeří do akordy. Správný výraz se vyjadřuje nahlas.

Refsgaard promluvil Inverzní co se týče motivace jeho projektu, bojů, které narazil na cestě, a toho, co se naučil lidem, kteří ztratili schopnost dělat hudbu další šanci.

Jaké je vaše pozadí s hudbou?

Nechtěl bych se jmenovat hudebníkem, protože hraju jen pro zábavu, ale hraju na kytaru a basu. Ableton je hudební program, digitální pracovní stanice, která je podobná nahrávacímu softwaru jako Logic nebo Protools nebo Garage Band. Udělal jsem na tom kurz a nebyl jsem tak skvělý na to, abych s ním dělal hudbu, ale fascinovaly mě možnosti, které jsem viděl. Pak jsme začali spolupracovat a dělat nějaké další dechové instalace typu, kde by navrhoval zvuky a já bych připojil senzory, například hloubkovou kameru, takže když lidé chodili kolem, ovládali by nějaký aspekt projektu.

Takže jste designér interakce a kreativní kodér. Mohl byste vysvětlit, co znamenají tyto tituly?

Všechny věci, které navrhuji, jsou interaktivní. Kdybych tedy udělal nějaký nábytek, pak by to mělo nějakou funkci, která by na něco reagovala. Jsem také kreativní tvůrce. Ve srovnání s mnoha dalšími lidmi - například jsem studoval v Kodani na Kodaňském institutu interakčního designu, kde lidé pocházejí z mnoha různých prostředí - jsem trochu více směrem ke kódovací straně. Také se nazývám „tvůrčí kodér“, protože nejsem správným kodérem. V tom nejsem tak dobrý, ale můžu dělat nějaké věci opravdu rychle a mohu spojit věci a jsem dobrý, když přicházím s novými nápady.

Co vás inspirovalo k tomu, abyste pomohli lidem s tělesným postižením dělat hudbu?

Po dvou nebo třech měsících jsem byl středním školcem pro někoho se svalovou dystrofií. Být s ním po celou dobu mě nutilo uvědomit si některé věci, s nimiž jsem mu nemohl pomoci. Jeden z nich se tvůrčím způsobem vyjadřoval. Nebylo to, že jsem si myslel: „Okay tady je problém, který musím vyřešit,“ protože jsem byl v té době mladý a neměl jsem žádné profesionální dovednosti. Ale to se mnou zůstalo.

A co z hlediska technické inspirace?

Projekt s názvem Eyewriter, který jsem viděl asi před rokem, je obrazový program, který byl vytvořen pro člověka, který byl graffiti umělcem, ale pak byl paralyzován. Někteří z jeho přátel byli kodéři a vytvořili pro něj nástroj, který mu umožňoval kreslit. A od té doby, co jsem si hrála s čidly a senzory v hudebním softwaru, jsem udělala spojení. Udělal jsem to jako můj poslední projekt ve škole.

Jak hudba skončila jako kreativní pole, které jste chtěli prozkoumat?

Myslím, že snad proto, že se mi hodně líbí hudba a čas, který jsem měl na projekt. Bylo jasné, že jsem chtěl pracovat s hudbou. Pak jsem byl velmi inspirován Eyewriterem z hlediska tvorby grafiky.

Hudba se jeví jako skvělá volba, protože je univerzální. Nemůžu myslet na nikoho, kdo nemá rád hudbu.

Zpočátku jsem chtěl vyzkoušet, jak důležitá byla hudba pro skupinu, pro kterou jsem navrhoval. Prvotní kroky byly jen pozorování, jak lidé s různým tělesným postižením komunikují s hudbou. Jeden domov, který jsem navštívil, měl ve čtvrtek hudbu. Někteří mohou na klávesnici trochu namířit nebo hrát trochu a někteří nemohou nic dělat, ale faktem je, že se objeví ve čtvrtek Music.

Mezi pozorováním a následným vytvořením přístroje, jak dlouho to trvalo?

Často by se v procesu návrhu jednalo o dvě oddělené věci, ale tento přístup se mi nelíbí. Mám rád stavbu od samého začátku a pak, když jsem hovořil o tom, co jsem postavil. A pak to upravuji nebo vylepšuji.

Jaké to bylo vidět lidi, kteří je poprvé používají?

Bylo to docela pěkné, jo. Protože někteří lidé nemohli mluvit, spojení může být těžké. Ale pak, když použili můj oční dirigent, jsme opravdu spojeni. Dívali se na mě a usmívali se nebo se chovali opravdu šťastně, nebo když jsem to jen ukázala, byli opravdu soustředění. Byl to krásný příklad toho, jak hudba může lidem pomoci komunikovat a vyjadřovat emoce.

Jaký byl největší problém, na který jste narazili, když jste navrhovali očního dirigenta, aniž byste se dostali příliš technicky?

Aby systém fungoval, musíte sedět ve stejném postoji, jak sedíme právě teď před našimi notebooky, protože obraz, který vidíte právě teď, je rovný a dobrý pro sledování obličeje a očí. Pokud jste ale s někým na invalidním vozíku, který nemá například kontrolu nad svým postojem nebo zády nebo krkem, občas by seděli více bokem a systém nemohl sledovat pohyby obličeje. Někdy by to bylo trochu nepříjemné, kdybych se pokusil říci: „Ok, aby to fungovalo, musíš sedět rovněji.“ A pak s tím, že jsou neverbální, jak to sdělujeme?

Kdyby se někdo takhle naklonil, mohl byste teoreticky držet notebook způsobem, který zachytí jejich gesta?

To jo. Takže jsem se do toho problému opravdu nedostal, ale spousta lidí má počítače namontované na invalidním vozíku a počítač je na sloupu a pak na tom pólu je upevňovací zařízení a naklánějí ho správným směrem, aby ukazovaly na tváře. Neexistuje žádná pozice, která by byla správná nebo špatná, je to jen o tom, jak dostat senzory - což je webová kamera a tracker - přímo do hlavy. To bylo trochu náročné. Bylo to spíše hardwarová věc, protože jinak bych se musel pokusit vybudovat strukturu a to by bylo chaotický. V tom nejsem tak dobrý.

Udělali jste celou věc sami nebo jste narazili na technické problémy, které jen jiní věděli, jak řešit?

Udělal jsem to sám, ale na zvukové stránce jsem dostal pomoc od toho profesora, o kterém jsem vám říkal. V podstatě jen zvuk design. Měl jsem také poradce, který mi dal nějaké ukazatele, pokud jde o programovací jazyk Max, na kterém byl opravdu skvělý. Prostě mi pomohl, abych byl více spokojený s určitými detaily programování. Samozřejmě, že hodně z toho bylo nové, ale základy z toho jsem již věděl z předchozích zkušeností. Za osm týdnů jsem udělal očního dirigenta a lidé řekli: „To je bláznivé, jak to zvládneš za osm týdnů?“ Ale udělal jsem nějaké další věci, které jsou také pokročilé, pokud jde o práci se senzory a hudebním softwarem, a to trvalo déle, protože Nevěděl jsem, jak to udělat. Teď, když vím, že to není tak těžké, i když tento projekt byl složitější. Je také důležité, abych zdůraznil, že se jedná o plně funkční prototyp, ale není to produkt. Takže lidé nemohou jít ven a koupit si ho a nainstalovat do počítače.

Chtěl jsem se vás zeptat, jestli to máte v plánu prodat?

Nechci to prodat, chci to vzdát. Chci, aby to byla open source věc, ale teď nemůžu nic slíbit. Nemám na to žádné finanční prostředky a mám práci a jiné věci. Dostal jsem zprávu od nějakého chlapa v Michiganu, který býval výrobcem a pak dostal ALS. Musím to nějakým způsobem zpřístupnit všem těmto lidem. Je to velmi důležité pro mě v určitém okamžiku, a nemůžu slíbit, kdy, ale doufejme, že brzy, balíček to tak, aby lidé mohli buď stáhnout vše jako jednu věc, a to by běžet na většině počítačů nebo vlastně vyzkoušet to v prohlížeči. Myšlenka dělat to prohlížeč věc by jen vyžadovala, aby lidé měli počítač s online přístupem a pak mít cokoliv náhrada za myš, kterou by mohli mít na svém počítači. Pokud to udělám open source, můžu poskytnout základní demo a pak si lidé mohou přidat své vlastní zvraty, aby to udělali sami.

Je hezké slyšet, že to děláte, protože chcete pomoci lidem a ne proto, že chcete zbohatnout nebo něco takového.

Nástroje, které jsem postavil - alespoň pracovní prototyp - jsou open source. Proč bych pak získal kredit? Například systém sledování tváře, který používám pro svůj prototyp, který umožňuje lidem vytvořit zvuk zvednutím obočí nebo otevřením úst, to je věc zvaná FaceOSC, kterou vytvořil člověk jménem Kyle McDonald a systém s otevřeným zdrojovým kódem. Nemyslím si, že bych se dostal tak daleko, jak jsem to udělal bez toho kusu softwaru.