Princeton Undergrad vytváří Google Deep Dream-Inspired Deepjazz A.I. Hudební tvůrce

Ji-Sung Kim strávil časné ranní hodiny prvního dubnového víkendu spojeného s kofeinem a kódováním na svém počítači, když vyvinul deepjazz, hudební generátor hlubokého učení. Dvanáctiletý Princetonský počítačový vědní systém měl pouze 36 hodin na dokončení deepjazz během svého prvního hackathonu, HackPrinceton, který se konal 1. - 3. dubna na univerzitě. Poté, co dokončil maratón kódování, vytvořil webovou stránku pro deepjazz a zaslal zdrojový kód na GitHub.

Ale na Kimovo překvapení se program zastavil. Deepjazz se neustále vyvíjí na platformě Python a GitHub. To bylo dokonce vystupoval na titulní stránce HackerNews a je stále generuje živou diskusi.

„Nikdy jsem nečekal, že můj první projekt bude z hlediska popularity touto výbušninou,“ říká Kim Inverzní. "Bylo to dost šílené a zábavné."

deepjazz - Hluboké učení řízené generace jazzu pomocí Keras & Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11. dubna 2016

Mezi jídlem, spaním a dokončením jiných kurzů Kim zdůvodnil, že mu trvalo asi 12 hodin, než vyvinul zdrojový kód pro deepjazz. Nicméně, on přišel s nápadem pro umělou inteligenci hudební generátor dlouho před HackPrinceton. Během letní stáže na univerzitě v Chicagu narazil na Google Deep Dream, foto generátor, který interpretuje vzory v obraze a transformuje je na jiné objekty, které zná. Výsledkem jsou nevyzpytatelné obrázky, které vypadají jako divoký sen.

„Myšlenka využití hlubokého učení k interpretaci umění byla pro mě opravdu zajímavá,“ říká Kim. „Tento typ Deep Dream rámce, který Google prezentoval a publikoval, byl opravdu fascinující, protože vytváříte nové umělecké předměty ze stávajících děl.“

Deepjazz využívá strojového učení k tvorbě jazzové hudby - „A.I. postaven tak, aby byl jazz ”, jak uvádí jeho profil SoundCloud. Kim, který nebral třídy hudební teorie, ale hrál na klarinet sedm let, si vybral jazzovou hudbu kvůli svým netradičním melodiím. A.I. „Může mít nějaké neobvyklé výstupy, takže myslím, že jazz byl obzvláště vhodný pro myšlenku generování hudby za běhu,“ říká.

On repurposed existující hudební generátor optimalizovaný pro jazzovou hudbu, že jeho přítel Evan Chow vyvinul s názvem JazzML, pomocí kódu získat relevantní data, ale transformovat do binární matice, která je kompatibilní s dvěma knihovnami hlubokého učení Keras a Theano.

Rámec deepjazz sám o sobě je dvouvrstvý LSTM, což je druh architektury umělé neuronové sítě, popisuje Kim. Poté, co se naučí počáteční sekvenci počátečních osnov hudebních poznámek (Kim použil části Pat Methenyho „And Then I Knew“), přiřazuje pravděpodobnosti poznámkám a generuje další poznámku na základě těchto pravděpodobností. Pokud například program nakreslíte měřítko A, B, C, existuje vysoká pravděpodobnost, že další poznámka deepjazz bude generována D, vysvětluje Kim.

Historicky, kritici říkali umělé inteligenční hudební generátory jsou sužovány výrobou písní, které zní příliš roboticky a sterilní - postrádat barvu slyšel v hudbě složené lidmi. Jeffrey Bilmes, bývalý student MIT, který napsal práci na počítačích, které reprodukují hudební rytmy v roce 1993, Inverzní v listopadu:

„Když se učíte hrát hudbu a učíte se hrát jazz, je tu intuitivní pochopení toho, co je to hudba, která z ní dělá člověka,“ řekl Bilmes. „Lidé jsou intuitivní bytosti a lidé často nedokáží popsat, jak jsou schopni dělat lidské věci. V té době jsem cítil, že jsem možná porušil posvátnou přísahu při definování těchto věcí pro počítačové programy.

Když Kim dělal výzkum pro deepjazz, narazil na mnoho systémů, které generovaly hudbu, která zněla roboticky.

„Hudba a umění jsou věci, které považujeme za hluboce lidské,“ říká Kim. „Aby to znělo lidsky a živěji, je to opravdu těžké roztřídit.“ Kim navrhuje, aby generátoři mohli vytvářet písně, které znějí lidskyji a naprogramují je tak, aby zněly méně jako původní skladby.

Ostatní vývojáři kontaktovali Kim a mají zájem o rozšiřování deepjazz, aby s ním mohlo pracovat více lidí. Kim uvidí deepjazz, který se jednoho dne vyvíjí v improvizačního partnera, který umí uměleckě generovat doprovodnou hudbu pro muzikanta, aby se od něj mohl riffovat. Ještě dále do budoucna může vidět aplikace, které vytvářejí novou, podobnou znějící hudbu pro vaše oblíbené skladby nebo které mohou navrhnout nové akordy a pokroky pro hudebníky.

Kim přiznává, že je stále daleko od toho, aby byl odborníkem na hluboké učení, ale jeho zkušenosti s vývojem deepjazz a tréninkem na stážích a Princetonu mu poskytly cenný vhled do oboru.

„A.I. už není sci-fi sen. Je to něco, co je velmi reálné a je to něco, co se blíží velmi rychlým tempem, “říká Kim. "Doufejme, že když uvidíme, že tento vysokoškolský student, který ještě není ani studentem vyššího věku, dokázal udělat něco v rámci hackatonu, je povzbudivý pro ostatní studenty, kteří se snaží dostat do počítačové vědy."