Inteligentní reproduktory mohou být zasaženy zvukem, řeknou vědcům, aby to zastavili

Co kdybychom vám řekli, že hacker by mohl dát vašemu Amazonu Echo příkaz, aniž byste si toho všimli - nebo dokonce museli dělat nějaké hackingy, jak jsme si to normálně mysleli?

Moustafa Alzantot, počítačová věda Ph.D. Los Angeles, kandidát na univerzitě v Kalifornii, říká, že je teoreticky možné, aby škodlivý činitel vyslal určitý zvuk nebo signál, který by zpravidla zcela nezpozoroval člověk, ale aby algoritmy hlubokého učení A.I.

„Jedním z příkladů útoku by bylo ovládání vašeho domácího zařízení, aniž byste věděli, co se děje,“ říká Alzantot Inverzní. „Pokud hrajete nějakou hudbu v rádiu a máte ve svém pokoji Echo. Pokud je škodlivý hráč schopen vysílat vytvořený zvukový nebo hudební signál tak, aby jej Echo interpretoval jako příkaz, útočníkovi by to umožnilo říct, odemknout dveře nebo něco koupit.

Je to útok známý jako příklad kontroverzní, a to je to, co se Alzantot a zbytek jeho týmu snaží zastavit, jak je popsáno v jejich příspěvku nedávno představeném v dílně NIPS 2017 Machine Deception.

A.I. není odlišná od lidské inteligence, která ji vytvořila na prvním místě: má své nedostatky. Výzkumníci v oblasti počítačových věd přišli na to, jak tyto systémy kompletně oklamat tím, že mírně změní pixely na fotografii nebo přidají slabé zvuky do zvukových souborů. Tyto drobné vylepšení jsou člověkem naprosto nedetekovatelné, ale zcela mění to, co A.I. slyší nebo vidí.

„Tyto algoritmy jsou navrženy tak, aby se pokusily klasifikovat, co bylo řečeno, aby na to mohly jednat,“ říká Mani Srivastava, počítačový vědec UCLA. Inverzní. „Snažíme se tento proces zvrátit manipulací se vstupem tak, aby člověk v okolí slyšel„ ne “, ale stroj slyší„ ano “. Takže můžete algoritmus vynutit, aby příkaz vyložil jinak, než bylo řečeno. “

Nejběžnější příklady jsou ty, které se vztahují k algoritmům klasifikace obrazu, nebo k úpravě fotografie psa tak mírně, aby se A.I. je to něco úplně jiného. Výzkum Alzantota a Srivastavy poukázal na to, že algoritmy rozpoznávání řeči jsou také citlivé na tyto typy útoků.

V příspěvku skupina použila standardní systém klasifikace řeči, který se nachází v otevřené knihovně Google, TensorFlow. Jejich systém měl za úkol klasifikovat příkazy s jedním slovem, takže by poslouchal zvukový soubor a snažil se jej označit slovem, které bylo v souboru uvedeno.

Poté kódovali další algoritmus, aby se pokusili napodobit systém TensorFlow pomocí příkladů. Tento systém byl schopen zmást klasifikaci řeči A.I. 87 procent času používá to, co je známo jako černý box útok, ve kterém algoritmus ani nemusí vědět nic o designu toho, co útočí.

„Existují dva způsoby, jak tyto druhy útoků upevnit,“ vysvětluje Srivastava. „Jedním z nich je, když já, jako protivník, vím o přijímacím systému všechno, takže teď mohu vytvořit strategii, jak tuto znalost využít, to je útok na bílé pole. Náš algoritmus nevyžaduje znalost architektury modelu oběti, což z něj činí útok na černou skříňku. “

Útoky na černou skříňku jsou méně účinné, ale jsou také to, co by se s největší pravděpodobností použilo při útoku v reálném životě. Skupina UCLA dokázala dosáhnout tak vysoké míry úspěšnosti 87 procent, i když svůj útok neupravila tak, aby využila slabé stránky svých modelů. Bílý box útoku by bylo o to účinnější při pořizování tohoto typu A.I. Virtuální asistenti jako Amazonka Alexa však nejsou jedinými věcmi, které by mohly být využity pomocí příkladů kontroverzních.

„Stroje, které se spoléhají na to, že vycházejí ze zvuku, by mohly být oklamány,“ řekl Srivastava. „Je zřejmé, že Amazon Echo a takový je jeden příklad, ale existuje spousta dalších věcí, kde se zvuk používá k vyvodění závěrů o světě. Máte senzory propojené s poplašnými systémy, které přijímají zvuk. “

Uvědomění si, že systémy umělé inteligence, které přijímají zvukové podněty, jsou také citlivé na příklady protivníka, je o krok dále v tom, jak jsou tyto útoky silné. Zatímco skupina nebyla schopna vyslat vysílaný útok, jaký popsal Alzantot, jejich budoucí práce se točí kolem toho, jak je to možné.

Zatímco tento výzkum testoval pouze omezené hlasové příkazy a formy útoků, zdůrazňoval možnou úctu ve velké části spotřebitelských technologií. To funguje jako odrazový můstek pro další výzkum v obhajobě proti sporným příkladům a výuce A.I. jak jim rozdělit.