A.I. Expert Virginia Dignum: Trolley Problem ukazuje, proč potřebujeme transparentnost

Umělá inteligence potřebuje transparentnost, aby ji lidé mohli udržet v úvahu, tvrdí výzkumník. Virginie Dignumová, docentka na Technologické univerzitě v Delftu, v pátek řekla publiku na Newyorské univerzitě, že pokud nechápeme, proč stroje fungují tak, jak jsou, nebudeme schopni posoudit jejich rozhodnutí.

Dignum citoval příběh Davida Berrebyho, vědeckého spisovatele a vědce, který byl publikován v Psychologie dnes „Důkazy naznačují, že když lidé pracují se stroji, cítí se méně agenturně, než když pracují sami nebo s jinými lidmi.“

„Problém s vozíkem“, vysvětlil Dignum, je oblast, kde lidé mohou umístit slepou víru do stroje, aby si vybrali správný výsledek. Otázkou je, zda přepnout páku na hypotetický runaway vlak tak, že zabije jednu osobu místo pěti. Lidé očekávají, že stroje vyřeší problém co nejvíce racionálně. To však nemusí být vždy pravda a transparentnost by pomohla vysvětlit, jak se stroj dostal k rozhodnutí.

„Není to jen velmi hluboký řetězec událostí neuronové sítě, které nikdo nemůže pochopit, ale aby tato vysvětlení učinila způsobem, kterému lidé rozumějí,“ řekla.

A.I. je to jasné, že oblast DARPA zkoumá. Agentura v srpnu zveřejnila oznámení, že hledá týmy, které by se zajímaly o vysvětlitelné informace A.I. projekty, známé jako XAI. Tyto systémy pomohou výzkumným pracovníkům pochopit, proč A.I. učinil rozhodnutí, které učinil, dává větší prostor pro rozhodnutí, co dělat s výslednými informacemi, spíše než slepě důvěřovat stroji.

Se strojovým učením Dignum poznamenal, že transparentnost je mnohem důležitější než kdy jindy. „Nemůžeme očekávat, že se systémy, a zejména stroje pro strojové učení, budou učit, a to vše hned,“ řekla.„Neočekáváme, že by naši řidiči při řízení plně porozuměli dopravním zákonům. V mnoha zemích používají tyto desky „L“, aby ukázaly: „Učím se, omlouvám se za chyby, které bych mohl udělat.“ „Sledování AI, pochopení toho, jak to dopadá na určitá rozhodnutí a jednání založená na tom, bude rozhodující pro zastavení stroje, které se stále učí špatným rozhodnutím.