Jak multi-ozbrojený bandit určuje, jaké reklamy a příběhy vidíte online

Představte si, že jste hráč a stojíte před několika hracími automaty. Vaším cílem je maximalizovat své výhry, ale ve skutečnosti nic nevíte o potenciálních odměnách nabízených jednotlivými stroji. Chápete však, že páky, které táhnete, a četnost, s jakou tak učiníte, ovlivní výsledky hry.

Tento scénář, se kterým se každý den setkávají návštěvníci Las Vegas a Atlantic City (do jaké míry lidé stále chodí do Atlantic City), je také klasickou logickou hádankou s názvem „Multi-Armed Bandit“ - hrací automaty jsou označovány jako „One-Armed Bandité stárnoucí Reno-typy, protože mají jednu páku a berou peníze lidí. Ačkoliv neexistuje žádný správný způsob, jak řešit situace s více ozbrojenými banditami - nejbližší kandidát je Gittins Index - existují strategické přístupy k řešení těchto problémů, které vidíte bez registrace každý den, když jdete online. Mnoho algoritmů upravujících způsob, jakým je obsah zobrazen na Google a na webových stránkách, je postaveno na strategiích MAB. Cílem téměř ve všech případech je propojit učení a výsledky a maximalizovat potenciál obou.

Více-ozbrojený bandit přístup je používán The Washington Post Chcete-li zjistit, jaké fotografie a titulky s největší pravděpodobností kliknete, a bezdrátové sítě zjistit, které optimální, energeticky úsporné trasy jsou nejlepší. Algoritmy, které vyrůstají z přístupů MBA, jsou nesmírně důležité pro tyto společnosti a mnoho dalších, protože v zásadě určují, kdy a které reklamy se zobrazují online.

Zjistit, jaké reklamy ukazují lidem, je náročný problém, protože kolem tolika věcí online běží spousta ozbrojených banditů. Algoritmy MAB pro reklamy obvykle používají rychle se měnící problém „smrtelného multi-ozbrojeného bandita“, který je aplikován na určité časové období. Dopravní data se používají k vývoji stále efektivnějších metodik.

Je těžké spojit MAB s přesným účelem, protože je možné vytvořit tolik variant vzorce. K-ozbrojení bandité, například, mají "zbraně", které soutěží získat nejvyšší očekávanou odměnu. Kontextualizační bandité dělají totéž, ale s „odborným poradenstvím“ - daty dříve shromážděnými uživateli - a webový název „ILOVETOCONBANDITS“ funguje pouze na rozvrhu předem určených kol. Naopak klasický přístup MAB nemá žádné vedlejší informace a výsledek závisí pouze na potenciálu zvolené akce.

Zatímco nejpoužívanější aplikace pro MAB se zatím jeví jako internetová, výzkumníci se snaží najít způsob, jak je aplikovat na scénáře „reálného života“. V dokumentu z roku 2015 vědci z University of British Columbia zvažují aplikaci MAB na lékařské zkoušky. Cílem, pokud se ukáže, že MAB je zde možné, je, že algoritmus MAB by mohl měřit účinek určitého léku. Zřejmým problémem je, že pokud by se nedala vytvořit počítačově modulovaná verze, bylo by s tímto přístupem prostě příliš časově náročné. Neexistuje způsob, jak by mohl být návrh MAB umístěn v rámci klinického hodnocení.

Myšlenka je pěkná, ale neproveditelná. Dokud nebude budoucnost tady, budete většinou cítit hrozící přítomnost ozbrojeného bandita, když se zoufale snažíte kliknout na vyskakovací reklamy.