V loňském roce 2024 vyšla v českém překladu pozoruhodná kniha, jejímž autorem je Mustafa Suleyman a spoluautorem je Michael Bhaskar – spisovatel a vydavatel. Nese název „Nezadržitelná vlna“ s podtitulem „Technologie, umělá inteligence, moc a největší dilema 21. století“ (v anglickém originále „The coming wave“ vyšla předloni). Autor knihy se představuje jako generální ředitel společnosti Microsoft AI. Předtím byl jednatelem a spoluzakladatelem společnosti Inflection AI, spoluzakládal také jednu ze světových výzkumných laboratoří pro umělou inteligenci (AI) Deepmind a působil také jako viceprezident pro řízení produktů a politiku AI ve společnosti Google. Upoutala mě ke konci loňského roku díky doporučení knih, které určitě stojí za přečtení, od Billa Gatese.
Kniha začíná plejádou hodnocení od mnoha osobností, mezi nimiž nechybějí jména jako Al Gore (bývalý viceprezident USA), Anne Applebaum (historička a držitelka Pulitzerovy ceny), Daniel Kahneman (nositel Nobelovy ceny), Stuart Russell (profesor informatiky na univerzitě v Berkley) nebo Jeffrey D. Sachs (profesor na Kolumbijské univerzitě). Už tento výčet mnoha světových osobností podtrhuje význam publikace. Kniha je rozdělena do čtyř částí, jež postupně rozebírají z mnoha stran široké souvislosti a možné zásadní dopady zcela aktuálního fenoménu umělé inteligence. Po formální stránce je kniha navzdory komplexní povaze tématu napsána velmi srozumitelným a čtivým jazykem. Přečetl jsem ji takříkajíc „na jeden zátah“, přičemž jsem se několikrát pozastavil pouze nad tím, proč autor neuvádí odkazy na zdroje citací a dat. Odpověď na mne čekala až na konci knihy, kdy jsem zjistil, že ani poznámkový aparát nepostrádá. Poznámky jsou však vyřešené inovativním způsobem, takže při čtení neruší pozornost odskakováním k drobným poznámkám pod čarou, ale na konci knihy najdeme veškeré odkazy na zdroje pomocí čísel stran a celého citovaného úryvku. Díky tomu je čtení plynulé a nerušené.
Od tkalcovských stavů k umělé inteligenci
V první části knihy „Homo technologicus“ autor poukazuje na technologie, které pro lidskou společnost znamenaly zásadní přelom. Jsou to ty, jež v historii uvedly do chodu revoluční změny. Tou první technologií, která znamenala civilizační milník, jako třeba objev ohně nebo vynález kola, je podle autora motor. Pomocí konkrétních příkladů, které nastartovaly významné změny v uspořádání vztahů ve společnostech, definuje samotný předmět knihy: vlnu. Vlny jsou to, co mění a pohání dějiny, jejich základní vlastností je šíření. Dějinnou vlnu autor definuje jako „soubor technologií, které se objevují přibližně ve stejnou dobu a jsou poháněny jednou nebo několika univerzálními technologiemi s hlubokými společenskými důsledky“. Univerzální technologie jsou pak „převratné vynálezy“ otevírající nové možnosti. Tímto způsobem jsou v knize zarámovány celé dějiny lidstva: vývoj nových univerzálních technologií – od jazyka, zemědělství, písma, bronzu, železa, knihtisku, přes tovární výrobu, elektřinu, jadernou energii a samozřejmě internet. Za každým vynálezem však stojí člověk: vynálezci a podnikatelé, kteří technologie šíří. Jinými slovy, technologie se společnostmi šíří jako vlny bez ohledu na hranice společností.
Celou knihou prochází hlavní motiv, kterým je vlna. Nové technologie se rozšiřují ve vlnách, které nelze zastavit. Navzdory snahám technologické vlny zpomalit, ztlumit nebo zastavit se technologie i přes odpor šíří. Autor knihy pak nešetří historickými příklady, kdy uvádí: „Ve středověku chtěl papež Urban II. zakázat kuše. Královna Alžběta I. na konci 16. století zakázala nový typ pletacího stroje, jehož zavedení by mohlo pobouřit cechy. V Norimberku, Gdaňsku, Nizozemsku a Anglii cechy odmítaly a rozbíjely nové druhy tkalcovských stavů a soustruhů. John Kay, vynálezce létajícího člunku, jenž zefektivnil tkalcovství a stal se jednou z klíčových technologií průmyslové revoluce, se natolik obával násilných represí, že uprchl z Anglie do Francie.“ Technologie nepřinášejí jen větší efektivitu produkce ve smyslu „více za méně“, ale produkují také úzkost, strach a… poražené, kteří se musí přizpůsobit, ať chtějí nebo ne. V roce 1807 například demonstrovalo v Anglii šest tisíc tkalců proti snížení mezd, avšak demonstraci ukončily šavle dragounů, které jednoho z demonstrantů zabily. V dalších pár letech se zorganizovali nezaměstnaní tkalci, kteří pak v březnu 1811 zničili třiašedesát strojů a odpor nabral obrátky. Během následujících měsíců byly během nočních útoků zničeny stovky tkalcovských stavů. „Luddité“ se rozhodli vrátit nové technologii úder v úsilí o spravedlivou mzdu a důstojnost, přičemž jejich požadavky nebyly na svou dobu nikterak přehnané, žádali postupné zavádění nových strojů a podíl na zisku. Po zavedení drakonických zákonů a dokonce ozbrojených stráží začaly protesty „Armády Nuda Ledda“ slábnout. V roce 1850 bylo v Anglii v provozu již asi čtvrt milionu tkalcovských stavů.
O co tehdy vlastně ludditům šlo? Usilovali o „zadržení“ (containment) nové technologie, lépe řečeno nové vlny, kterou se technologie šířily bez ohledu na stávající potřeby a zájmy tkalců. Někdejší armáda „zúskostnělých a ohrožených“ požadovala ujištění a podporu pro postupné přizpůsobení se nové technologii. Jinými slovy, žádali zpomalení a ztlumení nové vlny, aby se mohli přizpůsobit (adaptovat) novým podmínkám výroby, a tudíž také novým vztahům nejen v oblasti práce, ale také v rodině, kde zároveň průmyslová revoluce proměňovala dřívější feudální uspořádání. Vynálezy a šíření technologií však nepřinášejí pouze negativa, ale mají také pozitivní dopad na společnosti. Každá velká technologická změna přinesla kromě počátečních obtíží nakonec více svobody, více možností a lepší kvalitu života pro širší vrstvy obyvatel. Tkalcovský stav a parní stroj znamenaly osvobození člověka od nejtěžší fyzické práce (dopad např. na otroctví), železnice a spalovací motory přinesly snadnější přístup ke vzdáleným zdrojům a trhům, snadnější cestování zase propojení kultur a výměnu myšlenek, elektřina přinesla prodloužení aktivního dne, rozšířila přístup ke vzdělání a informacím, osvobození od celodenní práce na poli mimo jiné také emancipaci žen a více času na profesní rozvoj, lepší hygienu a zdraví, což zase přineslo léčbu dříve smrtelných nemocí, snížení dětské úmrtnosti a v konečném důsledku prodloužení délky života s možností se více, déle a rychleji vzdělávat, což zase posiluje další inovace a vynálezy. Mustafa Suleyman k tomu v knize uvádí: „Co je jednou vynalezeno, nelze znovu zapomenout nebo donekonečna blokovat. Znalosti nelze odnaučit ani zastavit jejich šíření.“ Urychlovačem vývoje jsou pak dva faktory: rostoucí poptávka a s tím spojený následný pokles nákladů na produkci nových technologií.
Vynálezy a inovace se vyznačují nekončícím napětím mezi šířením technologií a jejich zadržováním. Mustafa Suleyman v knize uvádí jako příklad úsilí o zadržování technologické vlny vynález a použití jaderné bomby na konci druhé světové války. Mimo jiné z obav, co by znamenalo zaručené vzájemné zničení prostřednictvím použití jaderných a vodíkových bomb, došlo v roce 1968 k uzavření Smlouvy o nešíření jaderných zbraní, v níž se státy zavazovaly, že nebudou jaderné zbraně vyvíjet (smlouva vstoupila v platnost v roce 1970). Praktické uplatnění dohody o nešíření jaderných zbraní je sice usnadněno tím, že vývoj a výroba jaderných zbraní jsou technologicky velice náročné a nákladné, vyžadují řadu specializovaných vědomostí, postupů a nástrojů. Přesto, jak konstatuje Suleyman, „problém zadržování – v tom nejpřísnějším, nejdoslovnějším smyslu – zůstává i v tomto případě bolestně nevyřešen“. Zadržování jaderných zbraní je motivováno zejména strachem z nepředstavitelné celoplanetární katastrofy. Suleyman se však v knize soustředí především na aktuální zdroje možných katastrof, které mohou nastat s prudkým rozvojem a šířením technologie umělé inteligence a také toho, co nazývá syntetickou biologií. Syntetická biologie spočívá v cílené manipulaci s genetickým kódem pomocí metod genetických nůžek (CRISPR), ale už nejen to: spočívá také v možnosti tisku samotného genetického kódu – tisku řetězců DNA a výroby genetických sekvencí. Jaké katastrofy by mohly nastat v souvislosti s technologiemi AI a syntetické biologie? Tím se autor zabývá v kapitole nazvané „Dilema“.
Hrozby a řešení pro 21. století
Kapitola „Dilema“ nastiňuje, na jaké katastrofické scénáře by bylo vhodné se připravit. Například: automatické zbraně s funkcí rozpoznávání obličejů namontované na roj stovek nebo tisíců dronů, které teroristé využijí k útoku na centrum města; masový vrah se rozhodne zaútočit na velké politické shromáždění pomocí dronů a postřikovačů patogenu vyrobeného na míru. Pokud jde o AI, autor upozorňuje, že je to technologie cenná i nebezpečná právě proto, že je univerzální, tj. využitelná pro to nejlepší i to nejhorší v nás lidech. Co když nepřátelská AI navrhne způsoby, jak přerušit dodávky pitné vody, rozvrátit akciový trh, vyvolat jadernou válku nebo navrhnout dokonalý virus? Můžeme si představit scénáře, kdy AI ovládá energetické sítě, média, elektrárny, letadla nebo obchodní účty finančních domů. Suleyman varuje: pokud tuto vlnu nezadržíme, je jen otázkou času, kdy se objeví nehoda, zneužití nebo jen chyba, což přivodí nepředvídatelné následky vývoje mimo lidskou kontrolu. Lze totiž očekávat, že technologie někde selže. A pochopitelně ne všichni lidé mají stejné a jen dobré záměry: připomínají se zde sekty (konkrétně Óm šinrikjó) i sebevražedné státy směřující k techno-dystopii. Techno-dystopií je míněna společnost všudypřítomného dohledu s architekturou nepřetržitého monitorování a nátlaku, k čemuž se blíží především Čína nebo totalitní Rusko.
Aby bylo možné se vyhnout katastrofálním scénářům, autoři v knize navrhují posílení politiky zadržování (containmentu). Už nyní ji můžeme pozorovat v politice Spojených států ve snaze kontrolovat a zadržovat výkonné čipy uplatňující se v systémech umělé inteligence, hlubokého učení a sítí. Suleyman to říká lapidárně: zadržení musí být ne možné, ale nutné, neboť pouze regulace nových technologií nemusí k odvrácení technologické katastrofy stačit. K zadržení současné technologické vlny nakonec autoři navrhují deset kroků: (1) vytvoření programu pro technickou bezpečnost – bezpečnostní prvky nezavádět dodatečně, ale měly by být neodmyslitelnou konstrukční vlastností, zároveň do technologie zabudovat „neodstavitelný vypínač“, který bude schopen zastavit jakoukoliv technologii, u níž hrozí, že se vymkne kontrole; (2) auditování technologií – zajistit možnost ověřovat bezpečnost, integritu a funkčnost na všech úrovních a k tomu je zapotřebí transparentnost technologií včetně přístupových práv například pro „etický hacking“; (3) omezení vývozu technologií a kontrolu šíření výstupů z center výzkumu, vývoje a komercializace, jež autor nazývá „škrtící body“ – například Xerox, Apple, DARPA, MIT, Genentech, Monsanto, Stanford a Kalifornská univerzita, NVIDIA a TSMC na Tchaj-wanu; (4) do vývoje technologií a jejich šíření aktivně zapojit kritiky – nelze u dalšího technologického vývoje pouze stát stranou a rozčilovat se na sociálních sítích bez zodpovědnosti, kritici by měli pocházet ze samotných technologických center a aktivně se zapojit do politiky zadržování; (5) role technologických podniků – korporace nemohou ve svém úsilí o technologický rozvoj sledovat pouze zisk, ale je třeba hledat cesty, jak sladit zisk a společenskou zodpovědnost, což v praxi bude nesmírně obtížné; (6) role vlád států: posílení schopnosti využít technologické vlny ve prospěch veřejného zájmu – vlády by se neměly spoléhat na externí poradce, dodavatele nebo obecně třetí strany, základním pilířem řešení by měli být respektovaní kmenoví zaměstnanci, jejichž prestiž a ohodnocení bude srovnatelné se soukromým sektorem; (7) mezinárodní aliance – vytvoření mezinárodní instituce podobné Mezinárodní agentuře pro atomovou energii nebo Mezinárodnímu sdružení pro leteckou dopravu a začít s něčím jako Agenturou pro audit umělé inteligence; ta by se měla zaměřit na kontrolu rozsahu modelů; (8) kultura přijetí neúspěchu: první, co by technologická společnost měla udělat, když narazí na jakékoliv dosud neznámé riziko, je bezpečně informovat širší svět; když dojde k úniku patogenu z laboratoře, měla by se tato skutečnost ohlásit, nikoliv utajovat – otevřenost je třeba oceňovat i u neúspěchů, nikoliv jej trestat; (9) podpora občanských hnutí: média, odbory, filantropické organizace i občanské kampaně by se měly podílet na politice zadržení; (10) jít dál a neustávat: zadržení není konečně dosažitelným cílem – naprostá otevřenost všem experimentům a neomezenému vývoji je zřejmým receptem na katastrofu: pokud by si každý mohl hrát s jadernými zbraněmi, dříve či později dojde k jaderné válce; stejně tak není neomezená otevřenost bezpečná pro výkonné modely umělé inteligence nebo syntetických organismů.
Pokud mám zhodnotit celou knihu, její velký přínos spočívá v jasném a srozumitelném pojmenování problémů, které jsou vysoce aktuální. Celou knihou, ale také dějinami technologií se vine dilema a napětí mezi šířením a zadržováním technologické vlny. Autor se přiklání na stranu zadržování a jasně říká, že je to nutná a vhodná ochrana před blížící se katastrofou. Zároveň tvrdí, že žádnou technologickou vlnu nelze zcela zastavit, je však namístě alespoň zpomalit či ztlumit vlnu nežádoucích účinků. Autoři v knize navrhují jednoznačně posílit politiku zadržování, pokud jde o přístup k technologiím AI. To už dnes můžeme pozorovat v politice USA zejména vůči hardware, který je pro provoz systémů umělé inteligence nezbytný. S tím však souvisí také jeden zásadní aspekt, který kniha prakticky neřeší: energetická náročnost provozu datových a výpočetních center pro AI. Provoz systémů umělé inteligence je totiž extrémně energeticky náročný – jedno velké datové centrum může spotřebovat tolik energie jako město se sto tisíci obyvatel. Už dnes je energetická náročnost naší civilizace extrémní: v roce 2023 přesáhla celková světová spotřeba energie 175 tisíc TWh (terawatthodin), kdy drtivou většinu zdrojů energie tvoří fosilní paliva – zemní plyn, ropa a uhlí (celkem 140 231 TWh). S rozvojem nových informačních a komunikačních technologií a stavbou nových datových center je pravděpodobné, že energetická náročnost dále poroste. Problémem samozřejmě je, že fosilní zdroje jako uhlí, ropa a zemní plyn nejsou nekonečné a jednou budou vyčerpány, když ponechám stranou masivní produkci skleníkových plynů do atmosféry. Mohlo by se tedy stát, že navzdory zadržování vlny nových technologií, aby se AI systémy nedostaly do nepovolaných rukou, nás mohou čekat zcela jiné ničivé vlny: záplavy, požáry, tornáda, eroze, sucho, migrace. Poněkud se tudíž obávám, aby po lidské civilizaci jako memento nezůstala jen obrovská datová centra bez energie. Možný je však také optimističtější scénář: že nám budou systémy AI natolik užitečné, že za nás problém konečných (vyčerpatelných) energetických zdrojů efektivně vyřeší. Pokud tedy nějaká energie zůstane vedle AI i pro člověka, mohli bychom se spokojeně těšit na další nové technologické vlny.
Foto: Pixabay
