Potřebujeme, aby existence kladla odpor

Benjamin Riley je zakladatelem americké poradenské společnosti Cognitive Resonance, která lidem pomáhá pochopit, jak funguje generativní umělá inteligence. Delší dobu jsem sledoval a užíval si Benův blog a Bluesky, takže mě zasáhlo, když Ben zareagoval na obraz mé matky, který jsem sdílel po jejím úmrtí. Vyjádřil soustrast i okouzlení nad její kreativitou. V kontextu temné ironie, kdy chatbot loni vzal kus života jeho tatínkovi (viz New York Times), začala naše konverzace. Nakonec vedla k online hovoru, jehož upravený a zkrácený přepis vám níže předkládám. Mluvili jsme o LLM, humbuku kolem AI, lidské kreativitě a jazyce, který není tím, čím se zdá být. Velmi mě to bavilo a nejzajímavější odpovědi přináším níže. /PS: generativní AI nebylo použito/

Tomáš: Pojďme si povídat o magii. Delší dobu se zajímám o vnitřní fungování LLM. Dokonce jsem si zapsal dva semestry strojového učení na své alma mater ve snaze získat základní intuici, jak to funguje uvnitř.

Překvapilo mě to. Čím víc jsem do fungování algoritmů pronikal, tím méně jsem věřil výstupům chatbotů a tím méně mě okouzlovaly. Myslel jsem, že to bude spíše naopak. Teď ale nedokážu odvidět proces, kdy jsou ze slabik generovány matice, ty se chytře násobí, a pak se zase z matic skládají slabiky, čímž vzniknou přesvědčivé věty.

Ne že by za tím nebyla ohromná genialita matematiků, inženýrů, programátorů a spousta dat a hrubé síly. A mnohé prvky těch algoritmů jsou nádherně elegantní, což máme my ajťáci rádi; ale ono původní kouzlo je pryč.

Přijde mi hloupé, že tento software antropomorfizujeme, váháme, zda snad nemá vědomí a oblbujeme se kouzelnými slovy jako emergence; protože provozovatelé zjistili, že tahle magie prodává.

Jakou máš ty vlastní intuici o schopnostech a limitech této technologie?

Ben: Především je skvělé, že ses rozhodl pustit se do studia. Odpovídá to tomu, co se snažím říci svou prací světu. Hodně lidí nám dnes vypráví příběhy o generativním AI – ale o to víc se musíme sami snažit pochopit jádro věci.

Díky porozumění nemusíme jen poslouchat, ale můžeme sami interpretovat, co a proč nám tihle vypravěči vlastně říkají. Bill Gates nebo Sam Altman slibují, že tohle je budoucnost – ale člověk by měl být schopen říct: „Ok, dobrá, možná ano, možná ne: například já to vidím trochu jinak.” Vzdělání nás posiluje. A tvé vzdělání tě posílilo. 

A mimochodem potvrzuješ, čeho jsem si sám všiml už dřív. Čím víc pronikneš do mechanismu, jímž tyhle nástroje generují slova, tím méně jsi ohromen. Podíváš se a řekneš si: „Je to software, je to matika, komplikovaná, ale ne nepochopitelně komplikovaná.” A to je klíč.

Můj přítel Paul Cisek, neurovědec z Kanady, má skvělou metaforu. Představ si kouzelníky na pódiu, kteří předvedou fantastické kouzlo. Dav je ohromen, potlesk ve stoje, odcházejí. A Paul pokračuje: „A teď si představ, že by tihle lidé, kteří vytvořili LLMs, šli do zákulisí, sedli na zadek a řekli si: ‚Wow, možná to bylo fakt kouzlo!‘” Jenže tak to není. Oni i my přesně víme, jak to fungovalo a proč. Nepotřebujeme k vysvětlení magii. Nepotřebujeme mluvit o AGI. My prostě víme, že je to statistický proces.

Takže abych odpověděl: jazykovými modely je možné být současně ohromen i zklamán. Jsou působivé ve smyslu, že dokážou pokrýt jakékoliv téma, k němuž dostaly v dané oblasti dostatek textu. A budou schopny vyprodukovat související výstup.

Nikdy předtím jsme neměli nástroj rozkročený nad takovým objemem kodifikovaných a do textu převedených znalostí lidstva. Ale právě proto jsou zklamáním ve smyslu, co s těmito daty dokážou, nebo spíše nedokážou udělat.

Posbírali jsme veškeré publikované poznání lidstva. Aplikovali na to obrovskou, nepředstavitelnou výpočetní sílu. A výsledkem je něco, co generuje průměrné a ne zas tak působivé výstupy. Průměr lidského myšlení.

Tomáš: Najde se podle tebe něco, co naopak zvládají nadprůměrně?

Ben: Vidím jistý potenciál a vzrušující možnosti ve faktu, že na rozdíl od lidí nejsou modely limitovány objemem trénovaných dat. My lidé se učíme na knihách a zkušenostech, které během života přečteme a zažijeme. Je jich sice hodně, ale pořád méně, než co dohromady vstoupí do těchto modelů. Jejich „dlouhodobá paměť” dalece překračuje objem toho, co každý jednotlivec dokáže vstřebat za celý život.

Ve spojení s nástroji, kdy můžeme modely ovládat přirozeným jazykem a nechat je dělat věci, které by předtím bylo nutné naprogramovat, vzniká silná premisa. Jenže tahle kombinace je extrémně nebezpečná. Sice by to asi mohlo vést ke spoustě zajímavých výsledků, ale stále není jasné, jak moc tomu můžeme věřit. Dokážu si nicméně představit, že hranice toho, co dokáže člověk sám udělat od svého počítače, se budou posouvat. 

Představ si například, jak vzniká komplexní software, dejme tomu Microsoft Word, který byl v průběhu let vyvíjen nejspíš i desítkami tisíc lidí, kdy každý z nich přispěl dílkem do jeho codebase. A teď možná vstupujeme do světa, kde není potřeba zaměstnat armádu lidí a AI slouží jako pracovní síla řízená pár inženýry. Některé firmy se to samozřejmě už pokoušejí implementovat. Dávají tak softwarovým inženýrům dosud nevídané schopnosti.

Co ale také slýchám, jsou příběhy o maximálním kognitivním vypětí, vyhoření, brain-maxxingu apod. Mimo jiné i proto, že ani nejzkušenější z nich vůbec nevědí, co se děje uvnitř nástroje a ztrácejí vhled a kontrolu. Což je další velká hrozba. Pokud AI vytvoří něco a to něco se pokazí, bude to umět člověk ještě opravit? 

Tomáš: Prozatím to vypadá, že do nějaké velikosti projektu to i s pomocí těchto nástrojů zvládnou lidé zase opravit a zazáplatovat; tedy aby to zvenku na čas opět vypadalo jako funkční. Jenže jak říkáš, stále více z nich si stěžuje na vyčerpání a hluboký propad pocitu naplnění a kompetence. Stačí se začíst do postů na vývojářském Hacker News.

A co až všichni zkušení inženýři odejdou do důchodu nebo prostě vyhoří z nekonečného opravování naslopovaných problémů? Když prostě vzdají sebezlepšování a učení se vlastními chybami a změní se na „orchestrátory”, jak se sami nazývají? Kdo pak bude schopen vytvářet architekturu a koncepty odrážející aktuální zkušenost zákazníka, potřebu trhu a týmu. A především: kde se vezme nové krmivo, tedy elegantní, spolehlivý a „hustý” kód, na němž se dnešní LLM coding tooly dosud trénovaly?

Ben: Nevíme. Mnoho z nás se začíná obávat, co se bude dít, když zmizí dosud existující profese a kariéry. Když lidé přestanou prohlubovat znalosti, které z nich udělaly experty.

Tomáš: Můj osmnáctiletý syn je už de facto zkušený programátor. Posledních deset let se učil nejdřív pomocí kurzů, později začal pracovat na svých projektech. Miluje programování a přemýšlení o problémech a donedávna si byl jistý, že po gymplu půjde na informatiku. Současně ale nenaskočil na AI hype a generativní nástroje nepoužívá. Říká, že se chce vyhnout ztrátě schopností, nelíbí se mu neetičnost modelů, které stojí na kradených datech, jejich sociální i ekologický dopad. Nyní si ale není vůbec jistý vyhlídkami na uplatnění jeho dovedností. Co bys mu poradil?

Ben: Řekni mu, že budoucnost nezná nikdo. Ale jsem si téměř jistý, že pokud je odhodlaný a nadšený do něčeho, co ho zajímá, tak své znalosti a dovednosti dokáže přenést do jiných oblastí za hranicemi computer science. Za to dám ruku do ohně.

Vyčistit chaos vytvořený AI bude po nějakou dobu nejspíše docela ceněná a vysoce hodnocená schopnost.

Ale i kdyby to tak nebylo, vrátil bych se k Jobsovu slavnému výroku, že počítač je bicykl pro mysl. Tahle metafora se mimochodem moc nelíbí mé kamarádce Audrey Waters, ale já myslím, že na ní něco je. Nakonec: otec tvého syna sice studoval informatiku, ale stal se knižním nakladatelem. Nikdy dopředu prostě nevíš, jak se tvá kariéra vyvine.

Zažívám to nakonec na vlastní kůži. Svou vášeň pro přemýšlení o myšlení jsem objevil docela pozdě. Bylo by super, kdybych se mohl vrátit a tou cestou se vydat mnohem dřív.

V jeho věku jsem ještě svou vášeň ale neznal, takže jsem si řekl: „Dobrá. Vyberu si obor, kde mě trh dokáže nejvíc odměnit.“ A vystudoval jsem byznys a nelituju toho. Ale kdybych se mohl vrátit v čase, vybral bych si cognitive science. 

No, raději později než nikdy. To si rád opakuju i pokud jde o kytaru, protože bych na ni hrozně rád uměl hrát. Ale můžu se pokoušet, když je mi skoro padesát? A pak si říkám: a proč ne? Uvidíme!

Tomáš: Jdi do toho.

Tomáš: Pojďme se ale vrátit k fascinujícímu tématu tvého slavného článku s vtipným názvem Large Language Mistake, který jsi psal pro The Verge (a pro tvůj blog) o rozdílu mezi jazykem a myšlením. Tvé vhledy mi otevřely oči. A to i jako nakladateli a knižnímu editorovi, který celý život zápasí se slovy a na vlastní klávesnici zažívá, jak těžké je někdy vyjádřit a předat myšlenky a zkušenosti pomocí slov. Tvé teze mají v době bezmezné důvěry v synetický text obrovskou naléhavost.