PROMPT_

Disclaimer: Technologie mám rád a věřím, že můžou být lidem velmi užitečné, používají-li se rozumně. Nástroje generativní AI (hlavně jazykové modely – LLM chatboty) nasazuji od začátku. Možnosti automatického překladu pravidelně testujeme v nakladatelství společně s našimi překladateli (=na samostatný článek). Mám za sebou čerstvě dva kurzy umělé inteligence a machine learningu na MUNI a trénuju vlastní model pro předvídání bestsellerů. Strojové učení považuju za skvělý vynález a booster řady technologií. Předplácím si služby jako chatGPT, Claude a další a preventivně testuju jejich možnosti, abych nezaspal dobu. Přes to všechno mám pochybnosti. 

Všiml jsem si, že se v posledních měsících moje lifehackerské nadšení z nové technologie smrskává. Frekvence použití chatbotů se u mne též výrazně snížila. Částečně se na tom podílí nespokojenost s výstupy (berte v potaz mou praxi nakladatele puntičkáře), ale i kurzy ML, kde jsem měl příležitost nahlédnout pod povrch algoritmů. Víc vnímám jejich matematickou rovinu namísto té „metafyzické”. 

Rozhodl jsem se proto poctivě sepsat své praktické zkušenosti s AI (zde dále zúženo na LLM) a to, jak k nim přistupuji. Spojujícím prvkem mé zkušenosti je v tuto chvíli zdrženlivost a extrémní ostražitost a něco jako skeptický optimismus.

Kdy mi jazykové modely pomáhají...

💯 U kódování

Velmi vítám poradenskou pomoc LLM (Copilot, Cursor) u kódování. Snažím se víc proniknout do data-science a tvořím menší aplikace. Vyhýbám se ale generování a našeptávání kódu – zjistil jsem, že se tak nic nenaučím, mám to vypnuté.

Silnou stránkou LLM ve vývoji softwaru je, že pravdivost odpovědi není otázkou víry (jako když se např. zeptáte chatGPT na největší firmu v Rumunsku a jistí si být nemůžete); v prostředí tvorby kódu můžete odpověď okamžitě ověřit vyhodnocením kódu (a dokážou to dnes i agenti). Tedy hned víme: funguje vs. nefunguje, líbí vs. nelíbí, prostě jste hned u zdroje, vlastně vy jste zdroj – a zvláště u jednoduchých projektů je to kompletně uzavřený feedback loop.

Otázku, zda má smysl se učit kódovat, ponechávám stranou, zatím bych řekl, že určitě. Ale např. analytik Ian Bremmer nedávno prohlásil, že učit se programovat je dnes ta nejhorší rada, kterou můžeme mladým lidem dát, když se rozhodují o kariéře. Spíše si myslím, že vývoj aplikací a systémů je mnohem komplexnější než jen čisté kódování, a že přestat vyučovat programování či dokonce širší základy informatiky je v tuto chvíli předčasné.

🤔 Při řešení technických a ohraničených znalostních problémů

• Chatbot se mi často přijde vhod pro vysvětlení nějaké formulace, které za boha nerozumím (např. nějaký abstraktní pojem či komplikovaná věta v odborném textu v angličtině). Někdy jej požádám o vizualizaci konceptu do diagramu: můj mozek tak lépe chápe vztahy. S vizualizací je navíc snazší vidět na chyby LLM. 
• Někdy si po dopsání blogpostu vyžádám red-teaming či formální kontrolu (do stylistiky si ale mluvit nenechám) – byť můj nejlepší red-teaming partner na texty je nadále moje žena Kateřina; je přísná a moc mě nechválí.
• Občas s opatrností použiju specializovaný rešeršní tool (SciSpace, Elicit – oba placené), který pracuje s databází vědeckých studií a má některé silné stránky; Deep Research v chatGPT mě spíš zklamal v tom, jaké zdroje často považuje za relevantní (často dezinfo, ezo nebo neexistující, naopak pomine ty zásadní); jednou za čas dokáže najít jehly v kupce.
• Někdy potřebuju převést nějaká data, seznam či tabulku mezi formáty (CSV na markdown či .plist apod.), udělat rychle skript či malou appku s bezprostředním efektem, a nehodlám se k tomu vracet; toto je praktické.
• Občas vyfotím pokažený spotřebič nebo třeba loď v přístavu na dovolené, jídelní lístek ve finštině, abych zjistil: jak jej opravit, co je to za loď a zda mají steak.
• Udržuju v provozu experimentální veřejné chatboty odpovídající na dotazy ohledně blogu či našich knih na melvil.cz.
• Služby a gadgety určené k přepisu mluveného slova (Plaud, Pendant – oba testuji a napíšu o nich příště) se mi nevyplatí a zruším předplatné. Kromě bezpečnostních rizik mají problémy s chápáním kontextu vyřčeného, rozpoznáváním řečníků, ironií a humorem, takže jejich zápisy jsou směšné – tím blbým způsobem. Nicméně např. Claap či Zoom využívám kvůli rychlému dodatečnému fulltextovému vyhledávání bez sumarizace (opět s chybami kvůli přepisu, ale lepší než to hledat poslechem).

🙅‍♂️ A konečně: kdy se použití modelů zcela vyhýbám?

• ... nepoužívám jazykové modely (LLM chatboty) na psaní a tvorbu textu obecně
• ... na sumarizaci či prohledávání větších textů (např. knih a článků) 
• ... na vymýšlení nápadů, copywriting, obecně v oblasti kreativity a marketingu apod. 
• ... na vyhledávání či ověřování faktů a informací o světě na internetu
• ... na konzultaci psychiky a zdraví (někteří pamatují, že na začátku jsem byl nakloněn využití k interpretaci – dnes vnímám, že bez specializovaných toolů je to risk; konzultace s odborníkem nutná)
• ani pro nic moc dalšího.

Mnohem častěji se potuluju se džbánem v blízkém okolí primárního zdroje.

Zatímco před dvěma lety jsem byl fascinován tím, co umí LLM modely, dnes jsem se znovu fascinován tím, co ve srovnání s nimi umí lidský mozek.

Asi vás zajímá, proč ta skepse. Shrnu stručně, pak teprve půjdu víc do hloubky.

1. Rád píšu, přemýšlím, nápady hýřím – a nechci o to přijít; trénink buněk šedé kůry mozkové (jak říká Hercule Poirot) považuju za nutný a užívám si ho – je to pracnější, trochu pomalejší, ale víc se při tom naučím a můžu si za výsledkem stát, mj. dokážu zpětně konzistentně citovat, co jsem napsal. Ano, píšu pak pomaleji.
2. Textové výstupy současných modelů v češtině jsou horší než moje; jsou neautentické a cosi v nich nesedí. V mých textech jsou chyby, jsou ukecané, ale mají snad něco do sebe; ano, zkoušel jsem natrénovat své texty, abych model poučil o svém stylu. Výsledek? Možná bych někoho oblbnul – ale sebe neoklamu.
3. Mám rád lidi na druhé straně – dřív jsem k formulování písemné komunikace občas použil LLM a musím říct, že jsem se ošíval: přišlo mi to povrchní až arogantní, odlidštěné, smutné. Tentýž dojem ale teď mám, když někdo napíše něco robotického mně (nejčastěji je to nějaký dříve fajn newsletter, nebo i e-mail a jsem na rozpacích). Čili nedělám druhým to, co nechci, aby oni ...
4. Faktomluva: odpovědi z LLM modelů jsou nepředvídatelně nespolehlivé a neinterpretovatelné (zatím). V oblastech, které dobře neznám, je prostě musím 2x ověřovat, abych nebyl za blbce. V oblastech, které znám dobře, zjevné chyby vidím, což mě jen víc odrazuje.

Nyní slíbené podrobnější argumenty a trochu emocí k tomu.

Ad 1: Nechci zlenivět

V nedávné studii vědců z MIT nazvané Your Brain on ChatGPT: Accumulation of Cognitive Debt When Using an AI Assistant for Essay Writing Task se ukázalo, jak používání LLM při psaní eseje snižuje originalitu výsledné práce (po stránce přínosu i jazykově) a také při měření pomocí EEG zhoršuje mozkovou konektivitu ve srovnání s tím, když účastníci směli používat jen mozek nebo search-engine. Lidé, kteří používali LLM na první tři úkoly a pak měli napsat esej bez LLM čistě s pomocí mozku, měli nejhorší výsledky. „Naproti tomu skupina LLM-to-Brain, která byla předtím vystavena používání LLM, vykazovala méně koordinované nervové úsilí ve většině pásem a také bias ke specifické slovní zásobě LLM.” píše se ve studii. Použití LLM až po dokončení práce naopak může zlepšit kvalitu výsledku a konektivitu, ale začínat s LLM vypadá jako past. 

Zaujalo, že účastníci používající LLM nebyli schopni přesně citovat ze svých prací, a také je nejméně považovali „za vlastní”. To je ve shodě s mou zkušeností. Účastníci používající mozek a search-engine naopak citovali přesně ve většině případů a ani neměli narušený pocit vlastnictví.

K podobným výsledkům dospěla také studie britských vědců Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance: LLM může pomoci k rychlejšímu a lepšímu výsledku, ale oslabí schopnost vlastního neasistovaného učení tím, že si člověk odvykl přemýšlet.

Obě práce jsou rozsáhlé a stojí za pročtení. (Varování: Pokud se u první studie pokusíte o AI sumarizaci, čeká vás v časopise Time popsaná pomsta autorů:) 

Mimochodem, automatická sumarizace je jedna z věcí, které se také vyhýbám. V záplavě informací působí nabídka shrnutí knihy či eseje jako nejlepší vynález všech dob. Problém ale souvisí s užitnou hodnotou i radostí z četby: podle mě to nejlepší při čtení zažijete (a naučíte se) díky tomu, že při čtení původního textu občas vyvoláte tématicky odlehlé dílčí asociace. Ty se ale vynoří jen dík vaší hluboké zkušenosti a vaší privátní neuronové síti, kterou LLM nezná ani jak z rychlíku. Čtete bichli o podnikání, v níž autor zmíní, že se odmítl přestěhovat, když mu churavěl pes: a vy si uvědomíte zásadní emocionální souvislost s vašimi plány na stěhování firmy – a tak vznikne příběh, který (si) začínáte vyprávět. Sumarizace by toto srovnala se zemí, váš zásah bleskem, potenciálně autentický vhled a další náhodné asociace by byly nahrazeny placatým a netečným narativem.

Dotkla se mě také case-study ze života o konci kritického myšlení v OSINT komunitě. Tento typ dobrovolnické práce přitom extrémně spoléhá na kritické myšlení jako na hlavní nástroj. Autor vysvětluje, jak postupné delegování činností na AI plíživě zlikvidovalo klíčové procesy validace zdrojů, zvažování více perspektiv, formování hypotéz a samostatného myšlení a vedlo ke zhoršení kvality detekce i vztahů v komunitě jako takové. Mimochodem je ironií, že zkratka OSINT znamená Open-source intelligence.

Často myslím na esej Writes and Write-Nots Paula Grahama (mj. vlivného investora i v oblasti umělé inteligence) který svým geniálně lehkým a přitom hutným stylem argumentuje, že psaní je myšlení a myšlení se musí trénovat. Podle Grahama v novém světě s AI budou jen lidé, kteří budou (umět) psát dobře, a ti, kteří nebudou umět psát vůbec.

Hm, nehodlám skončit v té druhé partě. A tohle je můj trénink.

Ad 2: Proč mi ten styl nesedí?

Jde o to, že z generovaného textu cítím cosi divného, neautentického, nechutného. Odér ultrazpracované potraviny. Slyším ozvěnu suchara (statistika nuda je), který se naučil pár kabaretních kousků (má však cenné údaje), jimiž se mé zvědavé já snaží uspokojit a uchlácholit. A do toho to pokrytectví.*

I když ručně doupravím celé pasáže předtím vyblobnuté jazykovým modelem, pořád mezi řádky slyším klapat ty jeho malé kalkulačky. (Ano, jsou tu s námi v této místnosti).

Používat LLM pro psaní tedy zatím prostě nedokážu a nechci, brr: ten text by nebyl mým, já bych nebyl tím textem.

Což ale neznamená, že se povyšuji, pokud to tak vyznělo.

Dobře chápu a vidím, že tyto emoce jsou mnoha uživatelům chatbotů oprávněně šumafuk. Každý máme jinou odbornost, citlivost i potřeby. Netrpíte-li posedlostí nakladatele/autora/editora a psaní textů není vaše láska, ambice ani šálek, mohou být LLMka už během přípravy, developingu a stylizování vítanou pomocí. Kvalitu výstupu to asi zvedne a učiní jej srozumitelnější, aniž by vám to zkřivilo vlásek. LLM zvládnou mj. dokonale otupit ostré hrany při nějaké eskalující emailové výměně nebo vymyslet argumentaci pro jednání s protivným klientem, takže proč to nevyzkoušet, když to jinak nejde.

* Slavný autor a lektor storytellingu Robert McKee ve své knize Story vysvětluje, že dokážeme sympatizovat s padouchem, bláznem i zoufalcem, ale pokrytci jsou nám z podstaty odporní. „Obecenstvo se nikdy neztotožní s pokrytcem.” píše a já jsem s ním zajedno.

Ad 3: Pozor, na druhé straně jsou taky lidi!

Řeknu to tak: kdybych si musel psát s Putinem a jemu podobnými, tak bych používal výhradně LLM, čímž bych i v této rovině vyjádřil maximální pohrdání, odpor a distanc. Nepochybuju, že bych ovšem dostával podobně předžvýkané odpovědi. Osobní korespondence pomocí LLM je tak trochu opakem tradičního oslovování lidí v dopisech s kapitálkami: Vy, Vás...

„Přece nebudete věřit svědkovi jen proto, že mluví sebejistě!” říká trefně Nico Dekens, autor citovaného článku o úpadku OSINT komunity.

Ad 4: Nelíbí se mi, že modely modelují svět, který neexistuje

Jazykové modely jsou modely, hrubé zjednodušení reality. Zádrhel je, že jejich konverzační okénko se nám prodává s tím, že je to její víceméně věrná reprezentace.

Problém bullshitu v LLM má více rovin, a podle mě nejhorší je ta, že se jaksi celoplošně normalizuje blábol a vágnost vydávající se za fakta.

Vy i já víte, že LLM můžeme věřit max. na 90 %, a asi si taky dáváte pozor a ověřujete, co generuje. Není to Wikipedia, putničkářsky kalibrovaná databáze faktů, není to Wolfram Alpha se skutečnou schopností tahat solidní data a s nimi počítat pomocí zákonů matematiky.

Přitom přibývá uživatelů (seniorů, dětí i prostě netechnických laiků), kteří chatboty považují za všeznalostní expertní databázi, jakési Orakulum. Vygenerované výstupy pak lidé publikují či jimi argumentují a nové modely se jimi dál krmí. (Elon Musk to chce vyřešit jednou provždy tím, že požádá Grok, aby sám sebe vyčistil a domyslel, co chybí a už bude všechna moudrost lidstva na jednom místě. Tomu máme věřit?)

S faktickými chybami z úst chatbotů se setkáváme denně. Čím víc budeme dávat rovnítko mezi vševědoucnost a LLM, tím častěji se různé online služby napojí na modely, tím častěji budeme vystaveni bullshitu. (Jo, sám mám máslo na hlavě: bot, co doporučuje knihy v našem eshopu občas poradí knihu od konkurence – v rámci možností zkoušíme, co se dá změnit, aby to nedělal). V reálném světě se důsledky pohybují na škále od takových komických chybiček až (jednou nepochybně) po kosmické omyly, zatím podle toho, jaký vliv na svět má ten, kdo se odpovědí bude řídit. Limitace ale končí. Věděli jste, že někteří agenti (autonomní aplikace napojené na „reálný svět”) často využívají LLM pro „řízení své logiky”? No potěš: prý logiky.

Představte si, že by vás GPS při téměř každé cestě tahala po všech čertech, jak jí zrovna hod kostkou vyšel (a pak se třeba v Králově poli omluvila se smutnou emoji, že jste měli pravdu, když jste říkali Karlovy vary)... Většina dostupných chatovacích aplikací tak nabízí službu nízké spolehlivosti – vzhledem k tomu, co publikum očekává. Je to placený nástroj, který ale neumí spolehlivě citovat z PDF, které tam nahrajete. Neumí počítat stejně spolehlivě jako padesát let stará kalkulačka. Neumí na rozdíl od dítěte vymyslet, jak přeskládat kolečka na Hanojských věžích. Zato prý ohrožuje vaši pracovní pozici, protože jste hloupější. 

Nedávno jsem postřehl citaci z rozhovoru s jedním kamarádem (kterého si vážím), cituji: „Nejchytřejší lidé AI odmítají, protože jejich ego jim nedovolí přijmout existenci entity, která jejich práci udělá stejně dobře.“ Asi chápu, kam míří, a s první částí věty souhlasím: nejchytřejší lidé (k nimž se nepočítám, takže jen z pozorování) se většinou nejvíc drží zpátky. Za to jim patří obdiv. Důvodem ale nejsou primárně jejich chorá ega (to by pak nebyli zrovna nejchytřejšími), ale čekání na data, skutečné důkazy, evidence-based oporu. A pak si vezmou pauzu na přemýšlení. A teprve pak se opožděně pustí do „věření entitám”.

Jeden pohled na věc může být, že celý výstup LLM je halucinace designovaná tak, aby působila jako pravdivá reprezentace reality. Obvykle u dobře zatrénovaných faktických otázek se odpověď překrývá s něčím, co je pravdě blízko (protože pravdivé věci nejčastěji zapisujeme a tak jsou statisticky nejčastěji odvozeny ze zapsaných či publikovaných dat), ale když je potřeba zobecnění, abstrakce a přesunu do jiné domény, generuje LLM nezřídka něco, co se s pravdou shoduje jen částečně, nebo vůbec. Ale neví o tom, neumí na to upozornit a říct: toto je tak na 80 % pravdivá odpověď. Pokud si jako lidé rozporu všimneme, mluvíme o halucinaci, ale pokud rozpor náhodou nedetekujeme, odpověď snadno vezmeme za „fakt” (zde volně parafrázuji Katie Mack).

Kdo nechce psát, tool si najde

Pro nakladatele a autora mého typu je jazyk podstatou existence, obživou i láskou. Z mého pohledu na každém jednom slově záleží, pravá synonyma neexistují a autentičnost tvůrce je nade vším. Vím ale také, že toto je můj velice specifický pohled a nikomu jej nechci vnucovat.

Přesto vám dám námět na experiment. Než zase příště začnete něco číst anebo psát, zadejte prompt sami sobě: proč vlastně čtu? proč vlastně píšu? A až si na něj odpovíte, znovu se zapromptujte, proč jste odpověděli tak, jak jste odpověděli – a takto to zopakujte ještě 3x, do hloubky pět. A napište mi, na co jste přišli a klidně diskutujte pod článkem! Těším se.

(článek reflektuje kvalitu LLM modelů ke dni 22. 6. 2025)

V tomto článku se vyhýbám byznysové, společenské, etické a politické rovině problematiky. Text volně navazuje na dříve publikovaný Věděli jste, že AI nemusíte používat? profesorky Bryson, a také na mou recenzi bestselleru Nexus od Yuvala Harariho.