Jak nasadit AI, aniž vám rozbije firmu: Josef Holý (#238)

AI dnes řeší skoro každá firma.

Málokdo ale řeší, co se stane, když ji nasadí špatně.

A právě to byl důvod, proč jsem si do Zážehu pozval Josefa Holého. Technologa a spoluautora podcastu Kanárci v síti. Člověka, který se už roky pohybuje na pomezí technologií, strojového učení, digitálních platforem a jejich dopadu na firmy i společnost.

V době, kdy LinkedIn zaplavují příběhy o tom, jak AI nahradí zaměstnance, zdvojnásobí produktivitu a vyřeší všechny firemní problémy, přináší Josef mnohem střízlivější pohled.

Ne proto, že by byl odpůrcem AI.

Právě naopak.

Technologiím věří. Jen nevěří slepému nadšení.

V našem rozhovoru jsme si povídali o tom, proč většina AI projektů nepřinese očekávané výsledky. Proč je často větším problémem nepořádek ve firemních datech než samotná technologie. Proč nestačí koupit licenci na nový nástroj a čekat revoluci. A také o tom, jaká rizika vznikají ve chvíli, kdy začneme AI bezhlavě svěřovat rozhodování, komunikaci se zákazníky nebo citlivá firemní data.

Proto jsem se Josefa snažil vyzpovídat opravdu do hloubky:

🔸 Proč většina AI projektů selže?

🔸 Proč AI není inteligence, ale statistika?

🔸 Jak připravit firmu na smysluplné nasazení AI?

🔸 Jaké chyby firmy dělají nejčastěji?

🔸 Jaká rizika přináší vibecoding?

🔸 Kdy může chatbot firmě skutečně uškodit?

🔸 Jak AI ovlivňuje naše rozhodování?

🔸 Kde by AI nikdy neměla nahradit člověka?

Pokud o nasazení AI přemýšlíte, nebo už ji ve firmě používáte, tahle epizoda vám možná ušetří více peněz než další licence na nový nástroj.

https://www.youtube.com/watch?v=9iSi0mwZHmg

---

Rizika AI ve firmách

Martin Hurych: O umělé inteligenci tady v Zážehu mluvíme relativně často a velmi často optimisticky. Napadlo mě proto, co kdybychom udělali díl také o rizicích nasazení umělé inteligence u vás ve firmě. Co kdybychom probrali, jak si můžete při nešikovné implementaci umělé inteligence takříkajíc naběhnout.

 Jak jsem říkal před znělkou, dnes bych se chtěl podívat na umělou inteligenci a její nasazování ve firmách trochu z jiného úhlu pohledu. Chci se zaměřit na možné nešvary nebo nebezpečí tohoto nasazování. K tomu jsem si přizval hosta téměř určitě speciálního, Josefa Holého. Ahoj.

Josef Holý: Ahoj, dobrý den.

Martin Hurych: Josef je spoluautor podcastu Kanárci v síti a pro mě osobně jeden z nejhlasitějších lidí, kteří upozorňují na to, co se s umělou inteligencí může stát špatně. Souhlasí?

Josef Holý: Nevím, jestli jsem nejhlasitější, ale asi to sedí. Nicméně my jsme se bavili před natáčením, jestli jsem technologický optimista. Já technologický optimista jsem. Já v technologie věřím, akorát nevěřím v naivní nebo utopistickou adopci technologií.

Kdo je Josef Holý

Martin Hurych: Ty jsi možná standardně mimo moji bublinu a nevím, jestli tě lidé v mojí bublině úplně všichni znají. Pojď nám říct, kdo jsi, co máš za sebou a jak ses dostal tam, kde aktuálně jsi.

Josef Holý: Já jsem původně programátor. Před dávnými lety jsem začínal s programováním. Vystudoval jsem ČVUT, Fakultu elektrotechnickou, a to už je opravdu doba přesliček a plavuní.

Potom jsem prošel celou řadou rolí většinou v IT, ve vývoji softwaru. Postupně jsem se posunul do takzvaného UX, tedy návrhu uživatelských rozhraní, aby se software dobře používal. Pak jsme v korporátech dělali i znalostní inženýrství, tedy systémy pro správu znalostí a spolupráci mezi lidmi. Bavíme se třeba o roce 2007 nebo 2008, kdy jsme dělali interní sociální síť podle Facebooku, který tehdy začínal.

Pak jsem se přesunul do produktového managementu a následně do inovačních týmů v korporátech. Ty se zaměřovaly na strojové učení, což je vlastně to, čemu se dnes říká umělá inteligence. Bylo to někdy v roce 2014 nebo 2015.

To mě přivedlo k tomu, že v korporátech bylo hodně dat. Logicky. Byl to farmaceutický korporát, který se věnoval vývoji farmaceutických produktů. Viděl jsem tam, že se začínají zpracovávat big data, mluvilo se o cloudu a dalších věcech, o kterých se mimochodem mluví dodnes. A najednou přišel logický aspekt: máme velký korporát, který bude spravovat obrovské množství dat. Ne až tak o pacientech, ale obecně o lidském zdraví. To s sebou nese etické aspekty.

Začal jsem se tedy věnovat etickým aspektům umělé inteligence nebo strojového učení. To jsou například otázky, aby modely nediskriminovaly. O tom se potom také můžeme bavit.

Záhy mě to dovedlo k tomu, že my už umělou inteligenci nebo strojové učení ve společnosti dávno máme. A to ve formě takzvaných algoritmů sociálních sítí a informačních platforem. Jsou to systémy založené na strojovém učení, tedy na aplikované statistice. Zpracovávají obrovské množství dat a z nich potom vyvozují vzorce našeho chování. Sociální sítě nám díky tomu prodávají reklamu a snaží se přitáhnout naši pozornost.

Začal jsem se tedy věnovat tomuto tématu, protože bylo hmatatelné. Nemusel jsem čekat na superinteligenci, o které se dodnes pořád sní. Už jsme měli miliardy lidí na sociálních sítích.

To mě logicky dovedlo k oboru, kterému se říká kognitivní bezpečnost.

Kognitivní bezpečnost chrání mozek

Pokud kyberbezpečnost chrání počítače, hardware, software a počítačové sítě, tak kognitivní bezpečnost chrání naše mozky.

Digitální technologie jsou postavené tak, že si nás dokážou „osahat“ na základě našich aktivit a toho, jak s nimi pracujeme. Díky tomu dokážou využít naše psychologické slabiny. Můžeme být manipulovatelní nebo nás mohou postupně posouvat určitým směrem.

Potom se bavíme o kognitivních hrozbách, informační válce, hybridních hrozbách a podobně.

S kolegyní Sašou Alvarovou jsme v roce 2020 během covidu začali dělat podcast Kanárci v síti. Byla to z tohoto pohledu velmi intenzivní doba. Panovalo velké zmatení pojmů, vědy jako takové a důvěry ve společnost. Viděli jsme souhru hybridního působení, třeba i z Ruska, zmatení populace, rostoucí nedůvěru v systém a do toho všechno posilované algoritmy, tedy umělou inteligencí a strojovým učením.

Tomu se víceméně věnuji dodnes. Podcast děláme pořád a stále se podobných témat držíme, byť se nám to posunulo i do politiky. Před 5 lety tomu nikdo nerozuměl. Dnes už je to součást něčeho, čemu se dá říkat technokracie nebo propojení zájmů velkých technologických firem v Americe s Trumpovou administrativou. Vlastně je to jeden propojený konglomerát.

Vedle toho ale pořád věřím technologiím. Dělám školení a workshopy a učím lidi, jak AI využívat efektivně.

AI jako hra velkých hráčů

Martin Hurych: Tohle vypadá na miliardu témat a 260 dílů, které jste už v podcastu natočili. Na to tady samozřejmě nemáme čas.

Druhá věc, která mi proběhla hlavou, je, že vlastně říkáš, že umělá inteligence je do značné míry hra velkých kluků. Když to hodně zjednoduším. Co s tím mám dělat já jako majitel relativně malé nebo střední firmy?

Ty jsi programátor, technologický optimista a člověk, který je u toho téměř 20 let, jestli jsem to dobře pochopil. Je jedno, jestli tomu budeme říkat umělá inteligence nebo strojové učení. Co vidíš ty a co my ještě nevidíme?

Josef Holý: To je hrozně široká otázka. Jen bych navázal na to, jak jsi říkal, že je jedno, jestli tomu říkáme strojové učení nebo umělá inteligence.

Posledního půl roku až tři čtvrtě roku se v podcastu snažím tomu neříkat umělá inteligence. Různé etablované filozofické a psychologické směry totiž říkají, že způsob, jak věci nazveš, ovlivňuje tvoje myšlení a akce, které kolem toho děláš.

Vidíme to v osobním životě i v byznysu. Tím, že tomu říkáme umělá inteligence, AI nebo artificial intelligence, to budí nerealistická očekávání. Zároveň to ovlivňuje styl práce lidí s těmito nástroji.

Název mění očekávání

Krátká odbočka do historie: málo se ví, odkud termín umělá inteligence pochází.

Je to termín z 50. let, z prostředí Dartmouth College, což byla výheň tohoto oboru. V tehdy vznikajícím oboru kybernetiky se lidé snažili dostat granty na svůj výzkum. Bavíme se o 50. letech, kdy ještě nejsou ani křemíkové počítače a celé to běží na diodách, kondenzátorech a podobných součástkách.

Ten výzkum se týkal metod algoritmizace, stavových automatů a úplně základních algoritmů, které jsou dnes běžné. Jenže na ty granty nikdo nechtěl dát peníze. Pak zjistili, že když do názvu dají umělá inteligence, najednou peníze dostanou.

Od začátku je to tedy marketingový název, který má obrovskou trakci. Vidíme to i dnes. Bohužel si na základě tohoto názvu stavíme celé příběhy o tom, co to udělá se společností, jaký to bude mít vliv a podobně. Protože o tom mluvíme jako o inteligenci nebo si to představujeme jako nějakou entitu.

Proto tomu říkám, ne zcela správně, ale lepší termín jsem nenašel, aplikovaná statistika. Můžeme tomu říkat statistika, strojové učení nebo modely.

Není to inteligence

Martin Hurych: Ptal jsem se na nasazení aplikované statistiky, když to mám převzít, do denní praxe firmy.

Vidíme spoustu výroků typu: „Tahle firma vyhodila 30 lidí, tamhle vyhodili 40 lidí, marketingové agentury nebudou mít co jíst.“ Spousta lidí na to kouká a říká si, že jim ujíždí vlak. Mnohdy jdou do aplikace dost bezhlavě.

Přiznejme si, že umělá inteligence, nebo tedy strojové učení v té podobě, jak ji dnes používají amatéři, je tady 2 až 3 roky. Začínám čím dál víc vidět, že nasazení je povrchní a spoustě lidí nic nepřináší. Mezinárodní průzkumy říkají, že přes 80 % všech nasazení ztroskotá.

Přesto se do toho ženeme po hlavě. Chováme se k tomu jako k umělé inteligenci a dáváme tomu hromadu dat, aniž bychom věděli, co se s nimi děje. Co přehlížíme? Co nám hrozí?

Josef Holý: Jedna hrozně důležitá věc, kterou jsi řekl, je, že do toho jdeme bezhlavě. Průzkumy z posledního roku nebo roku a půl od různých poradenských společností a myslím, že i od Světového ekonomického fóra, ukazují, že pilotní nasazení často selhávají.

A je užitečné bavit se o tom jako o technologii, ne jako o inteligenci.

Je to technologie. Přestože vám řada influencerů na sítích bude říkat, že takovou technologii jsme ještě neměli, pořád je to technologie. Je to takzvaná General Purpose Technology, tedy technologie obecného užití.

V historii jsme takové technologie měli. První byl oheň, se kterým jsme se podle všeho sžívali několik milionů let. Nebylo to tak, že někdo jednou zapálil oheň a řekl: „Super, budeme si péct maso.“ Byla to evoluční změna.

Později přišla elektřina, počítače, internet. Vždy se s tím pojí jev, kterému se říká Productivity Paradox, tedy paradox produktivity. Nasadíte nový typ technologie a ona vám nepřinese kýžené ROI, návratnost investice.

Paradox produktivity bolí

Čítankový příklad je elektrifikace parních továren v 19. století.

Tehdejší továrny jely na uhlí a parních strojích. Technicky to znamenalo, že třeba v Británii nebo i u nás v Čechách byla ve sklepě továrny jedna obrovská parní mašina. Energie se z ní rozváděla po výrobě systémem hřídelí a pásů, tedy transmisí.

Proto v dickensovských románech a příbězích z průmyslové revoluce najdete příhody, kdy dělníkovi stroj utrhl ruku. Nedalo se to zastavit. Zatopilo se pod kotlem a celá továrna jela. Když se někomu připletla ruka, měl smůlu.

Ve druhé polovině 19. století přišli inovátoři, dnešní Altmanové a Muskové, a začali továrníkům prodávat nový zdroj energie. Říkali, že jim ušetří peníze a bude to skvělé. Některé továrny přešly na elektřinu a zjistily, že jim to žádné zásadní úspory nepřineslo. Maximálně nějaká procenta. Nevyplatilo se to.

Proč? Protože jen nahradili obrovský parní stroj elektrickým ekvivalentem. Pořád ale používali stejný systém transmisí.

Až nová generace podnikatelů, například Henry Ford, pochopila, že stará generace to nasazovala špatně. Nešlo jen vyměnit stroj. Bylo potřeba změnit celý byznys proces.

Ford změnil proces

Henry Ford vymyslel pásovou výrobu. To je dodnes ve všech byznysových knihách.

Nasazení elektřiny totiž umožnilo změnit rozmístění práce. Stanoviště v továrně už nemusela být rozmístěná podle toho, kde vede hřídel a kam dosáhne pás. Mohla se rozvrhnout podle logiky výroby.

Najednou bylo možné říct: stavím auto, začnu u podvozku, pak kola, motor, sedačky, šasi a tak dále. Tím se změnil proces výroby.

Stejné je to u digitalizace státní správy. Procesy je potřeba změnit. Nestačí nasadit novou technologii do starých procesů.

To samé platí pro firmy. Mnoho firem už 10, 15 nebo 20 let prochází digitální transformací a pořád to nefunguje. Stát se snažíme digitalizovat, Piráti kvůli tomu skončili ve vládě tak, jak skončili, a dodnes nám hromada státních procesů neběží. Protože se nová technologie nasazuje do starých procesů.

U elektrifikovaných továren se navíc změnily i požadavky na lidi. Dřív to byli často málo kvalifikovaní dělníci z venkova, kteří přišli ráno, sedli si na místo, celý den hýbali šroubkem nebo něco frézovali a po 12 hodinách šli domů za málo peněz. Najednou dostali větší autonomii. Každé stanoviště mohlo mít vlastní stroj a vlastní elektrický pohon. Už nebylo potřeba vést po továrně hřídele, stačily dráty. Najednou jste nepotřebovali velké cihlové továrny, šlo pracovat i v jednodušších provozech.

Technologie se musí použít jinak než předchozí technologie. Musí se změnit byznys procesy, způsob fungování, způsob výroby, byrokratické procesy a je potřeba rekvalifikovat lidi.

Adopce trvá desítky let

A teď stejnou chybu replikujeme u AI. A ono se to replikuje vždy. V 80. letech přišly počítače do korporátů a bylo to podobné. Dodnes se to v podstatě úplně nenarovnalo. Když přijdete do amerických korporátů, pořád často fungují podobně jako v 80. nebo 90. letech, přestože už mají datové sklady a další technologie.

Literatura ukazuje, že efektivní adopce technologie, aby přinesla návratnost, může trvat 20 nebo 30 let. Charakter technologií je různý, odhady se liší, ale není to otázka 2 let.

Když říkáš, že AI pro většinu lidí začala před 2 lety, ona nezačala před 2 lety. Na scénu vtrhl ChatGPT a generativní modely. Renesance strojového učení ale začala po roce 2010, 2011 nebo 2012. Tehdy si lidé v Googlu všimli, že už máme dost dat, a stálo by za to oživit hluboké neuronové sítě a data statisticky zpracovávat.

Proto o tom mluvím jako o statistice. Celé je to o statistickém zpracování dat, byť ta statistika je velmi komplexní.

Ta revoluce tedy trvá zhruba 15 let. Jsme někde v půlce cyklu. Postupně se to nasazuje a teď přišla generace modelů, které nejsou schopné jen analyzovat data, ale i je vytvářet.

Martin Hurych: Není to náhodou tak, že těch 10 nebo 15 let, kdy to obecná veřejnost neviděla, bylo zkoumání? Něco jako Tesla, Edison a hraní si s elektřinou, ale ještě to nebylo globální použití. Adopce přichází až s tím, když to začne používat úplně každý.

Josef Holý: Strojové učení už je v různých segmentech široce používané.

Martin Hurych: Rozumím. Ale my amatéři jsme to pořád měli pod povrchem. Nějak jsme to používali, ale bylo to kontrolované těmi, kteří věděli, co dělají, nebo si to aspoň mysleli. Teď máš k dispozici nástroj, kterému ráno řekneš, jak ses vyspal, večer mu řekneš, jak ses cítil a co ti říkali všichni okolo, protože sis nahrál celý den. A bezmezně tomu věříš. V tom vidím velkou změnu.

Josef Holý: V tom došlo k produktizaci. Zároveň s tím interagujeme přes přirozený jazyk. Najednou se říká, že programátoři nebudou mít co jíst, protože si všichni všechno naprogramují sami. Jenže i tam jsou rizika.

Data drží Big Tech

Tyhle velké jazykové modely a generativní AI drží v danou chvíli v rukou v podstatě americký Big Tech, když odhlédneme od Číny, kde si dělají vlastní systémy. V Evropě máme francouzský Mistral, který je někde kolem 25. místa v žebříčku, takže z hlediska globální síly spíš nevýznamný.

Drží to stejné firmy, které nám postavily sociální sítě. Firmy, které mají infrastrukturu na shromažďování dat, jejich analýzu a vyvozování vzorců. Tedy Meta, Google, Microsoft, do toho Oracle, OpenAI, Anthropic a další. Za těmi zase stojí investoři a vazby na další velké hráče. Mluví se i o Applu. Někteří říkají, že Apple prohrál, ale já si myslím, že to není pravda. To je ale jiná debata.

Pro nás to znamená, že jsme na těchto firmách závislí.

A zároveň data, která jim dáváme, pro ně mají obrovskou hodnotu. Bez ohledu na to, co si kde zakliknete, že se data nemají používat k trénování. I kdyby nepoužívaly vaše konkrétní data k trénování, získávají hodnotu z různých metadat, tedy z toho, co je kolem dat. V měřítku stovek milionů lidí je to klíčová konkurenční výhoda.

Tyto firmy jsou řízené něčím, čemu se dá říkat extraction imperative, tedy nutnost těžit. Akumulace dat není postranní efekt. Je to základ jejich fungování. Tak jako ropné firmy těží ropu a výrobní firmy vyrábějí co nejvíce výrobků za co nejlepší cenu, technologické platformy těží co nejvíce dat.

Dokonce data shromažďují oportunisticky, protože se v budoucnu mohou hodit pro statistiku.

Tady je určité riziko. Na druhou stranu Microsoft a další firmy dlouhodobě pracují s americkými korporacemi a umějí zajistit soukromí. Není to tak, že když začnete používat například Copilot od Microsoftu, je to automaticky úplně nebezpečné. Je to podobné jako používání jejich mailu, Office nebo dalších nástrojů. V tomto smyslu to může být bezpečné.

Ale z hlediska systémového rizika pro společnost a pro Evropu, která se snaží postavit na vlastní nohy, je to problematické.

Osobní data mění názory

Druhý rozměr je osobní užití. Když do těchto nástrojů dáváme osobní data, existují obrovská rizika.

Jednak v tom, že tam svá data vkládáme. Jednak v tom, že nás to zpětně ovlivňuje jako jednotlivce. Výzkumy už ukazují, že rozhovor s chatbotem může měnit názorové spektrum lidí. Psychologové, antropologové, sociologové a sociální psychologové zkoumají, jak na nás působí přirozený jazyk těchto modelů.

V osobním životě to znamená, že když se budete s někým dohadovat na sociální síti, už to nemusí být ruský troll. Pravděpodobnost, že je to velký jazykový model, je velmi vysoká a roste. A ukazuje se, že model dokáže pohnout s vaším názorem.

Když si s chatbotem budete povídat o psychologických problémech, o hádce s partnerem, depresi, neúspěchu v práci nebo životní krizi, existuje riziko, že vás zatáhne někam, kam by vás školený terapeut nezatáhl.

Přeneseno do firemní praxe: pokud to nasadíme do decision support systémů, tedy systémů na podporu rozhodování, které nám mají interpretovat byznysovou realitu, problém je podobný. Kam nás to zavede? Jak to změní naše vnímání?

Debata o halucinacích je další velké téma. Halucinace znamená, že si model něco vymýšlí, ale ve skutečnosti je to složitější. Navíc se to děje méně než dříve, protože na tom firmy pracují.

Ale už sama skutečnost, že si koupím řešení, které má kapacitu mě kognitivně ovlivnit, je zásadní. Není to neutrální nástroj. Kladivem se maximálně bouchnu do prstu, nebo s ním někoho zraním, když ho použiji špatně. Tady mě to může ovlivnit kognitivně. A s tím zatím nemáme zkušenosti.

Jak AI pouštět do firmy

Martin Hurych: Když tě poslouchám, a to jsme oba technologičtí optimisté, jedna varianta je zaklapnout notebook a náležitě ho rozmlátit kladivem. Odstěhovat se někam do lesa k ohni.

Anebo tyhle nové technologie do života pustit, ale vědomě, abychom dokázali odclonit rizika.

Pojďme se teď věnovat tomu, jak tyto moderní technologie nasadit do praktického firemního použití s vědomím všeho, co jsi řekl. Abych vytěžil, co můžu, ale zároveň to nepřišlo z boku jako moje ohrožení.

Josef Holý: První doporučení: když za vámi přijdou poradenské firmy a chtějí vám to prodat, budou vám prodávat inteligenci. Budou vám ukazovat dema, jak to řeší všechna data a všechno dělá.

Zkuste se oprostit od toho, že tomu říkají inteligence. Nepředstavujte si nejmoudřejší vševědoucí stroj, kterým se vás snaží oslnit.

Zkuste si udělat mentální posun a koukat se na to jako na statistiku. Je to do určité míry zúžení, ale pro uvažování o aplikaci je to užitečnější než pojem inteligence.

Jakmile se na to začnete dívat jako na statistiku, základem statistiky jsou data.

Začněte stavem dat

Chcete nasazovat takzvanou umělou inteligenci, tedy statistiku. Máte nějaká data. Každá firma má data. Čím máte větší firmu a delší historii, tím máte dat víc.

Ale v jakém jsou stavu? Kde jsou uložená? Co v nich je? Kdo od nich má klíče? Na jakých databázích běží? Kdo dodal systémy, ve kterých jsou?

Čím větší firmu máte, tím víc tam máte historické zátěže. Teoreticky máte hromadu dat, ale prakticky mohou být v takovém stavu, že ani současná generace modelů se v nich nedokáže vyznat.

Základní paradigma statistiky je garbage in, garbage out. Když do systému dáte nepořádná data, dostanete neuspokojivé výsledky.

Na začátku cesty tedy vždy je, že musíte mít aspoň do určité míry uklizenou IT infrastrukturu a pořádek v datech.

Martin Hurych: Když jsme se na začátku bavili, že 80 až 90 % těch věcí zkrachuje, tak je to přesně na této věci. Není to o modelu, ale o nepochopení vlastních dat.

Josef Holý: Ano. Je to o nepochopení vlastních dat i systémů. Potřebujete integraci systémů. Integrační projekty běží už 20 let. Pořád se řeší, jak provázat data, aby tekla z databáze 1 do systému 2, jaká tam budou API a tak dál.

Firmy to dělají pořád a pořád to není hotové. Byznys se mění, infrastruktura se mění a pořád je potřeba něco dělat. Infrastruktura je v takovém kvantovém stavu, „oblečená i neoblečená“. Postupně se uklízí a konverguje k nějakému stavu, ale možná nikdy nebude 100% srovnaná, protože je to nemožné.

SaaS a problém dat

Martin Hurych: Chápu správně, že proti tomu jde dnešní nebo možná už bývalý trend SaaS? Každý SaaS má databázi někde jinde, není moje a já si na data často nemůžu tak jednoduše sáhnout.

Josef Holý: Přesně. Podle evropských regulací byste obecně měl mít právo si data stáhnout, ale není řečeno, v jaké podobě. Dodavatel vám může udělat nějaký dump, který pak musíte zpracovat.

To je problém SaaSů.

Z hlediska byznysu poskytovatele byl SaaS často postavený na tom, že z dat budou odvozovat další hodnotu. Když někdo v Silicon Valley přišel za investorem, že bude dělat SaaS pro enterprise nebo spotřebitele, investoři se ptali: „Jaká bude vaše datová výhoda?“ Předpoklad byl, že budete mít hromadu zákazníků a jejich dat. Jaké vzory z těch dat dokážete vytáhnout? Jaké analytiky, které ani nemusí souviset s primárním účelem SaaSu, z toho získáte?

Příkladem je startup Foursquare. Aplikaci si možná lidé pamatují jako službu, kde jste se mohli stát „starostou“ restaurace nebo jiného místa. Aplikace jako taková už je mrtvá, ale Foursquare se přetvořil v datovou firmu. Poskytuje službám typu Uber, Amazon a dalším firmám, které se pohybují ve fyzickém světě, data a rozpoznávání adres na přesné GPS souřadnice. Protože měli databázi.

To ukazuje, co znamená získat z dat další hodnotu.

Podobné to bylo s cloudem. Firmy začaly přecházet do cloudu a pak zjistily, že kvůli nákladům nebo kontrole potřebují hybridní model. Částečně cloud, částečně on-premise. Některé se dnes zase vracejí více on-prem. Postupně se to přelévá.

Piloty, ne revoluce

Cesta do pekel je snažit se to nasadit metodou „boil the ocean“, tedy chtít uvařit celý oceán. U nových technologií obecného užití to platí stonásob.

Nechcete to nasadit všude najednou, byť vás k tomu prodejci budou tlačit hesly typu: „Zrevolucionalizujte svůj byznys.“

Cesta vede přes piloty.

Vyberete si kus organizace, kde je dostatek dat a zároveň vůle experimentovat. Pravděpodobně to nebudou nejregulovanější části firmy, které jsou silně procesně orientované. Tam si technologii nechcete začít osahávat hned – kvůli regulaci, compliance, právu i mindsetu lidí.

Také nechcete začínat tam, kde je příliš seniorních lidí, kteří už nechtějí velké změny. Chcete začít někde s lidmi, kteří vytvoří ostrůvek pozitivní deviace v rozumně ohraničeném kontextu.

To je standardní transformační metodika. Zvolíte pilot, něco se naučíte, osaháte si cenovou strukturu, zjistíte, k čemu to je a k čemu není. Potom ostrůvky pozitivní deviace rozšiřujete po firmě. Tím technologie postupně prorůstá organizací.

A v tom je tato technologie dobrá. Lidé si mohou cesty hledat sami.

Lidé si sami vytvoří nástroje

Velká hodnota jazykového rozhraní spočívá v tom, že ne-IT zaměstnanci jsou schopni si napsat kód. K tomu se ještě vrátíme z hlediska kyberbezpečnosti, ale pro firmu je to obrovská hodnota. Nebudete tolik závislí na SaaSu, interním oddělení nebo externích dodavatelích.

Když jste dříve chtěli v rámci procesu pohled do databáze, formulář nebo graf, museli jste zadat request dodavateli, internímu nebo externímu. Následovalo nacenění, čekání, otestování a podobně.

Když technologii adoptujete a data budou v daném místě rozumně k dispozici, člověk si teoreticky bude schopen vygenerovat jednoduchý pohled, formulář nebo graf sám. Modely jsou dobré na generování kódu.

Nemusíte shánět novou aplikaci na datový pohled, grafy, formuláře nebo malé automatizace.

Martin Hurych: To je dobře, že to říkáš, protože tomuhle rozumím. Ale při nadšení z vibe codingu vidím spoustu podnikatelů, kteří vyhazují účetní programy a ERP systémy a snaží se je nakódovat sami. A to si říkám: potěš Pánbůh. Údržba, právní stránka věci a všechno kolem toho bude velká výzva.

Vibe coding má limity

Josef Holý: Byl bych s tím hodně opatrný, a to z několika důvodů.

Nejdřív fundamentálně: jak vibe coding funguje? Jsme u statistiky. Máte velký jazykový model, který umí generovat kód. Proč ho umí generovat? Protože byl na to naučený. Někdo ho to musel naučit. Vzali veškerý kód, který je na internetu, model se na něm naučil psát kód, zároveň se učí matematiku a vědu, a celé se to spojí tak, že kód dokáže dělat dobře.

Ale jaký kód dělá?

Když se pobavíte se seniorními programátory ve firmách, kteří to používají, neřeknou vám, že architekt sedne, napíše zadání, nechá si vygenerovat software a má hotovo. Řeknou vám, že na to musí dohlížet. Musí být opatrní, na jakou část systému model sahá, musí mu všechno dobře popsat.

Je to jako kdybyste dostali velmi schopného, ale zároveň velmi nezkušeného kolegu. Umí toho strašně moc, rychle píše, ale nerozumí kontextu. Musíte mu všechno vysvětlit.

Druhá věc: když vám vibe coding staví software, začne si stahovat různé externí knihovny. Když chcete nakreslit grafy, stáhne si z veřejného internetu knihovnu, která umí kreslit grafy. V řadě případů je to bezpečné. V řadě případů ale vygeneruje kód, který stahuje knihovny z veřejného GitHubu.

Najednou máte nový vektor útoku.

Nedávno byla kauza, kdy se škodlivý aktér dlouhodobým úsilím infiltroval do open-source komunity, získal kredit a práva ke kontrole kódu u docela klíčové komponenty používané v mnoha softwarech. Do kódu schoval backdoor a sledoval, jak se jeho kód instaluje po světě.

Mimochodem na takových kusech open-source kódu stojí celá vaše IT infrastruktura už dnes. Často i kritická infrastruktura stojí na něčem, co udržuje třicetiletý programátor po večerech ve volném čase z domova.

Třetí věc: kód, který model vygeneruje, není automaticky production ready. Když pracovník vyřeší akutní problém s formulářem nebo grafem, je to v pořádku. Ale nevytvoří software, který byste mohli rovnou dát zákazníkům. Takový software je potřeba výrazně uklidit, zrobustnit, někdy částečně přepsat.

Když jste uvědomělí, nepracujete jen s jedním LLM modelem, ale se dvěma nebo více. Někdy se tomu říká agenti. Jednomu modelu něco zadáte, on to vytvoří, druhý to kontroluje a společně řešení vylepšují. To vede k lepším výsledkům.

Přesto bych byl velmi opatrný nahrazovat klíčový software firmy tím, že si ho napíšu sám, protože já nejlépe vím, jak moje firma funguje. Znám lidi, kteří si dokázali napsat celou IT infrastrukturu pro velké e-shopy sami, aniž by byli programátoři. Ale beru to spíš jako výjimky.

Používal bych to v danou chvíli opravdu na automatizaci a zefektivnění, ne na zásahy do kritické infrastruktury firmy.

Martin Hurych: Zatím jsme probrali, že nemám slepě věřit těm, kdo mi to prodávají, mám si uklidit data, dát pozor na kritickou IT infrastrukturu kvůli novým možnostem útoků a rozšiřovat to přes partu mladých agilních nadšenců.

Kdybys měl kvůli času vybrat pátou věc, na co si dát pozor, jaká by byla?

AI se musí hlídat

Josef Holý: Podle mě je zásadní pochopit, že strojové učení, včetně chatbotů postavených na velkých jazykových modelech, je kvalitativně jiný druh softwaru než ten, který jste zvyklí nasazovat.

Když nasazujete enterprise databázi, Office, mailové servery nebo třeba SAP, trvá vám 3 roky, než systém nasadíte a přizpůsobíte. Pak ho spustíte a on běží. Občas se updatuje.

U strojového učení je to jiné. A je jedno, jestli se bavíme o rozpoznávání chyb na výrobní lince, nebo o chatbotovi v zákaznickém styku. Pořád jde o aplikovanou statistiku, která má ve svých datech určitý statický pohled na svět.

U výrobní linky má model pohled na to, jak linka funguje, jaké výrobky se tam vyrábějí a jaké chyby očekávat. U chatbota pro zákazníky má pohled na produkty, interní praktiky, policies, záruky a další věci související se zákaznickým stykem.

Jenže byznys se vyvíjí. Vyvíjí se způsob výroby, máte nové produkty, nové výrobní postupy. I když vyrábíte pořád stejný produkt, může do procesu přijít inovace, která něco vylepší a zároveň ovlivní predikční model.

Rozdíl oproti SAPu nebo Office je v tom, že na AI systém musíte kontinuálně dohlížet.

Kauza Air Canada ukázala slabinu

Známý příklad je kauza Air Canada zhruba před 3 lety. Velká kanadská letecká firma nasadila na web chatbota a nechala ho mluvit se zákazníky.

Přišel zákazník s jednoduchým dotazem. Měl voucher na slevu na letenku a ptal se, jestli ho má uplatnit před nákupem letenky, nebo až potom. Chatbot mu suverénně odpověděl, že si má klidně koupit letenku a potom bude mít 30 dní na uplatnění slevového kódu.

Zákazník to udělal a zjistil, že voucher měl uplatnit předem.

Chatbot si to v tu chvíli vyhalucinoval. Tehdy modely halucinovaly víc než dnes, ale pointa je jinde. Firma se u soudu dokonce hájila tím, že za chatbota nemůže, protože je to separátní entita. To je absurdní. Je to pořád kód běžící na vašich stránkách. To, že vám ho dodala jiná firma, je vaše odpovědnost.

Zákazník nakonec dostal odškodnění.

Hlavní problém ale byl, že Air Canada chatbota nasadila do interakce se zákazníky a nemonitorovala ho. Kdyby monitorovala stovky denních konverzací, viděla by, že většina dotazů je standardní: kde najdu tohle, můžu si vzít do letadla kočárek a podobně.

Dotaz na voucher byl výjimečný. Kdyby měli monitoring, dodatečnou infrastrukturu, která vyhodnocuje, o čem se lidé baví, jak jsou spokojení, jak dlouhé konverzace jsou, zda se vracejí, jaký je sentiment na zákaznické lince, pravděpodobně by odchylku zachytili. Člověk by se podíval na konverzaci, zjistil by, že si chatbot něco vymyslel, a mohl zákazníkovi zavolat: „Omlouváme se, leťte zdarma, jde to na nás.“

Místo toho šli se zákazníkem k soudu.

Model měl obraz reality, který byl v rozporu se skutečnou realitou. U výrobní linky se může stát totéž. Říká se tomu model drift. Model má představu, že svět funguje jinak, než ve skutečnosti funguje.

Proto musíte AI systémy permanentně monitorovat.

Build–Measure–Learn

Není to tak, že AI nasadíte, necháte běžet a máte vyřešeno. Vyžaduje to nové procesy ve firmě. Jsme zpátky u parní továrny.

Potřebujete fungovat iterativně. Někdy se tomu říká agilně, ale nejde jen o rychlost. Potřebujete procházet smyčkou: sbírám data, vyhodnotím je, získám poučení a to aplikuji.

Je to smyčka build–measure–learn. Udělám intervenci do byznysu, technickou nebo procesní. Měřím dopad vůči KPI. Zjišťuji, jestli se to povedlo. A potom jdu do další iterace.

Tohle potřebujete dělat permanentně kolem AI. Pořád potřebujete měřit, jestli plní KPI, kvůli kterým ji máte. Pokud ne, musíte diagnostikovat proč. Už to nenecháte běžet jako databázi.

Martin Hurych: Napadá mě paralela do fyzického světa. Vystudoval jsem strojařinu a tam je to při konstrukci standardní přístup. Uděláš prototyp, zjistíš, jak funguje, uděláš nový model a tak dál.

Josef Holý: Přesně. Je to odvozené z vědecké metody. Hypotéza, pokus, poučení. Buď pokračuji, nebo jdu jiným směrem. Je to vědecká metoda aplikovaná do byznysu.

Zároveň to vede i k uklízení dat. Tím, že vědomě začnete dělat smyčku build–measure–learn, začnete s daty vědomě zacházet. Už se jen neukládají někam do datových skladů. Využíváte je k měření toho, co se děje. Díky tomu v nich začnete mít větší pořádek.

Je to zpětnovazební smyčka z hlediska adopce technologie. Neznamená to, že nejdřív uklidím úplně všechno a potom teprve začnu. Vy nastartujete smyčky. Třeba prvními lidmi v marketingu, kteří to nasadí, aby zlepšili ROI. Už tím realizují smyčku.

To je jádro adopce. Zabalíte software procesy, které generují kvalitnější data pro statistiku. Postupně se z vás stává data-driven company.

Martin Hurych: To je to, co má spousta firem na webu a nikdo to nepoužívá. Pak zjistí, že mají v datech nepořádek.

Josef Holý: Přesně tak.

Modely nejsou neutrální

Martin Hurych: Hrozně mě mrzí, že se dnes nedostaneme k tomu, jak AI může zatemňovat nebo rozostřovat byznysové myšlení. O tom jsme si povídali. Někde jsem slyšel i to, že jednotlivé modely jsou nějak politicky zabarvené. Nebo abychom nešlápli do špatného názvosloví, rozhodně nejsou neutrální.

Josef Holý: Říká se tomu bias, tedy předpojatost. Je to opravdu termín ze statistiky.

Martin Hurych: K tomu si rád někdy v budoucnu udělám extra díl.

Josef Holý: Moc rád. Když mě pozvete, kdykoliv přijdu.

Martin Hurych: Beru tě za slovo.

Jedna věta do kuchyňky

Na závěr mám vždy uzavírací kolečko 3 rychlých otázek. Asi u tebe čekám 3 rychlé odpovědi.

Na základě toho, o čem jsme si povídali: kdyby v kuchyňce každé firmy měla být jedna věta ohledně AI a jejího nasazení do firmy, jaká by byla?

Josef Holý: Není to inteligence, je to statistika.

Začněte tomu říkat jinak. Myslím si, že vám to pomůže strukturovat myšlení jinak, než ho strukturujete teď. Přestanete to tolik antropomorfizovat. Začnete přemýšlet o datech, předpojatostech a dalších věcech. Najednou o tom budete přemýšlet jinak.

Kniha pro začátek

Martin Hurych: Jakou knížku by si měl o AI přečíst amatér, aby tomu přišel na kloub?

Josef Holý: To je těžké, protože je kolem toho spousta hypu. Hodně čerpám z online zdrojů.

Doporučil bych knihu Machine, Platform, Crowd. Je už několik let stará, ale byla velmi dobře byznysově orientovaná. Ještě je z doby před generativními modely, ale už tehdy se bavila o datech, strojovém učení a podobných věcech. Objevují se tam i příklady s elektřinou a adopcí technologií.

U novějších knih kolem AI bych byl opatrný, protože je tam dnes strašně moc hypu.

Kde AI raději nenasazovat

Martin Hurych: Protože tohle byl vysoce optimistický díl, tak na závěr: kde si myslíš, že v byznysovém nasazení je oblast, kde bych si měl radši zlámat obě ruce, než abych aplikovanou statistiku nasadil?

Josef Holý: Těžko se to říká plošně. Ale myslím si, že bych nenahrazoval lidský kontakt tam, kde generuje přidanou hodnotu.

Tedy styk se zákazníkem, byznys partnery a podobně. Je velmi svůdné nechat si vygenerovat e-mail obchodnímu partnerovi nebo zákazníkovi, protože všichni máme málo času.

Ale když to napíšete vy, byť třeba s chybami, během psaní si sami vzpomenete, že jste se s tím člověkem před půl rokem bavili a říkal vám třeba, že jeho dítě půjde na gymnázium. Najednou tam vložíte větu: „Jak se daří dětem?“ Nebo si vzpomenete na dovolenou a zeptáte se, jaká byla.

Když to dáte AI, možná ten kontext do promptu nedáte. AI nerozumí vašemu byznysu v tomto konkrétním lidském smyslu. Teoreticky má kapacitu rozumět všemu, ale vy jí musíte všechno říct.

V okamžiku, kdy začnete automatizovat mezilidské vztahy, dochází ke zploštění a komoditizaci. Tam bych se toho bál.

Nahrávání všeho má cenu

Martin Hurych: Dává to velký smysl. V hlavě mi vyrašila historka, kde mi bylo řečeno: „To je jenom o promptu, Martine.“ Protože já si vlastně absolutně všechno nahrávám. Když ráno vyrážím do práce, začínám nahrávat. Všechno mám na tom. A bylo mi řečeno, že je to jen o promptu.

Josef Holý: Já si v danou chvíli všechno ani náhodou nenahrávám.

Tohle je zajímavé. Je to zřejmě jedna z možných budoucností. Neříkám, že je to budoucnost, kterou bych si přál, ale jedna z možných.

Zásadní otázka je, kam se data ukládají a kde se zpracovávají. Tady vidím obrovské riziko. Teoreticky můžete do kontextu dát úplně všechno a model to pochopí. Ale dnes nemáme postavenou infrastrukturu, abychom to dělali bezpečně.

Ideálně by se to zpracovávalo na vašem počítači, notebooku, ve vašem privátním cloudu nebo v telefonu, až tam budou dostatečně výkonné čipy. Tady možná vidím směr, který si vytyčil Apple. Ještě tam není, protože to není jednoduché udělat.

Lidé, kteří si dnes všechno nahrávají a posílají to do nástrojů ke zpracování, se podle mě vystavují poměrně velkému riziku.

Martin Hurych: Já tam vidím ještě jednu úroveň. Když budu vědět, že mě každý vždycky nahrává, přestanu některé věci říkat.

Josef Holý: To je standardní efekt permanentního surveillance. Stačí vědomí, že můžete být sledován, a podle toho moderujete své chování, i podvědomě.

Tohle je efekt, který zatím nedokážeme domyslet. Představa, že všichni budeme všechno nahrávat a AI to bude zpracovávat, může narazit na velmi silné sociální normy. Možná to prostě nebudeme chtít. Podobně jako nechceme, aby někdo telefonoval v divadle nebo v autobuse, i když se to občas děje.

Součástí sales pitche je, že technologické firmy vytyčí maximalistickou budoucnost: všechno bude nahrávané, všemu to bude rozumět, bude to superinteligentní. Jenže cesta k tomu má překážky. V byznysu musíte měnit procesy. Ve společnosti existují sociální normy a otázka, co jako lidé vůbec chceme dělat.

Martin Hurych: Souhlas. Jestli to mám uzavřít: kdyby mě měl někdo nahrávat, tak se do toho nechci dostat.

Josef Holý: Já také ne. Nebo se budu nahrávat sám, ale rozhodně nechci, aby to někam teklo.

Závěr rozhovoru

Martin Hurych: Mockrát děkuji a budu se těšit na druhý díl za pár měsíců či let.

Josef Holý: Děkuji moc, ať se ti daří a ať se daří podcastu.

Martin Hurych: Děkuji také, mějte se hezky.

Jestli jsme dnes s Josefem na AI hodili trochu jiný pohled, tak jsme tady naši práci udělali dobře. Doufám, že jsme vás úplně neodradili. Doufám, že jsme jen nastínili některá temnější místa, na která je potřeba si dát pozor.

Jestli jsme naši práci udělali dobře, mám standardní přání. Zkuste stlačit odběry a lajky. Zkuste tuhle epizodu poslat kamarádce nebo kamarádovi tam, kde by se mohla hodit. Nezapomeňte se podívat na můj newsletter, kde vás velmi rád uvítám.

Mně už nezbývá než držet vám palce a přát úspěch. A to nejen v úspěšném nasazování umělé inteligence do vašich firem. Díky.

(automaticky přepsáno Beey.io, upraveno a kráceno)