Jak může AI zničit důvěru ve vaši firmu: Jan Romportl (#241)

O umělé inteligenci se dnes mluví hlavně jako o nástroji, který zvýší produktivitu, ušetří čas a pomůže firmám růst. Jenže co když je to jen polovina příběhu? Co když stejná technologie pomůže i těm, kteří chtějí poškodit vaši firmu?

Přiznám se, že právě tohle mi při přípravě rozhovoru s Janem Romportlem došlo. O AI jsme v Zážehu mluvili už několikrát. O automatizaci, efektivitě, nových příležitostech. Jenže mnohem méně se mluví o tom, jak může AI zneužít konkurence, podvodníci nebo kdokoliv, kdo se rozhodne získat výhodu na váš účet.

A právě proto jsem si Jana pozval. Patří mezi nejzkušenější české odborníky na umělou inteligenci. AI se věnuje více než 25 let. Vedl datové a AI týmy v O2 i skupině PPF a dnes stojí za projektem ELIN AI, který pomáhá chránit děti před negativními dopady sociálních sítí.

V našem rozhovoru jsme se bavili o světě, který se rychle blíží. O světě, kde bude stále těžší poznat, co je pravda a co je podvrh. O světě, kde AI dokáže přesvědčivě napodobit člověka, sbírat informace o vaší firmě nebo vést útoky, které byly ještě před pár lety dostupné jen velkým organizacím a tajným službám. Proto jsem se Jana snažil vyzpovídat co nejvíc:

🔸 Jak může AI poškodit důvěru ve vaši firmu?

🔸 Jak budou vypadat AI útoky na firmy v příštích letech?

🔸 Proč už dnes nemusíte poznat, že (ne)komunikujete s člověkem?

🔸 Co mohou dělat majitelé a ředitelé firem už dnes?

🔸 A proč bude důvěra jednou z nejcennějších firemních komodit budoucnosti?

Pokud vedete firmu, která stojí na vztazích, reputaci a důvěře zákazníků, doporučuji doposlouchat až do konce.

Možná zjistíte, že největší AI hrozbou nejsou stroje. Ale lidé, kteří je budou používat.

https://www.youtube.com/watch?v=ujqrlAk7_PM

---

AI rizika pro firmy

Martin Hurych: O AI se v poslední době mluví hlavně v pozitivních konotacích. Napadlo vás ale, co z nasazení AI může hrozit vaší firmě? A nemyslím tím jen únik dat. Myslím tím, jestli jste se už zamysleli třeba nad tím, jak může vaše konkurence AI aktivně nasadit proti vám a vaší firmě.

O AI jsme tady v Zážehu mluvili už několikrát. Ale vzhledem k tomu, co se v poslední době děje v politice, v širším byznysovém prostředí i mezinárodně, mi došlo, že jsme se tady ještě nevěnovali rizikům nasazení AI obecně ve společnosti a v podnikání.

Dnes bych chtěl probrat jeden úhel pohledu: jak se AI v rukou třeba vaší konkurence dá zneužít proti vám. K tomu jsem si pozval hosta z nejpovolanějších. Dnes tady mám Jana Romportla. Dobrý den.

Jan Romportl: Dobrý den, díky za pozvání.

Martin Hurych: Jednu z nejhlasitějších a nejviditelnějších osobností, které okolo AI edukují. Díky za to, že jste tady, hrozně si toho vážím. Moje bublina vás, Honzo, nemusí úplně znát. Jak jste se profesně dostal k AI a dlužno říct i k projektu Elin.ai, který jsem zapomněl představit a představení si určitě zaslouží?

Jan Romportl a Elin.ai

Jan Romportl: Já jsem se k AI nedostal až teď. Dostal jsem se k ní před více než čtvrt stoletím. AI dělám celý profesní život, od roku 1999, kdy jsem ji začal studovat. To byly hodně dřevní doby. Jsem AI OG, tedy „original gangster“, v době dávno předtím, než bylo sexy dělat AI.

Velkou část kariéry jsem byl v akademickém výzkumu a vývoji aplikované AI. Hodně mě zajímal přesah do psychologie, psychiatrie, duševního zdraví, ale i filozofie a zároveň bezpečnosti AI.

V roce 2015 jsem s velkým nadšením po spoustě let odešel z akademického prostředí do firemního. Byl jsem Chief Data Scientist v O2, kde jsem měl na starosti big data platformu, zpracování dat, strojové učení a podobné věci. Pak jsem založil AI centrum DataClair v rámci skupiny PPF.

V roce 2022 jsem se rozhodl opustit krásné, teplé seniorní ředitelské místo ve skvělém komerčním prostředí. Na stará kolena jsem se rozhodl dělat startup Elin.ai, který chrání duševní zdraví dětí na sociálních sítích. K tomu se můžeme dostat později, protože to s bezpečností souvisí. Mám tedy pohled ze tří světů: akademie, korporátu a teď startupů a venture capitalu.

Martin Hurych: To je přesně ono, co mě na vás baví. Podle mě je to unikátní sada pohledů.

Když jsem přemýšlel nad tím, o čem si budeme povídat, říkal jsem to už před chvilkou: teď okolo AI vládne totální, zatím bych řekl opilecké nadšení. U někoho už to začíná trochu zavánět deliriem z toho, jak se AI může nebo nemůže používat. Všichni, kdo okolo mě mluví o AI, mluví hodně ofenzivně: používej to, je to prima, v byznysu se bez toho neobejdeš.

Skoro nikdo, kromě vás, moc nemluví o rizicích. Vy hodně mluvíte o těch osobních, možná se jich můžeme taky lehce dotknout, protože o tom je Elin.ai. Ale mě napadlo: když se bavíme o skvělých videích a o tom, jak AI zjednodušuje reklamy, jak daleko jsme od doby, kdy vyděrači nebo podvodníci budou jen digitální?

Digitální podvodníci už jsou tady

Jan Romportl: Myslím, že v tom období už prakticky jsme. Velmi se to blíží.

Ještě doplním svoji roli. Já teď trošku pracuji na tom, aby moje image byla víc optimistická, nejenom „doom and gloom“. Jsem v AI dlouho a v oblasti bezpečnosti AI jsem od roku 2011. Už v roce 2019, když vyšla GPT-2, jsem na LinkedInu vedl různé války, tehdy mě LinkedIn ještě trochu bavil, a varoval jsem před potenciálními riziky velkých jazykových modelů. To byla dřevní doba GPT-2.

Vysloužil jsem si tím image takového Gandalfa, který chodí do Gondoru a Rohanu, dělá bububu a varuje před něčím.

Trošku bych ale oponoval tomu, že teď ve všech směrech panuje jen optimismus kolem AI. U daleko větší skupiny, kterou už dnes vidím jako mainstreamovou, se najednou začíná objevovat zděšení. Já teď chodím do různých byznysových komunit a najednou jsem tam já ten optimista. Říkám si: sakra, co se to zase děje?

Lidé se často bojí AI ze špatných důvodů. Bojí se jí ne úplně objektivně a mně to začíná zavánět neoluddismem: všechno vypněme, zpátky na stromy. To bych nechtěl.

Chci na začátku deklarovat, že dobře udělaná AI, která se dobře prolne s ekonomikou, je v podstatě jediným naším možným řešením, doufejme, pro budoucí globální krize, které nás čekají. Krize změny klimatu, energetická krize, geopolitická krize. To jsou věci, na které jiná řešení nemáme. Třeba zdravotnictví: představa, že za 10 let by rakovina nebo Alzheimer nemusely být problém, je velmi dobrá budoucnost. A jediné, co nám k tomu může pomoct, je AI.

Vždycky jsem říkal: bez AI to nepůjde. Ale viděl jsem rizika.

Jedno z nich jste právě pojmenoval. Je potřeba ho vymezit, protože rizik je celá obrovská plejáda. Teď se pojďme podívat na rizika, která představuje generativní část AI.

Generativní AI mění realitu

Proč nemám úplně rád sousloví generativní AI? Protože to, že dnešní AI ve stylu velkých jazykových modelů něco generuje, tedy obrázky nebo texty, není v tom velkém strategickém pochopení AI to nejpodstatnější.

Ale v oblasti, o kterou jste si teď řekl, tedy deepfake, ředění reality a otázka, co je vůbec skutečné, je generativnost zcela zásadní.

Poprvé v historii lidstva máme k dispozici výpočetní nástroj, který je schopný manipulovat a vytvářet slova tak, že jejich sekvence jsou nerozlišitelné od toho, jako kdyby je generoval člověk. Zároveň je schopný integrovat a agregovat informace z velmi vzdálených informačních zdrojů tak, jak by to žádný člověk nemohl dělat.

Kompartmentalizace informací mizí

Velkou částí záruky bezpečnosti byla vždycky kompartmentalizace informací. Něco bylo ve Zlatých stránkách, něco na katastru, něco jinde. Když jste chtěli někoho zlikvidovat nebo se do někoho opřít, třeba do konkurence, stálo to strašně moc úsilí. Museli jste zaplatit hodně lidí, objet hodně míst a všechno to dát dohromady. A stejně jste vždycky dostali jen konkrétní snapshot, který byl třeba 3 nebo 5 let starý.

To byla kompartmentalizace informací.

Hodně se to projevuje třeba v totalitních režimech, které padají s tím, jak nejsou schopné na svých hliněných nohou obhospodařit fízlování obyvatel. Třeba Stasi ve východním Německu: když už třetina východních Němců byli v podstatě agenti, kteří bonzovali víceméně na svoji rodinu, celé se to sesypalo.

AI je první historický nebiologický, non-human nástroj, který je schopný tuhle kompartmentalizaci setřít. Dokáže se dívat na všechno právě teď, naráz a v podstatě realtime. Vidíme to hlavně v Číně.

První oblast je tedy generování textů. Druhá je rozředění kompartmentalizace znalostí. A třetí je generování pixelů. Pixelů tak, že to pro lidské oko vypadá jako nerozlišitelný obrázek vizuální reality.

To v historii lidstva neuměl nikdo. Možná někteří malíři uměli nanést pigment na plátno tak, že to vypadalo fotorealisticky. Ale pořád to byl obraz. Nebo fotografie. Teď je tady triáda, která je hlavně komoditizovaná. Může si ji dovolit v podstatě každý.

AI útok na konkrétní firmu

Martin Hurych: Jestli tomu dobře rozumím, dnes jsme v situaci, kdy velké modely dají dohromady někoho, kdo vypadá jako já. Díky textové části a generování zvuku mluví jako já. A ví toho o mně tolik, jako o sobě možná nevím ani já. Je to to riziko?

Jan Romportl: Ano.

Řekněme, že by někdo chtěl zkompromitovat konkurenci. V offline světě to šlo, ale bylo to náročné. V online světě bylo pořád potřeba velké množství ruční rešerše, výzkumu, stahování informací.

Dnes můžete vypustit AI agenta postaveného třeba nad top modely typu od Anthropic, nad Claude Opus 4, který je schopný vykonávat velmi dlouhé koherentní úlohy. Třeba úlohy, nad kterými by softwarový vývojář strávil 10 hodin.

Benchmarky se sice týkají programování, ale dá se to extrapolovat i do jiných oblastí: zpracování informací, analytika a jiné bílolímečkové práce. Za 10 hodin lidské analytické práce už vám to dnes AI automaticky udělá. Nemusíte platit 10 hodin středně schopného nebo velmi schopného člověka. Máte to za pár jednotek, možná nízké desítky dolarů nákladů za agenta.

A tyhle agenty můžete libovolně paralelizovat. Můžete tak vytvářet velmi realtimeovou intelligence, tedy zpravodajské informace z veřejných zdrojů, nad obrovským množstvím lidí, konkurencí a zdrojů.

A může to udělat v podstatě každý. Není to jen otázka tajných služeb nebo velkých firem. Každý zlý hráč, vyděrač, mafián nebo kretén je v podstatě schopný tohle zrealizovat.

Má na vás velmi přesvědčivé informace.

Další důležitý aspekt, který ještě před rokem realistický nebyl, je generování videa. Fotorealistické obrázky máme velmi dobré už 2 až 3 roky a pro lidské oko jsou v podstatě nerozlišitelné. Algoritmicky se pořád dají nějak identifikovat, ale ekosystém snadno dostupných aplikací, které vám řeknou „tohle je deepfake obrázek a tohle není“, zatím moc dobře nefunguje. Jsme v divokém západě.

Za poslední rok se objevily modely jako Sora, kterou sice OpenAI z komerčních důvodů vypnulo, ale konkurence existuje dál. Ty modely umějí generovat desítky sekund a možná už jednotky minut dlouhá, velmi koherentní, přesvědčivá fotorealistická videa.

To je ideální pro penetraci a sociální inženýrství.

Někdo se vám nabourá do firmy. Ne ve smyslu klasické kyberbezpečnosti, že někde prolomí hesla, ale začne vám tam psát. Začne si budovat vztah s někým, se salesákem, s někým na back office nebo na backendu firmy. Po textové stránce je to plně automatizované a už teď běžící. V posledním půlroce se k tomu přidává velmi realistický realtime zvuk na Teams. AI agent se připojí a věřím, že 20 nebo 30 lidí by nepoznalo, že se baví s AI.

A důležité je, že se postupně buduje vztah.

Ano, vždycky to mohl dělat člověk. Vždycky se na vás někdo mohl zaměřit a říct: pokusím se infiltrovat tuhle firmu. Ale bylo to extrémně nákladné. Teď se tahle nebezpečná služba zkomoditizovala.

Deepfake už krade peníze

Martin Hurych: Aby si posluchači a diváci nemysleli, že jen strašíme: v rámci přípravy rešerše na tenhle podcast jsem zjistil, že v Hongkongu, který rozhodně nelze považovat za nerozvinutou část světa, se firmě Arup, jedné z největších mezinárodních inženýrských firem, povedl husarský kousek. Poslala 25 milionů dolarů virtuálnímu člověku, který s nimi půl hodiny diskutoval na Teams callu.

Chci tím podtrhnout, že to, o čem se bavíme, není plané strašení. Už to reálně probíhá. Naštěstí daleko od nás, ale probíhá.

Jan Romportl: A může to být i mnohem méně nápadné a dlouhodobé.

Příklad i z naší firmy, ze startupu. Nedávno se stalo, že náš top člověk, vývojář a šéf vývoje, dostal WhatsApp zprávu ve stylu: „Michale, prosím tě, připravuji rychle nějaké podklady na to a to. Pošli mi své CV.“

Poslal ho. Byla to okamžitá reakce. Pak mi napsal a říká: „Hele, já si nejsem jistý, jestli...“ Samozřejmě jsem to nebyl já. Někdo, AI agent, se vydával za mě. Bylo to relativně stupidní.

Pointa je, že on už někam poslal interní CV s interními aktuálními informacemi. Člověk by si řekl: co se s tím stane? Nic moc. Ale je to kapička zdroje, ze kterého se dá vybudovat přesvědčivá znalost interních reálií firmy.

Když takhle postupně tu a tam automatizovaně odkápne od jednoho člověka ve vaší firmě nějaký dokument, není to samo o sobě tragédie. Ale u zlých aktérů se buduje znalostní báze velmi přesvědčivých reálií o vaší firmě. Je to dlouhodobá příprava na další možný útok.

Můžete si říct: to se nám přece nemůže stát. Jenže útočník to vyzkouší 100krát. Útočník má výhodu v tom, že mu stačí uspět jednou ze 100 pokusů. Obránce má nevýhodu v tom, že musí uspět 100krát ze 100.

Vždycky si útočník musel sehnat nástroje, aby mohl útok opakovaně realizovat na všechny možné strany. Teď se dostáváme do období, kdy se takové přesvědčivé sociálně-inženýrské útoky budou dít permanentně. Bude to permanentní záplava.

Nebude to tak, že se vám jednou za měsíc něco stane. Jednu dobu chodilo každý den 10 nigerijských e-mailů, že jste něco vyhráli. Tohle je to samé na megasteroidech.

Vždycky jsem se smál, jak někdo mohl naletět nigerijskému princi. Teď mi tuhne úsměv na rtech, protože i já si dovedu představit, že budu předmětem takové manipulace.

Postfaktická doba v byznysu

Martin Hurych: Co mě na vašich veřejných výstupech zaujalo, je, kam tohle všechno vede. Jedna věc je soustředěný útok na firmu. Ale potom jde o to, že já začnu být podezíravý. Cokoliv vidím, můžu apriori považovat za útok. A i věci, které jsou reálné, můžu začít podezírat a rozporovat.

Moje konkurence může to, co dělám já, začít vydávat za fake. Já se vlastně dostanu do nějaké rozmazané nerealitě, jestli bych to tak nazval.

Jan Romportl: Ano. To je postfaktická doba a je to velmi nebezpečné.

Vidíme to i v geopolitickém kognitivním válčení a hybridním působení. Když jsme vystaveni ruské válečné propagandě, jejím cílem není přesvědčit nás, že se někde něco reálně stalo v Rusku. Je to Rádio Jerevan: „Sovětští vědci vymysleli betonovou loď.“ Zní to jako kravina, ale když jsme tomu vystaveni příliš dlouho, začínáme si budovat model světa, ve kterém vlastně nic nemusí být pravda. I reálná pravda nemusí být pravda.

A to je daleko nebezpečnější než uvěřit nějakým bludům.

Nikdo nevěřil tomu, že sovětští vědci vymysleli betonovou loď. Problém byl, že nikdy nešlo věřit tomu, co v Rusku je a co není pravda. Jestli vůbec něco je pravda. Jestli vůbec něco je v Rusku. To je kolektivní psychotický stav. Velmi nebezpečný.

Tomuhle generativní AI extrémně nahrává. Je to nebezpečné v geopolitické oblasti, předvolební oblasti i ve válečném zpravodajství. Když jste se dívali na zpravodajství o Íránu, člověk vůbec neví. Nevíte, jestli Američané kvůli Trumpovi někde jsou, nebo nejsou. Jestli něco sestřelili, nebo nesestřelili. Někdo vám ukáže vybombardovanou ulici a už ani nepotřebuje naaranžované herce, kteří tam pláčou.

Vnitřní reakce pak je: „Mě to nezajímá. Já nevím. Já vůbec nevím.“ Taková regrese, zvláštní pocit vnitřního propadu a útlumu. To je nebezpečné pro nás jako lidstvo.

A když to posuneme do komerční oblasti nebo do oblasti spravedlnosti a vymáhání práva, dostáváme se do velmi problematické oblasti.

Deepfake porno a sextortion

Na osobní úrovni jsou tomu velmi intenzivně vystavené třeba teenagerky a obecně ženy. Deepfake porno se začíná šířit velmi intenzivně.

Zároveň se jim často děje sextortion. Skutečné citlivé erotické obrázky jsou z dívek buď vylákány profesionálními sextortion gangy a pak musí zaplatit bitcoin, aby to neuniklo, nebo to dělají bývalí partneři.

Člověk by řekl, že obrana může být říct: „To je fake.“ Ano, v nějakou chvíli může mít pozitivní aspekt to, že internet bude zaplavený videi úplně každého. Trochu to sníží kompromitační náboj. Ale je to Pyrrhovo vítězství. Je to velký problém.

A to, co popisuji u pornografických videí, se začíná dít i v byznysové oblasti.

Nahrávka může být pravda i fake

Třeba policejní dokazování a nahrávky. Zvukové nahrávky zatím do značné míry forenzně a matematicky identifikovat jdou, jestli byly nebo nebyly syntetické. Ale jedna věc je, co se skutečně stalo a co policie vypátrá. Druhá věc je mediální oblast a kouřová clona, která se kolem toho udělá.

Když někdo udělá obrovský průšvih, třeba korupční aféru, a někdo ho opravdu nahraje, nejjednodušší věc, kterou dotyčný opravdový zloduch může říct, je: „To je jasné, to je fake.“

A jak jsou všichni zmatení z toho, že nevědí, jestli drony nad Íránem jsou, nebo nejsou fake, řeknou si: „Asi je to fake, mě to nezajímá, já vlastně vůbec nevím.“

To, že za 5 let se možná člověk odsoudí, už nikdy nevrátí ten pocit. Ten je nám odepřen. A tohle se může začít dít každému v osobním i byznysovém životě. Třeba formou vydírání nebo nekalých konkurenčních aktivit.

Krize důvěry je hlavní problém

Martin Hurych: Přemýšlím nad tím, co se s tím dá reálně dělat. Vy jste dělal v korporátu, tam na to nepochybně jsou nebo budou nějaká oddělení, která umějí tyhle věci mitigovat. Budou tam finanční prostředky a technická síla.

Já vysílám pro lidi, kteří mají firmu, řekněme 50 až 150 lidí ve fabrice, někde mimo Prahu a Ostravu, jak říkám, „na oblasti“. A mají konkurenta, který vidí, že mu klesají výsledky. Nemusíme být u deepfake, ale udělat antikampaň na svého konkurenta brzy nebude nemožné.

Co já s tím světem mám vlastně dělat?

Jan Romportl: Obtížná a ne příliš pozitivní odpověď je, že nic moc se s tím dělat nedá. Je to skutečně globální obrovský problém. Dá se popsat jako krize důvěry.

Nemyslím si, že existuje stříbrná kulka, u které bychom řekli: tohle nasaďte ve firmě a vyřešíte to. To nejde. Je to stejné jako v individuálním lidském životě.

Jediné, co nám možná pomůže při obraně demokratických společností, celosvětového míru i na individuální úrovni, je náprava krize důvěry.

Jeden z velkých aspektů může být významný návrat do offline světa. K tomu, jak se v Homo sapiens po desítky tisíc let budovala důvěra. Před pár tisíci lety se setkali dva náčelníci. Prostě se setkali. Vykouřili dýmku míru, opili se. Je to fyzická, proaktivně otevřená forma kooperace s někým druhým.

Zatím se všichni izolují, zavírají a jsou jako zranitelné skořápky v digitálním světě, kde neexistují platformy pro ochranu proti něčemu takovému. Neexistují. A otázka je, jestli vůbec někdy budou moct existovat.

Myslím si, že Čína na to přistoupí podobně jako v jiných oblastech: velký bratr, brutální cenzura, regulace a strašlivé sešněrování super totalitního charakteru. To je jedna cesta. Nemyslím si, že bychom ji chtěli.

Naše cesta v demokratické společnosti je daleko obecnější. Je to cesta, jak se snažit navázat důvěru. Třeba důvěru se zákazníky. Důvěru s dobrou konkurencí. Myslím si, že většina konkurentů jsou ve zdravém byznysovém prostředí často rozumní lidé.

Skoro bychom se měli vrátit o několik set let zpátky a začít budovat vztahy tak, jak se budovaly před několika sty lety. To je jediná obtížně zranitelná oblast ze strany digitálního světa. V tuhle chvíli nemyslím, že existuje cokoliv jiného, co by nás v digitálním světě ochránilo.

Bezpečnost AI agentů

Samozřejmě budou nové generace „antivirů“. Teď se nacházíme v něčem jako v 90. letech v době MS-DOSu. Architektonicky příšerný operační systém, kde jeden zavirovaný drobný program dokázal zlikvidovat počítač. Podobné to bylo ve Windows 95.

Podobně architektonicky dnes nejsou úplně dobře navržení AI agenti. K tomu se můžeme dostat: větší riziko je, že budete ve firmě nasazovat AI agenty, kteří mohou být hackery zblbnutí tak, aby pracovali proti vám.

Kyberbezpečnostní firmy na tom začínají pracovat, protože je to obrovský trh. Jednak jak chránit AI agenty, jednak jak na ně dohlížet. To je celá velká oblast. Druhá oblast je, jak identifikovat phishing nebo různé impersonace ze strany generativních AI agentů.

Obránci jsou vždycky krok za útočníky. Teď to musíme nějak odpružit, podobně jako jsme odpružovali kyberbezpečnostní hrozby koncem 90. let a začátkem 2000.

Každý, kdo má firmu, si ale musí uvědomit, že to není málo pravděpodobná nahodilost, kterou stačí vyčekat nebo se jí vyhnout. Podobně, jako když člověk jede po dálnici, doufá, že se smrtelná nehoda nestane zrovna jemu. Většině lidí se po většinu času nestane. Tady se na to nedá spoléhat.

Garantuji, že během maximálně příštích 2 let se úplně každý, kdo tohle poslouchá, stane předmětem jednoho nebo více typů hrozeb. Budou to klasické kyberbezpečnostní hrozby vedené ze strany AI i sociální inženýrství vedené ze strany AI.

Když tohle posloucháte, buďte si jistí, že se vám to stoprocentně stane.

Martin Hurych: Můžeme si popsat tyhle 2 typy útoků? Kyberbezpečnost versus sociální inženýrství?

Sociální inženýrství ve firmě

Jan Romportl: Sociální inženýrství jsme do velké míry popisovali. Je to drobné vyzobávání.

Máte ve firmě 100 lidí. Můžete je školit, jak chcete, ale někde se někdo dostatečně vhodný najde. A můžete to být zrovna vy.

Viděl jsem na vlastní oči případy, kdy inteligentní technické lidi pod tlakem naletěli. Nemusí to být zmatená babička, kterou donutí nějaký šmejd něco donést. Tohle jsou vysoce funkční lidé, kteří mají málo času, jsou pod tlakem, ověřují informace, vidí dostatečně plausibilní chování.

Jsou tam nějaké interní informace: „Minulý týden jsme měli tuhle poradu.“ Člověk si řekne: jasně, tam to opravdu říkal. A bum. Stačí jednou.

Kdyby na vás někdo takhle zaútočil jednou za rok a měl 1% šanci uspět, máte velkou pravděpodobnost, že se několik desetiletí ubráníte. Ale oni na vás budou útočit každý den. Permanentní automatizované systémy.

Minimálně v tuto chvíli platí: pokud jste šéfové firem, vězte to. Informujte se dál. Nevyřešíme to během jednoho podcastu. Je to běh na dlouhou trať.

Rozhodně vyhledávejte informace, jak se bude vyvíjet ekosystém pro malé a střední firmy, který tohle řeší. Budou existovat dodavatelé. Nechci jmenovat antivirové firmy, abych nebyl nespravedlivý, ale budou do této oblasti dodávat řešení.

To, že máte šikovného ajťáka, který vám nainstaluje tiskárnu a zprovozní tamto a fungovalo to 20 let, není záruka bezpečnosti.

Zero-day útoky zlevní

Totéž platí z hlediska čisté kyberbezpečnosti.

Každý kus softwaru, který ve firmě máte, od operačního systému přes prohlížeč, účetní software nebo staré legacy systémy ve výrobě, které tam běží od nepaměti, obsahuje obrovské množství bezpečnostních zranitelností. Nikdy nebyly objevené.

Říká se jim zero-day vulnerabilities, zranitelnosti nultého dne. Proč nultého? V kyberoblasti se vždy počítá počet dnů od zveřejnění chyby nebo od vydání bezpečnostního updatu. Zero-day znamená, že chyba ještě není ve veřejném prostoru známá.

Obrovské množství zlých hackerů se živí tím, že tyto zero-day zranitelnosti objevují a obchodují s nimi na černém trhu. Jsou to profesionální skupiny, třeba ve Venezuele nebo v Íránu. Jiní lidé nad nimi píšou exploity, tedy způsoby, jak zranitelnost využít, ideálně automatizovaně a procesně.

Když chcete na někoho zaútočit, typicky to může být konkurence. Jdete do velkého dealu, velké zakázky, kandidujete na prezidenta nebo vás někdo chce kompromitovat. Jste ve velkém nebezpečném byznysu. Protistraně se pak vyplatí koupit útok třeba za 10 milionů dolarů.

Existují sady exploitů na zero-day zranitelnosti v iOS, které umožňují na dálku stáhnout obsah iPhonu, aniž byste cokoliv udělali. Menší úroveň je, že vám pošlou zprávu nebo e-mail, který chybu exploituje. Ještě menší úroveň je, že vás donutí na něco kliknout.

A to se může kombinovat se sociálním inženýrstvím. Dojde k impersonaci. Unikne nějaké heslo do nepříliš důležité části komunikace, ale už tam jsou reálie firmy.

Najednou vám přijde hlas někoho. Třeba voice message: „Hele, prosím tě, máme tady problém. Rychle pošli tohle. Zasekla se nám mašina, potřebujeme ji odseknout, ztratil se klíč.“ Lidé si posílají voice message. Já to z kyberbezpečnostního hlediska moc nemám rád, ale dělají to.

Přijde voice message, řeknete si: jasně. Pak přijde e-mail, v něm je link, kliknete. Nic moc se nestane, říkáte si, že je to divné. Mezitím se spustil exploit, který vám stáhne data třeba ze zašifrovaného zařízení.

To se dělo už dříve, ale bylo to strašně drahé.

Za poslední dobu se ale ukazuje, že nejpokročilejší modely od Anthropic jsou schopné extrémně dobře nacházet zero-day zranitelnosti v libovolném kódu. A nejen zranitelnosti. Umějí na ně velmi dobře psát exploity. Jako průměrný hacker, ale za zlomkovou cenu.

Standardně se říká, že u běžného kódu připadá jedna taková zranitelnost zhruba na každých 1 000 řádků zdrojového kódu. U kritičtějších standardů typu NASA nebo kritická infrastruktura třeba jedna na 10 000 řádků. Jenže na vašem počítači je software složený z miliard řádků kódu, takže obsahuje řádově tisíce zranitelností.

Jediný důvod, proč nebyly objevené, je, že je strašně drahé je objevovat. A jediný důvod, proč jste nebyli cílem útoku, je, že jste byli pod radarem. Nikomu se nevyplatilo na vás útočit.

Teď se komoditizuje schopnost, která byla dříve dostupná jen dobře organizovaným skupinám, státním složkám nebo velkému organizovanému zločinu.

Dovedu si představit, že se to začne dít i ve střední úrovni trhu. Ucházíte se o zakázku a konkurence, pokud to nejsou čistí hráči, si někde vybuduje partičku agentů, kteří se budou snažit získat důvěru a dostat se k vám. Je to samozřejmě kriminální chování, ale když jde o peníze, někdo se neštítí ničeho.

Exploit na stažení dat z iPhonu mohl stát 10 milionů dolarů. S novými modely se jeho cena může dostat třeba na 10 000 dolarů, možná pod 10 000 dolarů. To je cenovka, kterou už v našich končinách může kdekdo využít k útoku na vaše zařízení.

Opět: někdo řekne, že to tu bylo vždycky. Ale nebylo to tu vždycky pro každého.

Velké firmy a americké federální agentury dostávají nové modely v omezených programech proto, aby vystužily co největší množství softwaru. Například Firefox nebo Mozilla Foundation díky těmto modelům během jednoho updatu opravily násobně více bugů než běžně.

Důležité ale je, že vaše firma je prorostlá softwarem, který neopravují firmy zapojené do podobných programů. Opraví vám Windows, Chrome a další top komponenty. Ale pokud vám někde v koutě běží počítač, nedejbože připojený k internetu, na kterém jsou Windows XP nebo staré Windows 10 a běží na něm něco starého, velmi pravděpodobně obsahuje zakompilovanou open-source knihovnu naposledy updatovanou v roce 2019. A v ní jsou stoprocentně zranitelnosti, které automatizovaní hackeři stoprocentně objeví a stoprocentně proti vám využijí.

AI proti AI

Martin Hurych: Kdybych chtěl rozvíjet konspirační teorie, začal bych se babrat v tom, kdo ví, že to opravdu opravuje. Ale zamířím jinam.

Trochu se vrátím k tomu, že se máme znovu potkávat. Je nějaká cesta, jak nás bude AI chránit vůči AI? Míříme tím směrem?

Jan Romportl: To bude jediná nezbytná cesta.

Myslím, že v roce 2020 nebo 2022 slavný filozof Francis Fukuyama na Stanfordu popsal tuto oblast ve vztahu k sociálním sítím. Na sociálních sítích vidíme, jak brutálně likvidují duševní zdraví, konkrétně dětí, ale i celé populace.

Co je obrana proti sociálním sítím, které záměrně exploitují Achillovy paty naší mysli? Naše mysl je mysl lovce-sběrače pro offline svět, face-to-face komunikaci v reálném čase, takhle, jak se bavíme. Na to je vyvinutá. Po stovky tisíc let se tak vyvíjela.

Není vyvinutá na asynchronní, odtělenou, vzdálenou komunikaci one-to-many na sociálních sítích. Tam je totálně zranitelná. To zneužívají všechny cílicí algoritmy sociálních sítí od TikToku a Instagramu přes doporučovací algoritmy YouTube. Je to peklo.

Fukuyamův závěr je, že musíme vytvářet něco, čemu říká middleware. Vrstva našich pomocníků, AI pomocníků, něco jako ochranní andělé nebo andělé strážní, kteří jsou na naší straně, když vstupujeme do digitálního světa.

To je přesně jedna z věcí, kterou děláme ve startupu Elin.ai. Je to middleware, ochrana dětí AI, která je s nimi na sociálních sítích a neutralizuje toxický dopad sociálních sítí. Vybrali jsme si oblast duševního zdraví dětí na sociálních sítích, protože je pro nás důležitá. Ale tato oblast se bude týkat spousty dalších věcí.

Když půjdu na sociální sítě, budu muset být vybavený middlewarem, který mi jasně řekne: tohle je syntetické video, tohle není syntetické video. Buď budou mít sociální sítě povinnost mít to samy, nebo ta povinnost přijde na nás.

Když jedeme autem, můžeme být idioti a nemít bezpečnostní pásy, nebo si je můžeme dát. Takovou formu zabezpečení bude muset jednoznačně zaštítit AI.

Dostáváme se do sci-fi období, které sci-fi autoři velmi hezky předjímali. Na obranu před algoritmickými mimikami a celky si budeme muset brát jinou AI, která je na naší straně. To je svět, do kterého se dostáváme.

Jak označit realitu

Martin Hurych: Když se vrátím k tomu, co jsme si říkali: u videa je to ještě relativně krátké, u obrázků jsme někde okolo toho, u textu už generujeme v podstatě nerozpoznatelně. Byť spousta LinkedIn specialistů by vám řekla, že AI text pozná na první dobrou.

Když nerozeznám fake od reality, můžu nějak pomoct realitě, abych ukázal, že je to realita?

Jan Romportl: Když pominu vztahovou složku, tedy offline důvěru, proč někomu věřím, protože jsme se potkali, bavili se a je to člověk, o kterém něco vím, pak v digitálním světě je otázka, jak pomoct realitě.

Martin Hurych: Přeformuluji to. Přemýšlí se nad tím, že tomu, co vyprodukujeme záměrně, můžeme dát nějaký digitální štempl?

Jan Romportl: Ano, to se určitě děje.

Zatím je snaha spíše naopak: to, co je digitálně a synteticky vytvořené, by mělo mít digitální štempl, že je synteticky vytvořené. Jiné AI, které se snaží detekovat synteticky vytvořené nebo oštemplované věci na sociálních sítích, by je měly dál označovat. Buď na straně sociálních sítí, nebo na naší straně.

Vy ale mluvíte o straně originálu.

Martin Hurych: Ano. Protože když vygeneruji deepfake, můžu zároveň vygenerovat cokoliv. Vy jste říkal, že poznat deepfake je složité. Detekční metody jsou zatím podle rešerší méně než z 50 % úspěšné. Tím, jak je to levné, bude deepfake obsahu hromada, takže oštemplovat všechno bude složité.

Zkusil bych to otočit. Přemýšlí se nad tím, jak potvrdit nějakým digitálním podpisem, otiskem palce, že to, co jsem vytvořil, je realita? Protože z toho, co si povídáme, mi plyne, že paradoxně reality bude méně.

Jan Romportl: Znovu se dostáváme k obecnému problému budování a zachování důvěry. Je to gigantické téma.

Letos v červnu byla v San Francisku obrovská konference TrustCon, asi 5. ročník, opravdu top lidé řešili, jak v dnešním světě zachovat důvěru. Tohle je jedna z oblastí.

Byl jsem třeba advisorem jednomu blockchainovému projektu, který se snažil něco podobného dělat v oblasti autenticity hudby. Protože to, že něco vytvořil člověk, by v sobě mělo mít nějakou inherentní hodnotu.

První věc je, že musíme kolektivně pracovat na tom, že veřejně začneme přisuzovat artefaktům vytvořeným lidmi hodnotu. Prostě se na tom dohodneme. To jsou naše morálně-filozofické pohledy na svět.

Můžeme si zvolit svět, kde nám je to jedno. Nebo si můžeme zvolit svět, kde nám to jedno není. Nejsme v tom odsouzení.

Jako příklad bych uvedl abolici otroctví v půlce 19. století. Během zhruba 10 let došlo k hodnotovému přelomu moderní západní civilizace. Po tisíce let bylo otroctví normální ekonomickou funkční složkou společnosti. Řekové, všichni. Pak díky působení anglických kvakerů došlo k takovému PR, že západní společnost řekla: tohle není dobře, my to nechceme.

Začala podnikat kroky, i když boj proti obchodu s otroky byl nákladnější než jejich ekonomické zneužívání.

Podobně si můžeme říct: ekonomicky efektivnější cesta by možná byla kašlat na to. Ale bylo by to dystopické. Já bych si ji nepřál a chtěl bych, aby si ji nepřála spousta lidí se mnou.

Potřebujeme kolektivní PR, které nás dotlačí k jasnému rozhodnutí. Ne jen brečet, že nechceme to nebo ono. Ale říct: my jako společnost chceme, aby AI měla tyhle hranice a mantinely. Odsud posud. A aby lidská hodnota lidských produktů měla takové a takové hranice.

Zatím to nikdo jasně a hlasitě neříká. Nikdo to neříká v podhoubí veřejného mínění, natož politici. Nemůžeme se divit, že nevíme, co dělat, protože jsme nedeklarovali, co chceme.

Nejdřív pojďme deklarovat, co je důležité a proč je důležité, že něco bylo made by human. To musíme udělat během roku nebo dvou. A pak nad tím budovat technologické vrstvy, jak důvěru, která už bude mít definovanou hodnotu, technologicky nést světem.

Zatím byly různé blockchainové platformy, které se snažily dávat štemply „made by human“, ale chybí konsenzus a společenská objednávka.

Nemůžeme nejdřív dělat regulace a technologie a teprve potom doufat, že přijde společenská objednávka. Takhle to bylo s GDPR, takhle to je s AI Actem. Musíme nejdřív udělat společenskou objednávku. Potom bude jednodušší implementovat regulace.

Je jednoduchá regulace proti incestu, protože každý vnitřně cítí, že je to tabu. Je jednoduchá regulace proti obchodu s bílým masem nebo otroky, protože to cítíme. Potřebujeme totéž vydefinovat pro autentickou hodnotu.

Pak to třeba jde dělat přes fractionalized NFT na blockchainu. Budu někde na koncertě, budou tam hrát kluci a holky z garáže. Mně se to bude líbit, protože se snaží a protože celé Spotify je zahlcené AI hudbou. Já a 20 dalších lidí, kteří tam byli, dáme každý 100 dolarů a koupíme si NFT. V nějakém decentralizovaném systému typu Spotify se to bude do budoucna přehrávat. Když se kapela stane populární, budu z toho mít royalties, protože jsem jim věřil.

Má to ekonomický model a zároveň je to zero-trust decentralizovaný doklad made-by-human ownershipu. Já a 20 dalších jsme potvrdili, že tam ti lidé opravdu byli a hráli. Takový framework by se měl budovat pro vizuální umění, textové umění i další oblasti.

Je AI jen bublina?

Martin Hurych: Napadá mě, a tím tuhle část ukončím, že bude hrozně záležet na tom, co je made by human. V byznysu se věci přivezou z Číny do Německa, v Německu se zabalí do krabice a jsou „made in Germany“. Otázka je, kam to dotlačíme a co je tedy made by human.

Teď udělám velký zlom a položím otázku ďáblova advokáta. To, co si tady povídáme, je reálná hrozba? Nebo za 3 roky o tom nebudeme muset mluvit, protože ekonomicky se celá tahle bublina zlikviduje, datacentra umřou, nebudou peníze na obnovu a udržování celé umělé inteligence a my se vrátíme o léta zpátky?

Jan Romportl: To je skoro investiční rada. Viděl jsem za svoji profesní kariéru spoustu AI zim. Tohle není AI zima.

Veřejně říkám, že sázím na to, že AI bublina není bublina a nepraskne. Důležité je říct, že určitě dojde k nějaké korekci trhu. Některé špatné investice padnou, některé akcie klesnou.

Martin Hurych: Nechtěl jsem být ani takhle dystopický. Spíš jsem včera četl, že Microsoft dokonce škrtá na všechno, včetně kódu, protože je drahé. Aktuální byznys hodně funguje na víře v růst. Jeden má akcie v druhém, druhý ve třetím, třetí v prvním. A přibývá hlasů, které říkají, že se to nedá držet navždy.

AI tady nejspíš bude, protože je to skvělá technologie, ale možná bude muset výrazně zdražit. Začínám pozorovat hlasy, které říkají, že možná bude jednodušší nabrat juniory programátory, protože budou levnější než AI. Nebavíme se o něčem, co za 3 roky může být tak drahá technologie, že si ji budou moct dovolit jen drazí hráči?

Jan Romportl: Myslím si, že ne.

Téhle hypotéze bych ve svém vidění světa dal třeba 10%, možná 15% šanci. Ale 85%, že to tak nebude. Myslím si, že to pojede, protože efektivita, revenue nebo value per generated token, pořád stoupá.

Teď není dostatek výpočetních kapacit, ale pracuje se na tom. Ceny jsou dnes do určité míry dumpingové. Třeba 200 dolarů za Claude Max je svým způsobem dumping. Ale věříme v růst a podle mě je 85% šance, že se ten růst naplní.

Martin Hurych: Z čeho ten cirkus budeme financovat?

Jan Romportl: To je velmi dobrá otázka.

Myslím si, že se to týká dramatických změn typu základní nepodmíněný příjem. Skoro bych se začal ptát, z čeho budeme financovat lidi, kteří přijdou o práci. To mi přijde jako podstatná věc.

Martin Hurych: Na provoz firemní AI si půjčíme, nebo vezmeme z platů lidí, které už nebudeme potřebovat?

Jan Romportl: To se děje. Meta propustila minimálně 10 000 zaměstnanců s tím, že realokuje budget na AI. Oracle to samé. Snap podle mě propustil 1 000 zaměstnanců. V Česku třeba Direct pojišťovna podobným způsobem.

To je začátek. Když se budeme bavit za rok, řekneme si: ano, už se to děje.

Bude se dít spousta bolestivých a zajímavých věcí. Není to ale úplně otázka na mě, protože nejsem ekonom a nevím, jak to vyřešit. Nevím, jak zdanit práci strojů. Ale myslím si, že to bude nezbytné. Nedaníme práci kapitálu, daníme práci lidí. Tady to bude potřeba udělat nějak naopak.

Nejsem brouk Pytlík, nechci se vyjadřovat ke všemu. Mám jen hluboký vnitřní pocit, že to bude nezbytné.

Lidský kontakt bude klíčový

Martin Hurych: Doufám, že až vás pozvu příště, budu ještě mít práci.

Jan Romportl: To je důležité. Právě proto bych nechtěl dělat podcast s AI. To prostě nejde.

Každá role bude mít šanci přetrvat natolik, nakolik je v ní orientace na člověka. Protože to začne být podstatné.

Já jako technologický geek ze sebe dostávám slova typu: nejpodstatnější je lidský kontakt. Většina z nás geeků šla dělat programování, abychom nemuseli být v kontaktu s lidmi. Ale kontakt s lidmi bude to podstatné.

Pokud se podaří, že se ekonomika nesesype. Kdyby se sesypala, sesype se ve velkém stylu. Nebude to jen tím, že se vypne AI. Znamenalo by to kolapsy, proti kterým by rok 2008 byl slabý. Ale nemyslím si, že by to úplně souviselo s AI. Spíš s nějakou jinou polykrizí, od Hormuzského průlivu až po cokoli dalšího.

Pokud to vybereme a nestane se to, jsem si téměř jistý, že AI bude pokračovat a že budeme řešit problém, co v takové ekonomice dělat s lidmi.

Velkou naději vidím v reorientaci lidí na jiné lidi. V zobecněném smyslu pečující profese. To je strašně poddimenzovaná oblast. Zasvětit svůj život tomu, že pečuji o sebe, své blízké a další lidi, podle mě vůbec není špatný nápad. Pokud bude existovat ekonomický model, který tomu dá smysl, měli bychom na tom pracovat.

Co si z AI rizik odnést

Martin Hurych: Budu to brát jako pozitivní závěr. Hrozně mě mrzí, že jsme se nedostali k vašemu projektu víc, tak třeba někdy do budoucna, jestli vás zase ukecám.

Přeji, ať se dystopické vize nevyplňují, ať ve vás převládá optimistická část, ať projekt letí vpřed.

Měl bych 3 krátké dotazy a budu chtít 3 krátké odpovědi.

Z hlediska toho, co jsme si tady doteď povídali, tedy z hlediska rizika AI vůči firmě a reputaci: jaká věta by měla být v kuchyňce každé firmy?

Jan Romportl: Stane se to i vám.

Martin Hurych: Jakou knížku o AI by si měl přečíst amatér?

Jan Romportl: Nevím, jestli vyšla v češtině, a myslím si, že asi ano: od Stuarta Russella Human Compatible. Kdo umí anglicky, ať si přečte Human Compatible.

Anebo v češtině vyšla kniha od Tobyho Orda Nad propastí. Zní strašidelně, ale je to vlastně velmi optimistická knížka.

Martin Hurych: V nejhorším se dá PDF nahrát do notebooku a nechat si povídat.

Jan Romportl: Ale to by byla škoda. To je stejné jako nepřečíst si Pána prstenů a jen si přečíst zkrácenou verzi: je to o partě elfů a hobitů, kteří někam jdou a hodí tam prsten. Jde o to to prožít.

Martin Hurych: Až se tady potkáme za 3 roky, jak bude vypadat svět AI?

Jan Romportl: Budeme mít nějakou první verzi obecné inteligence, která bude hodně limitovaná nedostatkem computu. Zároveň velké AI laby budou mít v podstatě něco, čemu říkají superhuman coder. AI už bude vyvíjena jen pomocí AI.

Velká část bílolímečkové práce bude z významné části automatizovaná vertikálními AI agenty nad obecnými modely.

Martin Hurych: Takže do 3 let bych si měl udělat nějaký výuční list.

Jan Romportl: Může to tak být. Myslím si, že je prostor pro rozvoj řemesel.

Nemyslím si ale, že by do 3 let přicházeli o práci lidé, kterým se anglicky říká high-agency people, tedy lidé s velkou vnitřní agencí. Naopak si myslím, že high-agency people budou za 3 roky, pokud se nestane válka nebo podobné věci, zažívat velké žně.

Je to velká motivace, velké množství munice pro high-agency people. A horší zpráva pro low-agency people.

Státní správa bude pořád, jaká je teď, a tam bude velký prostor pro low-agency people.

Martin Hurych: Děkuji moc, Honzo, že jste tady byl. Moc si toho vážím, držím palce a přeji úspěch.

Jan Romportl: Díky za pozvání. Bylo to optimistické. Já jsem jen optimista, který se hodně obává.

Martin Hurych: Jak je to s optimistou a pesimistou? Pesimista je jen dobře informovaný optimista?

Jan Romportl: Nějak tak to bylo.

(automaticky přepsáno Beey.io, upraveno a kráceno)