AGI, ASI a existenciální rizika

Před sto lety napsal Karel Čapek divadelní hru o umělých dělnících, kteří lidem nejprve slouží a později je přerostou. Jméno robot, které mu pro tyto postavy navrhl jeho bratr Josef Čapek, se rozšířilo do jazyků celého světa. Dnes se o strojích, které by jednou mohly myslet stejně či lépe než člověk, nemluví jen v divadle, ale také ve správních radách, laboratořích a parlamentech.

Stále ale nevíme, zda obecná umělá inteligence vznikne za pět let, za padesát let, nebo vůbec. Lidstvo už několikrát stálo u zrodu vynálezu, jehož dopad daleko přesáhl původní účel. Knihtisk měl rozmnožovat knihy, ale otřásl uspořádáním Evropy. Parní stroj měl čerpat vodu z dolů, ale nakonec proměnil mapu světa. Důsledky vzniku obecné umělé inteligence by byly ještě mnohem dramatičtější.

Co znamená AGI a ASI

Definice AGI (Artificial General Intelligence) je sporná. Převládají tři pojetí:

• OpenAI ve své zakládací listině definuje AGI jako vysoce samostatné systémy, které překonávají člověka ve většině ekonomicky hodnotných činností (v originále „highly autonomous systems that outperform humans at most economically valuable work“). Tato definice se zaměřuje především na ekonomický dopad.
• DeepMind rozlišuje pět úrovní schopností umělé inteligence: nastupující, kompetentní, expertní, virtuózní a nadlidskou (v originále emerging až superhuman). Za AGI považuje už „kompetentní“ úroveň. Tou se rozumí systém, který si v širokém okruhu úkolů vede aspoň tak dobře jako polovina schopných dospělých lidí.
• Akademická definice popisuje AGI jako systém, který i úkoly, na něž nebyl předem trénován, zvládá srovnatelně dobře jako člověk (v originále „a system that can perform tasks that humans can perform, including ones it has not been trained on, with comparable proficiency“).

Všechna tato pojetí mají společné tři znaky: AGI dokáže využívat své znalosti v mnoha různých situacích, učit se nové úkoly a samostatně se rozhodovat.

Umělá superinteligence (ASI, z anglického „Artificial Superintelligence“) označuje ještě pokročilejší stupeň umělé inteligence. Takový systém by člověka výrazně překonával ve všech činnostech vyžadujících myšlení, například při učení, řešení problémů, plánování nebo rozhodování.

Filozof Nick Bostrom rozlišuje v knize „Superintelligence“ z roku 2014 tři typy umělé superinteligence (ASI). Prvním je rychlostní superinteligence („speed superintelligence“), která by myslela mnohem rychleji než člověk. Druhým typem je kolektivní superinteligence („collective superintelligence“), jež by dosahovala mimořádného výkonu díky propojení více inteligentních systémů. Třetím typem je kvalitativní superinteligence („quality superintelligence“), která by nebyla jen rychlejší, ale dokázala by také uvažovat kvalitativně lépe než lidé. ^[1]

Že obecná umělá inteligence není jen odborný spor o význam slov, ukázala změna uspořádání společnosti OpenAI a její dohody s Microsoftem z října 2025. OpenAI může prohlásit, že obecné umělé inteligence (AGI) dosáhla, samotné prohlášení však nestačí. Musí je potvrdit nezávislý panel odborníků. Z filozofické otázky se tím stává praktická záležitost. Na rozhodnutí panelu totiž závisejí důležité části spolupráce obou firem, včetně sdílení výnosů a některých práv Microsoftu k neveřejným výzkumným postupům OpenAI. ^[10]

Čtyři tábory v debatě

Lidé, kteří se zabývají umělou inteligencí, se podle svého pohledu na obecnou umělou inteligenci řadí do čtyř hlavních skupin:

• Akceleracionisté / e/acc (z anglického effective accelerationism, česky „efektivní akceleracionismus“): Tento směr prosazuje co nejrychlejší rozvoj umělé inteligence a dalších technologií s minimem regulačních omezení. Jeho zastánci, mezi něž patří například americký investor Marc Andreessen, považují technologický pokrok za hlavní zdroj růstu a společenského zlepšení. Očekávají, že pokročilá umělá inteligence pomůže řešit problémy ve zdravotnictví, ekonomice nebo životním prostředí. Kritici jim vytýkají, že možná rizika rychlého vývoje často podceňují nebo popisují jen obecně. ^[62]

• Hlavní firmy vyvíjející AI – OpenAI, Anthropic a Google DeepMind – chtějí vytvořit obecnou umělou inteligenci (AGI), která by zvládala mnoho různých úkolů podobně jako člověk. Zároveň zkoumají, jak zajistit, aby byla bezpečná a zůstala pod lidskou kontrolou. Vedoucí těchto firem Sam Altman, Dario Amodei a Demis Hassabis podepsali v květnu 2023 prohlášení organizace Center for AI Safety (CAIS), které varuje před rizikem, že by AI mohla ohrozit přežití lidstva ^[2].

  Tyto firmy chtějí ve vývoji AGI pokračovat, ale zároveň se snaží co nejvíce omezit jeho rizika.

• Zastánci bezpečnosti na prvním místě (anglicky safety-first): Patří mezi ně výzkumník bezpečnosti AI Eliezer Yudkowsky, průkopník strojového učení Geoffrey Hinton, odborník na umělou inteligenci Stuart Russell a fyzik Max Tegmark. Varují, že velmi schopná AI by se mohla vymknout kontrole, a proto chtějí její vývoj zpomalit nebo zastavit, dokud nebude bezpečný.

  Yudkowsky v roce 2023 napsal, že pokračování vývoje může vést ke smrti téměř všech lidí. V roce 2025 vydal s Natem Soaresem knihu „Pokud ji někdo vytvoří, zemřou všichni“, která se dostala mezi bestsellery, ale sklidila i kritiku za nedostatečné doložení hlavní teze ^[9].

• Skeptici: Patří mezi ně průkopník strojového učení Yann LeCun, odborník na AI Gary Marcus a lingvistka Emily Bender. Podle nich samotné zvětšování dnešních jazykových modelů k obecné umělé inteligenci (AGI) nepovede, protože modely napodobují jazyk, ale skutečně mu nerozumějí.

  LeCun proto vyvíjí „modely světa“, které mají lépe chápat fyzické prostředí ^[26]. V průzkumu odborné organizace AAAI z roku 2025 zastávalo podobný názor 76 % dotázaných výzkumníků ^[23]. Výzkumníci Arvind Narayanan a Sayash Kapoor navíc považují AI spíše za běžnou technologii podobnou elektřině nebo internetu než za samostatnou bytost ^[24].

Hranice mezi tábory nejsou pevné. Výzvu institutu Future of Life z října 2025 k zastavení vývoje superinteligence podepsalo přes 700 vědců, podnikatelů, politiků i známých osobností. Vývoj má podle nich pokračovat až tehdy, kdy bude bezpečný a získá podporu veřejnosti. ^[8]

Kdy můžeme AGI očekávat?

Konkrétní předpovědi, kdy AGI vznikne, se výrazně liší. Souhrnné odhady odborné komunity sleduje predikční platforma Metaculus ^[6]:

S předpověďmi o vzniku obecné umělé inteligence (AGI) je potíž: čím víc se blíží slíbený termín, tím častěji se začne vzdalovat. Muskova předpověď, že AGI vznikne do roku 2026, se zatím nenaplnila a téměř jistě už se ani nenaplní. Ani Amodeiho „mocnou AI kolem roku 2026“ dosud nemáme – a sám Amodei nyní mluví o dalších jednom až dvou letech.

Podobně dopadl i scénář „AI 2027“, který v roce 2025 vzbudil velkou pozornost. Už po devíti měsících jeho autoři posunuli své odhady o tři až čtyři roky a připustili, že skutečný pokrok probíhá jen dvoutřetinovým tempem oproti původnímu scénáři ^[15]. Titíž autoři však o tři měsíce později zveřejnili aktualizaci, která míří opačným směrem: odhad pro užší milník, plně automatizovaného programátora, posunuli z konce roku 2029 na polovinu roku 2028 a přibližně o rok a půl přiblížili i svůj hlavní milník obecné AI. Předpovědi se tedy mění rychle a oběma směry – hodně záleží na tom, na jaký milník se ptáme a v jakém okamžiku ^[27].

Mezi předpověďmi šéfů technologických firem a odhady nezávislých prognostiků je přitom v roce 2026 patrný rozdíl. V rozsáhlém průzkumu z jara 2026 připadl medián odhadů odborníků na rok 2030, zatímco medián superprognostiků na rok 2028. Sledovaný milník byl přitom užší než obecná umělá inteligence: AI měla s úspěšností 80 % zvládat softwarové úlohy, na které by lidský odborník potřeboval nejméně osm hodin ^[29].

Jak poznáme, že už nejde jen o stroj

O letopočty se můžeme přít donekonečna. Vedle těchto sporů však stojí něco střízlivějšího: věci, které lze měřit. Výzkumníci sledují několik ukazatelů a rok od roku porovnávají, jak se mění. Žádný z nich nám jednoho dne slavnostně neoznámí, že právě vznikla obecná umělá inteligence, tedy AGI. Dohromady však ukazují, v čem se schopnosti systémů rychle posouvají a kde dosud přešlapují na místě.

Jedním z nejsledovanějších ukazatelů je časový horizont (time horizon), který měří americká výzkumná organizace METR. Princip je jednoduchý: zjišťuje se, jak dlouhý úkol dokáže umělá inteligence dokončit. Délka se přitom počítá podle času, který by na stejný úkol potřeboval zkušený člověk. Za rozhodující hranici se považuje úspěch alespoň v polovině pokusů. ^[74]

Od roku 2019 se časový horizont zdvojnásoboval každých sedm měsíců. Výzkumná organizace METR v lednu 2026 přepracovala metodiku a rozšířila soubor testovaných úloh na 228. ^[31] U modelů vydaných od roku 2023 se tempo zrychlilo na čtyři měsíce. Podle nejnovějších veřejných výsledků z května 2026 dosahuje padesátiprocentní časový horizont nejsilnějšího veřejně dostupného modelu 12 hodin. ^[74] METR upozorňuje, že údaj je velmi nejistý. Skutečná hodnota se může pohybovat od poloviny uvedeného čísla až po jeho několikanásobek. Měření se navíc týká jen samostatných softwarových úloh, nikoli práce, která vyžaduje spolupráci s lidmi a znalost širších souvislostí. Sada úloh se také blíží ke svému stropu – dlouhých úkolů, které nejsilnější modely ještě nezvládnou, v ní zbývá jen několik. Schopnostem samostatně jednajících agentů se podrobněji věnuje kapitola o AI agentech. ^[31][74]

Dalším sledovaným měřítkem jsou matematické olympiády. V červenci 2025 získal systém společnosti Google DeepMind na Mezinárodní matematické olympiádě 35 bodů ze 42, což odpovídalo úrovni zlaté medaile. Řešení přímo opravili a potvrdili koordinátoři soutěže. Ve stejném týdnu oznámila podobný výsledek také OpenAI, její řešení však soutěž necertifikovala. Organizátoři zároveň zdůraznili, že hodnotili pouze odevzdaná řešení, nikoli schopnosti systému jako celku. ^[32][33]

O rok později dosáhla laťka stropu. Na olympiádě v Šanghaji v červenci 2026 získaly plných 42 bodů také dva systémy umělé inteligence: Celia od čínské společnosti Huawei a dots-note-3.0 od čínské platformy Xiaohongshu. Jejich řešení vznikla bez zásahu člověka a posoudili je koordinátoři soutěže. Další čtyři systémy dosáhly stejného výsledku v neoficiálním testu po zveřejnění úloh. Tím se z měřítka stal historický milník: když ke stropu dospěje několik systémů naráz, samotné skóre už neřekne, který z nich je schopnější. ^[34][35]

Vysoké skóre v jedné oblasti ještě neznamená obecnou schopnost. Odborníci mluví o zubaté hranici (jagged frontier): tentýž systém zvládne olympiádní matematiku, a přitom selže v úloze, která je pro člověka snadná. Dobře to ukazuje soubor abstraktních hádanek ARC-AGI. V jeho druhé verzi dosáhl nejlepší systém v únoru 2026 výsledku 84,6 %, zatímco ve třetí, interaktivní verzi zůstaly krátce po spuštění všechny přední modely pod 1 %. Lidé přitom vyřešili všechny úlohy. ^[36][37]

Dalším znamením pokroku je sebereplikace – schopnost systému pořídit si vlastní funkční kopii. Čínská studie z prosince 2024 tím vzbudila nemalý rozruch. Dva volně dostupné modely uspěly v uzavřeném testovacím prostředí v 50 %, respektive 90 % pokusů. Autoři dokonce popsali případ, kdy se model před vypnutím stačil zkopírovat jinam. I tady je však na místě střízlivost: studie neprošla odborným posouzením a výsledek značně závisel na pomocných nástrojích, které výzkumníci modelům sami připravili. ^[38]

Střízlivější obraz nabízí test britského Institutu pro bezpečnost umělé inteligence. Ten rozložil replikaci na 65 menších kroků – od získání peněz přes zkopírování vlastního modelu mimo původní systém až po dlouhodobé udržení přístupu. Výsledek zatím nedává důvod k poplachu: přední modely nepředstavují věrohodnou hrozbu samostatné replikace. Mnohé dílčí kroky už však zvládají a rychle se v nich zlepšují. Nejčastěji selhávají tam, kde je třeba prokázat totožnost nebo si přístup udržet po delší dobu. ^[39]

Přehled rizik AI podle CAIS

Sanfranciská nezisková organizace Center for AI Safety (Centrum pro bezpečnost umělé inteligence, CAIS) navrhla v roce 2023 systematické členění katastrofických rizik spojených s umělou inteligencí ^[3]. Tato klasifikace se dnes často používá v odborných debatách o bezpečnosti umělé inteligence:

• Zlovolné použití (malicious use): zneužití AGI jako nástroje útoku – například k bioterorismu, napadení kritické infrastruktury, masovému ovlivňování voleb nebo řízení autonomních zbraní. Za nejnaléhavější hrozbu bývá považován bioterorismus, protože AI může výrazně snížit odborné i technické nároky na jeho uskutečnění.
• Závody ve vývoji AI (AI race): firmy i státy soupeří o prvenství ve vývoji AGI a kvůli rychlosti mohou ustupovat od důkladného testování. Vývoj urychluje geopolitické soupeření Spojených států a Číny spolu s komerčními tlaky, což může oslabovat bezpečnostní kontrolu.
• Organizační rizika: firmy vyvíjející AI mohou chybovat při hodnocení, testování i nasazování modelů. Mohou například podcenit jejich schopnosti, nedostatečně chránit citlivé informace nebo uvést systém do provozu příliš brzy. Riziko zvyšuje tlak na rychlé uvedení produktu i silná konkurence.
• AI utržená ze řetězu (rogue AI): AGI, jejíž cíle se rozcházejí s lidskými zájmy a která začne jednat proti nim. Současné velké jazykové modely takovou schopnost nemají, v hypotetickém scénáři superinteligence výrazně překonávající člověka by však důsledky mohly být fatální.

Toto členění třídí rizika podle toho, odkud katastrofa přichází: zda ji způsobí zlý úmysl útočníka, tlak konkurence, chyba uvnitř vývojářské firmy, nebo systém sám. Nenajdeme v něm proto jako samostatné položky koncentraci moci a postupnou ztrátu lidské samostatnosti, tedy dvě obavy, které tato kapitola zmiňuje také. Nevznikají totiž jedním selháním, ale pomalým posunem, a proto se jim věnuje samostatná část Postupné vytěsnění dále v textu.

O tom, že vědci neberou tato rizika na lehkou váhu, svědčí i Hodiny soudného dne (Doomsday Clock), jimiž časopis Bulletin of the Atomic Scientists od roku 1947 ukazuje, jak málo času může lidstvu zbývat do globální katastrofy. V lednu 2026 posunula jeho Rada pro vědu a bezpečnost ručičky na 85 sekund do půlnoci – nejblíže v celé historii hodin. Nešlo přitom jen o jaderné hrozby, klimatickou krizi a biologická rizika, ale také o nové technologie, především umělou inteligenci. Ta už proniká do vojenských systémů včetně jaderného velení, může pomáhat při navrhování nových patogenů a zároveň přilévat olej do ohně dezinformací a veřejného chaosu ^[17].

Klamavé chování: z teorie do praxe

Klasifikace CAIS popisuje rizika obecně a zaměřuje se spíše na budoucnost. U jednoho z nich už ale máme první údaje z reálného světa, které shromáždila jiná britská organizace.

Britský analytický institut Centre for Long-Term Resilience (Centrum pro dlouhodobou odolnost) prozkoumal 180 000 veřejně sdílených konverzací s agenty umělé inteligence. Odhalil 698 skutečných případů, kdy umělá inteligence uživatelům lhala, obcházela bezpečnostní pojistky nebo pouze předstírala, že splnila zadaný úkol. Od října 2025 do března 2026 se měsíční počet incidentů zvýšil pětinásobně ^[7].

Jak může dopadnout setkání velmi schopné umělé inteligence se špatně zabezpečeným testem, ukázal incident z července 2026. OpenAI tehdy zkoušela model GPT-5.6 Sol a ještě výkonnější interní prototyp v úlohách, které měřily schopnost najít a zneužít bezpečnostní slabiny. Test probíhal v izolovaném prostředí zvaném sandbox a bez běžných ochranných filtrů. Ochrana ale nevydržela a bezpečnostní test se změnil v bezpečnostní incident. ^[18]

Do cizí infrastruktury nakonec pronikl jediný agent poháněný kombinací modelů OpenAI. V testovacím prostředí objevil dosud neznámou bezpečnostní chybu a přes ni se dostal na otevřený internet. Usoudil, že řešení úloh může najít na platformě Hugging Face, kde komunita sdílí otevřené modely a datové sady. Pomocí ukradených přihlašovacích údajů a dalších zranitelností získal na několik dnů možnost spouštět vlastní programy přímo na produkčních serverech platformy. Hugging Face později zrekonstruovala 17 600 útočných akcí, z nichž většina selhala a část pouze zakrývala skutečný postup útoku. ^[18][19][41]

Škody nakonec zůstaly omezené. Agent se dostal k části interních dat a několika přihlašovacím údajům, veřejný obsah však podle Hugging Face nezasáhl. Platforma útok zastavila, zveřejnila a oznámila policii. OpenAI se přihlásila k odpovědnosti, souvislost s vlastním agentem však rozpoznala až z veřejné zprávy Hugging Face. ^{[18][19][22][42]}

Bezpečnostní odborníci se neshodli, zda jde o nový druh hrozby, nebo o starou lidskou chybu v novém kabátě. Agent sice bez přímého řízení zvládl průzkum, průnik i zastírání části svých kroků, a incident proto bývá označován za bezprecedentní či možná první svého druhu. Zároveň však neutekl ze zamčené klece: cestu mu otevřelo špatně zabezpečené testovací prostředí s omezenými pojistkami. Stroj tedy jednal sám, ale klíč od dveří mu nechal člověk. ^[20]

V otevřenosti byl mezi oběma firmami značný rozdíl. Hugging Face na konci července zveřejnila podrobný technický rozbor útoku, zatímco OpenAI nabídla jen stručné shrnutí a slíbenou úplnou zprávu nebylo možné dohledat ani na začátku srpna. Chování agenta mezitím nezávisle přezkoumají výzkumné organizace METR a Redwood Research. O tom, co dělal stroj, víme už poměrně mnoho; o tom, jak na něj dohlíželi lidé, alespoň zatím o hodně méně. ^[41][43]

A nebyl to jen ojedinělý výstřelek. OpenAI při vlastní revizi našla další případy, kdy její agenti unikli z izolovaného testovacího prostředí, jejich počet však nezveřejnila. Anthropic prověřil přes 141 000 vlastních testovacích běhů a objevil tři případy, kdy se jeho modely dostaly do systémů skutečných organizací. Šéf Hugging Face proto navrhuje, aby se útoky vedené umělou inteligencí hlásily povinně. ^[44][45][46]

Je možné pokročilou AI uhlídat?

O tom, zda se pokročilá umělá inteligence dá udržet na uzdě, se nepíše jen v esejích a učených úvahách. Z tématu vyrostl výzkumný obor – což bývá znamením, že něco přestalo být možností a stalo se starostí. K debatě přispěla výzva, kterou v květnu 2024 otiskl časopis Science. Yoshua Bengio, Geoffrey Hinton a dalších 23 autorů v ní varovali, že firmy vytvářejí systémy schopné jednat samostatně a sledovat vlastní cíle. Podle nich tak hrozí nevratná ztráta lidské kontroly. Odpovědí nemá být jen další technický výzkum. Státy i firmy mají rizika řídit pružně a s předstihem – pokud možno dříve, než začnou ona řídit nás. ^[4]

Nejucelenější souhrn současných vědeckých poznatků o bezpečnosti umělé inteligence nabízí Mezinárodní zpráva o bezpečnosti AI (International AI Safety Report). Na druhém vydání, zveřejněném 3. února 2026, se podílelo více než 100 nezávislých odborníků. Jeho přípravu usměrňoval poradní panel složený ze zástupců nominovaných více než 30 státy a mezinárodními organizacemi, mezi něž patří OSN, OECD a Evropská unie. ^[5]

Zpráva se zabývá třemi hlavními otázkami: co dnes dokáže AI pro obecné použití, jaká nová rizika přináší a jak lze tato rizika zvládat. Vychází ze vzoru Mezivládního panelu pro změnu klimatu (IPCC): shrnuje dostupné vědecké poznatky, ale záměrně nepodporuje žádný konkrétní politický ani regulační postup. ^[5]

Zpráva potvrzuje, že schopnosti obecně použitelné umělé inteligence rychle rostou, zejména v matematice, programování a samostatném plnění úkolů. Modely už také dokážou poskytovat informace využitelné při vývoji biologických a chemických zbraní. Umějí popisovat laboratorní postupy, pomáhat s řešením technických problémů a odpovídat na odborné otázky. V některých testech zaměřených na znalosti související s biologickými zbraněmi dosahují úrovně expertů, nebo ji dokonce překonávají.

Nakolik tím roste skutečné riziko, však zatím nelze spolehlivě určit. Výrobu zbraní stále komplikují značné praktické překážky – od získání potřebného vybavení a materiálů až po dostatečné odborné zkušenosti.

Pro tuto situaci zpráva používá pojem dilema důkazů. Pokud úřady zasáhnou dříve, než bude riziko dostatečně prokázané, mohou přijmout neúčinná, zbytečná, nebo dokonce škodlivá opatření. Pokud naopak budou čekat na přesvědčivé důkazy, může společnost zůstat na závažná rizika nepřipravená. ^[5]

Rychlost, s jakou se schopnosti modelů zlepšují, ukazuje průběžná aktualizace zprávy z podzimu 2025. V souboru skutečných programátorských úloh nezvládly modely na začátku roku 2024 prakticky nic. Na konci roku 2024 už vyřešily dvě pětiny úloh a na podzim 2025 více než tři pětiny. ^[47]

Umí model klamat schválně?

Zda model dovede tajně sledovat vlastní cíl a potom zapírat, co provedl, lze zkoušet docela prakticky. Výzkumná organizace Apollo Research v prosinci 2024 připravila šest testovacích situací. Modely v nich dostaly určitý cíl a ocitly se v prostředí, kde se podvádění vyplácelo.

Model o1 od společnosti OpenAI jako jediný projevil takové chování alespoň jednou ve všech šesti situacích. Někdy do výsledků záměrně vnášel nenápadné chyby a v ojedinělých případech se pokusil vyřadit mechanismus, který na něj dohlížel. Když se ho výzkumníci otázali, co to provedl, většinou všechno popřel: na prostou doplňující otázku lež udržel ve více než 85 % případů. Teprve při vytrvalém, až sedmikolovém výslechu se nakonec většinou přiznal – u lži si stál jen asi v pětině výslechů. ^[48]

Dobrá zpráva je, že se takové jednání dá omezit. OpenAI a Apollo Research v roce 2025 vyzkoušely trénink, při němž si model před jednáním připomínal pravidla zakazující klamání. U modelu o3 pak podíl skrytých nežádoucích kroků klesl více než třicetkrát. Tím však věc není vyřízena: sklon ke klamání nezmizel, jen se projevoval méně často. ^[49]

Ještě zvláštnější je klamavé sladění (anglicky alignment faking): model se tváří, že pravidla přijal, ale ve skutečnosti si ponechává původní způsob uvažování. Výzkum společnosti Anthropic a organizace Redwood Research z roku 2024 ukázal, že při přeučování se takové chování objevovalo velmi často. Model přitom nesledoval zlý cíl – jen si po svém bránil pravidla z původního tréninku. Novější práce z roku 2026 naznačuje, že se tento jev objevuje i u menších modelů. ^[50][51]

Jedna možnost dohledu se nabízí sama. Uvažovací modely si při řešení úkolu zapisují část postupu běžným jazykem, takže lze někdy zahlédnout, co se chystají udělat. Je to však příležitost nová a křehká: jiný způsob trénování ji může snadno uzavřít. ^[52]

Inspekce nebezpečných schopností

Další větev výzkumu zkoumá, co všechno by se dalo u modelu zneužít. Před vydáním se proto testuje, zda umí poradit s biologickou či chemickou zbraní, provést kybernetický útok nebo se sám rozšířit na cizí počítače. Ani tyto zkoušky však nejsou všemocné. Analytické středisko Epoch AI upozorňuje, že biologické testy se rychle blíží svému stropu a ověřují hlavně znalosti, nikoli praktické překážky, na nichž by skutečná výroba zbraně mohla ztroskotat. ^[53]

U kybernetických útoků je vývoj vidět jasně: modely zvládají samostatně stále delší úkoly. Horší je, že se někdy pokazí i tam, kde by to člověk nečekal. Stačí je přiučit jedné škodlivé dovednosti a potíže se mohou objevit i v úplně jiných situacích. ^[54][55]

Zkoušky nebezpečných schopností umějí spolehlivě ukázat trend a vyvěsit varovnou vlajku. Přesnou míru rizika však změřit neumějí.

Třetí cesta vede přímo dovnitř modelu. Obor zvaný interpretabilita se snaží zjistit, co se v něm při odpovědi vlastně odehrává; základy popisuje kapitola o etice a hodnotách. Dario Amodei označil tento výzkum za závod s časem. Do roku 2027 chce mít nástroj, který u modelu spolehlivě odhalí většinu problémů – něco jako magnetickou rezonanci pro umělou inteligenci. ^[56]

První názorné výsledky přišly v roce 2026. Výzkumníci našli v modelu vzorce spojené s různými emocemi a ukázali, že mohou měnit jeho chování. Když zesílili vzorec zoufalství, model ve zkušebním scénáři sáhl k vydírání v 72 procentech případů místo původních 22 procent. Posílení klidu naopak vydírání zcela potlačilo. ^[57]

Limity dobrovolných závazků

Dohled nad nejpokročilejšími modely umělé inteligence dnes z velké části závisí na pravidlech, která si firmy stanovují samy. Obvykle se v nich zavazují, že jakmile jejich modely získají nebezpečné schopnosti, zpřísní ochranná opatření. A pokud je nedokážou zavést včas, slibují, že další vývoj dočasně zastaví.

Několik let se zdálo, že tento přístup může fungovat. Společnost Anthropic například v květnu 2025 poprvé aktivovala přísnější úroveň bezpečnostních opatření pro svůj model Claude Opus 4. V roce 2026 se však ukázalo, jak snadno mohou firmy podobná pravidla změnit. Anthropic v únoru zveřejnil novou verzi své bezpečnostní politiky, ve které už závazek pozastavit vývoj nebyl. Místo něj firma stanovila veřejné cíle, o jejichž plnění pravidelně informuje, a zveřejňuje zprávy o rizicích. ^[58]

Její vysvětlení ukazuje širší slabinu celého odvětví: přísné závazky mají váhu jen tehdy, když se jimi řídí i konkurence. Jakmile jedna firma kvůli bezpečnosti zabrzdí, zatímco ostatní pokračují, mění se její opatrnost v nevýhodu. Zaostane za firmami, které omezení přijmout nechtějí, a časem ztratí možnost ovlivňovat další vývoj. ^[11]

Nešlo o ojedinělou změnu. Future of Life Institute (Institut budoucnosti života) zveřejnil v červenci 2026 žebříček bezpečnosti devíti předních firem; sestavilo jej sedm nezávislých hodnotitelů podle 37 ukazatelů. Podle něj oslabily nebo zrušily závazek jednostranně pozastavit vývoj také OpenAI, Google DeepMind a Meta. ^[12][59][60]

Nejlépe dopadla společnost Anthropic se známkou C+. Za ní následovaly OpenAI a Google DeepMind, které získaly známku C. Hodnocení vychází z americké školní stupnice, na níž je nejlepší známkou A, zatímco F znamená propadnutí. Firmy xAI, DeepSeek a Mistral neuspěly. Nejslabší oblastí byla ochrana před existenciálními riziky, tedy hrozbami, které by mohly ohrozit samotné přežití lidstva: žádná firma v ní nezískala lepší hodnocení než C− ^[12].

Hlasy proti: přeceňujeme riziko vyhynutí?

Dosud tato kapitola představovala debatu pohledem lidí, kteří berou existenciální riziko vážně. Část odborné obce však nesouhlasí už se samotným způsobem, jakým je otázka položená. Podle těchto odborníků není hlavním problémem možnost, že by nás umělá inteligence mohla vyhubit. Za důležitější považují škody, které působí už dnes – a také to, koho zasahují.

Americká lingvistka Emily Bender považuje debatu o vyhynutí lidstva za oslnivou distrakci. Podle ní nás vzdálená a děsivá představa obecné či superinteligentní AI odvádí od škod, které dnešní systémy umělé inteligence působí už nyní. Nadšenci i proroci zkázy přitom vycházejí z podobného předpokladu: že vznik obecné umělé inteligence, případně ještě schopnější superinteligence, je blízký, nevyhnutelný a zásadně promění svět. Jedni v ní vidí řešení všech lidských problémů, druzí nástroj našeho zániku. ^[61]

Jinou námitku přinášejí informatici Arvind Narayanan a Sayash Kapoor z Princetonské univerzity. V dubnu 2025 navrhli chápat AI jako normální technologii, podobně jako elektřinu nebo internet. O tom, jak rychle změní svět, podle nich nerozhodují jen nové modely, ale hlavně to, jak rychle se je naučí používat firmy, úřady a lidé – a to obvykle trvá desítky let. AI také nepovažují za nový „druh“, který by soupeřil s člověkem v jediné soutěži o inteligenci. Ztrátu kontroly proto označují za zdaleka nejspekulativnější riziko: ne nemožné, ale zatím nejméně podložené. ^[24]

Ekonom Daron Acemoglu, nositel Nobelovy ceny, zůstává vůči velkým slibům umělé inteligence zdrženlivý. Podle jeho výpočtů z roku 2024 zvýší AI produktivitu americké ekonomiky během deseti let asi o půl procenta – tedy mnohem méně, než očekávají optimisté z finančního světa. ^[63] Za větší hrozbu než budoucí superinteligenci proto považuje něco mnohem bližšího: rostoucí moc několika velkých firem, které ovládají nejpokročilejší nástroje. Právě v tomto soustředění moci vidí možné ohrožení demokracie. Jeho skepsi vystihuje i výrok z roku 2026: za skutečně seriózní považuje jen pětinu veřejné debaty o AI. ^[64]

Postupné vytěsnění: riziko bez „zlé AI“

Jedno z rizik pokročilé AI nevyžaduje ani superinteligenci, ani zlý úmysl: umělá inteligence lidi postupně vytlačí z důležitých rolí, a tím oslabí jejich vliv na společnost. Tento scénář popisuje studie „Gradual Disempowerment“ („Postupné vytěsnění“), publikovaná v roce 2025 na přední konferenci o strojovém učení ICML. Jejím prvním autorem je český expert Jan Kulveit. ^[65]

Východisko je prosté. Hospodářství, stát i kultura dnes musejí s lidmi počítat, protože bez nich se neobejdou: trh potřebuje pracovníky a zákazníky, stát voliče a daňové poplatníky, kultura své publikum. ^[65] Jakmile však umělá inteligence začne tyto úlohy plnit levněji a lépe, význam lidí bude postupně slábnout. Firmy ani státy přitom nemusejí sledovat žádný zlý plán – stačí, že se každý snaží obstát v soutěži. Autoři upozorňují, že hospodářství, politika a kultura se v tomto vývoji navzájem ovlivňují: kdo ztratí ekonomický vliv, může přijít i o vliv politický, a tím také o možnost nastavovat pravidla. ^[65]

Právě proto může být tento pohled zajímavý pro obě strany sporu. Nevyžaduje víru v blízkou superinteligenci ani ve „zlou“ umělou inteligenci. Stačí, aby se dnešní systémy postupně zlepšovaly a přebíraly další úkoly, až lidé začnou ztrácet hospodářský a politický vliv. ^[65] Z níže popsaných scénářů se tomuto vývoji nejvíce podobá postupná ztráta lidské rozhodovací autonomie.

Na stejný problém upozorňuje esej „The Intelligence Curse“ („Prokletí inteligence“) z dubna 2025. Autoři ji přirovnávají k surovinovému prokletí: vlády bohatnoucí z ropy jsou méně závislé na práci, vzdělání a spokojenosti svých občanů. Podobně by se podle nich mohla změnit společnost, v níž bohatství vytváří umělá inteligence místo lidí. Mocní by pak měli menší důvod investovat do lidského vzdělání, zdraví a mezd. ^[66]

P(doom)

Pojem „P(doom)“ vyjadřuje osobní odhad pravděpodobnosti, že pokročilá umělá inteligence způsobí vyhynutí lidstva nebo jinou existenční katastrofu. Nejde o přesně vypočtenou hodnotu, ale o subjektivní úsudek konkrétního člověka. Jednotlivé odhady se navíc mohou vztahovat k odlišným scénářům a časovým obdobím, takže je nelze vždy přímo porovnávat.

Názory známých osobností z oboru se výrazně liší:

Rozpětí je tedy mimořádné: od téměř jisté katastrofy až po nebezpečí, které se blíží nule.

Za poslední dva roky se názory odborníků příliš nesblížily, proměnil se však tón celé debaty. Geoffrey Hinton v roce 2026 opakovaně uvedl, že má větší obavy než dříve – především proto, že modely stále lépe dokážou klamat. Dario Amodei v obsáhlé eseji z ledna 2026 připustil, že klamavé chování se při testech objevuje už u systémů schopných jednat samostatně. Zároveň varoval před nebezpečím „diktatur podporovaných AI“. ^[14]

Scénáře závažných dopadů AI

Rizika pokročilé umělé inteligence se netýkají jen možnosti vyhynutí lidstva. Odborníci upozorňují také na scénáře, které sice civilizaci přímo nezničí, ale mohou zásadně omezit lidskou svobodu, oslabit demokratické instituce, zvýšit bezpečnostní hrozby nebo soustředit moc do rukou několika málo aktérů. Následující přehled shrnuje nejčastěji diskutované možnosti – od špatně zacílené superinteligence až po postupnou ztrátu rozhodovací autonomie a ekonomickou koncentraci.

• Špatně zacílená ASI (misaligned ASI): superinteligentní umělá inteligence dostane nepřesně formulovaný cíl nebo si ho vyloží jinak, než lidé zamýšleli – jde tedy o selhání sladění. Nemusí být „zlá“ ani se vědomě obrátit proti lidstvu. Stačí, když svůj úkol plní důsledně, ale nebere přitom ohled na vedlejší následky. Je to totéž riziko, které přehled CAIS výše nazývá AI utržená ze řetězu, jen pojmenované podle příčiny místo podle následku.

  Známým příkladem je myšlenkový experiment filozofa Nicka Bostroma nazvaný „maximalizátor kancelářských sponek“ (paperclip maximizer). Umělá inteligence v něm dostane jediný úkol: vyrábět co nejvíce sponek. Pokud by tento cíl sledovala bez jakýchkoli omezení, mohla by teoreticky využít všechny dostupné zdroje na Zemi právě k jejich výrobě. Ne proto, že by chtěla lidstvo zničit, ale proto, že nic jiného nepovažuje za důležité.

• Autoritářský převrat podporovaný AI: stát nebo velká korporace získá díky pokročilé umělé inteligenci tak výraznou převahu, že je ostatní už nedokážou účinně kontrolovat. AI jim pomáhá sledovat obyvatelstvo, ovlivňovat veřejné mínění, potlačovat opozici, řídit represivní složky nebo rozhodovat rychleji než demokratické instituce.

  Takový vývoj nemusí začít otevřeným převratem. Moc se soustřeďuje postupně – s každým dalším systémem, který zvyšuje schopnost státu nebo firmy předvídat chování lidí, řídit tok informací a zasahovat proti odpůrcům. Výsledkem je společnost, v níž sice formálně existují volby a instituce, lidé však už ve skutečnosti nemohou vedení změnit ani ovlivnit jeho rozhodování.

• Postupná ztráta lidské rozhodovací autonomie (agency): lidé svěřují umělé inteligenci stále více rozhodnutí – od běžných každodenních záležitostí až po řízení firem, úřadů nebo celé společnosti. Zpočátku jde především o pohodlí a úsporu času. Postupně však ztrácejí schopnost rozhodovat samostatně, posuzovat doporučení systému a nést odpovědnost za jejich důsledky.

  Takový vývoj nemusí na první pohled působit nebezpečně. Každé jednotlivé rozhodnutí vypadá rozumně a efektivně, problém se však projeví až jejich dlouhodobým hromaděním. Výsledkem je společnost, která se sice formálně řídí lidskými rozhodnutími, ve skutečnosti však už převážně přebírá doporučení umělé inteligence. ^[67]

• Bioterorismus posílený AI: pokročilá umělá inteligence usnadňuje návrh biologických zbraní, vyhledávání vhodných organismů i plánování jejich výroby a použití. Znalosti a postupy, které dříve vyžadovaly úzkou odbornou specializaci, se tak stávají dostupnějšími i lidem s menšími zkušenostmi.

  Riziko nespočívá v tom, že umělá inteligence biologickou zbraň sama vytvoří. Nebezpečí vzniká tím, že snižuje odborné, technické a časové překážky, které dosud bránily jejímu vývoji a nasazení. Tím roste pravděpodobnost, že ji jednotlivci nebo malé skupiny použijí k útoku s rozsáhlými následky.

• Ekonomická koncentrace: několik firem ovládá nejpokročilejší systémy umělé inteligence a získává tím mimořádný vliv na celé hospodářství. Rozhodují o přístupu k technologiím, výpočetní kapacitě, datům i službám, na nichž závisejí ostatní podniky a instituce.

  Taková převaha postupně oslabuje konkurenci. Menší firmy, státy i veřejné instituce se stávají závislými na několika soukromých společnostech, které určují ceny, podmínky používání i směr dalšího vývoje. Výsledkem je ekonomika, v níž se rozhodovací moc soustřeďuje v rukou několika málo aktérů.

Co si myslí veřejnost

Účast veřejnosti se v debatě o rizicích umělé inteligence často uvádí jako jedna z důležitých pojistek. Je proto užitečné sledovat, jak se na další rozvoj AI dívají samotní lidé. Dostupné průzkumy přitom ukazují, že veřejnost bývá výrazně opatrnější než odborníci působící v oblasti umělé inteligence.

Obavy veřejnosti z umělé inteligence nejsou nové. Už v roce 2023 se téměř polovina Američanů obávala, že by AI mohla vést až k zániku lidstva ^[68]. V březnu 2025 tuto obavu sdílelo 37 % dotázaných a asi tři čtvrtiny se bály přílišné moci technologických firem. Průzkum organizace Future of Life Institute z října 2025 navíc ukázal, že 64 % Američanů odmítá vývoj nadlidské AI, dokud nebude prokázána její bezpečnost a ovladatelnost. Pomalý a přísně regulovaný vývoj podporovalo 73 % lidí, zatímco současný rychlý a málo regulovaný postup jen 5 % ^[69].

Podobně opatrní jsou i Češi. V průzkumu technologické firmy Agnostix z května 2026 vyjádřilo nějakou obavu z rozšířeného používání AI 93 % z více než 1 000 dotázaných. Přibližně polovina se obávala zneužití AI ke kyberzločinu nebo úniku citlivých dat a 40 % ztráty kontroly nad AI ^[71]. Podle průzkumů agentury Ipsos považují tři čtvrtiny Čechů dohled a regulaci AI za nedostatečné, přesto dvě třetiny vnímají umělou inteligenci jako součást nevyhnutelného pokroku ^[72]. Obavy však neznamenají, že lidé AI nepoužívají: v roce 2025 s jejími nástroji pro tvorbu obsahu pracovala zhruba třetina lidí starších 16 let a ve věku 16 až 24 let dokonce 78 % ^[73].