AGI, ASI a existenciální rizika

Co znamená AGI a ASI

Definice AGI (Artificial General Intelligence) je sporná. Tři dominantní definice:

• OpenAI (z charity): „Highly autonomous systems that outperform humans at most economically valuable work". Zaměřeno na ekonomický dopad.
• DeepMind (Morris et al. 2024): pětistupňová škála — emerging, competent, expert, virtuoso, superhuman. AGI = competent (50. percentil dovedných dospělých napříč úkoly).
• Akademická (Wang 2019): „A system that can perform tasks that humans can perform, including ones it has not been trained on, with comparable proficiency".

Společné je: široká generalizace, adaptace na nové úkoly, autonomní rozhodování. ASI (Artificial Superintelligence) jde dál — AI, která lidi významně překonává ve všech kognitivních úkolech. Nick Bostrom v knize „Superintelligence" (2014) definuje tři typy: speed superintelligence (myslí rychleji), collective superintelligence (jako rychlá kolektivní inteligence), quality superintelligence (kvalitativně lepší uvažování). ^[1]

Čtyři tábory v debatě

AI komunita se kolem AGI dělí do čtyř hlavních táborů:

• Akceleracionisté / e/acc (zkratka anglického effective accelerationism, „efektivní akceleracionismus"): Marc Andreessen (manifest „Techno-Optimist", říjen 2023), Beff Jezos. AGI je nevyhnutelná a dobrá; regulace ji jen zpomaluje a zhoršuje. Bude řešit klima, zdraví, chudobu. Nejasná etická pozice ke konkrétním rizikům.
• Mainstream AI firmy (OpenAI, Anthropic, Google DeepMind): chceme AGI, ale bezpečně. Investice do alignment research, transparentnost, postupné nasazování. Vnitřní napětí mezi „rychle vpřed" (komerční tlak) a „opatrně" (bezpečnostní výzkum). Sam Altman, Dario Amodei i Demis Hassabis sami podepsali prohlášení CAIS o existenciálním riziku (květen 2023) ^[2] — jejich pozice je tedy „AGI je riziková, ale my ji budeme vyvíjet odpovědně, protože jinak ji někdo udělá hůře", ne odstoupení od vývoje.
• Bezpečnostně orientovaní (safety-first): Eliezer Yudkowsky (MIRI), Geoffrey Hinton (Turingova cena, odešel z Google 2023, aby mohl volně varovat), Stuart Russell, Max Tegmark (FLI). AGI je vážné existenciální riziko; chceme ho zpomalit nebo zastavit, dokud neumíme alignment. Yudkowsky v TIME 2023: „IF this continues, almost every human on Earth dies".
• Skeptici: Yann LeCun (Meta, Turingova cena), Gary Marcus, Emily Bender. Současné LLM architektury nevedou k AGI — jsou „stochastic parrots" bez skutečného porozumění. AGI vyžaduje architektonický průlom, který nikdo nezná.

Predikce horizontu

Konkrétní predikce o tom, kdy AGI vznikne (agregované odhady komunity sleduje predikční platforma Metaculus ^[10]):

AI Safety Institutes

UK AI Security Institute (původně AI Safety Institute, AISI UK) byl založen v listopadu 2023 jako součást Bletchley Park AI Safety Summit organizovaného Rishi Sunakem; pod novou britskou vládou byl v roce 2025 přejmenován z „Safety" na „Security". Cíl: nezávislé testování špičkových modelů před nasazením. Institut uvádí přes 100 technických pracovníků; roční financování 66 mil. GBP a grantové prostředky přes 15 mil. GBP (původní záměr „Frontier AI Taskforce" hovořil o ~100 mil. GBP investicí). V roce 2024 testoval GPT-4o, Claude 3.5, Gemini 1.5 — výsledky některých testů publikoval. ^[3]

US AI Safety Institute (AISI US) byl založen v listopadu 2023 v rámci NIST. Bidenova administrativa ho vybavila mandátem testovat AI systémy s vysokým rizikem (frontier models). Trump v lednu 2025 zrušil Bidenův exekutivní příkaz k AI; k samotnému přejmenování a transformaci US AI Safety Institute na Center for AI Standards and Innovation (CAISI) došlo v červnu 2025 — s posunem k „standardizaci a inovaci" místo „safety". Aktuální stránka NIST popisuje CAISI jako průmyslový kontaktní bod pro testování, výzkum a standardy. Změna byla v komunitě AI safety vnímána jako oslabení. ^[4]

EU AI Office (od února 2024) v rámci DG CONNECT Komise. Působí v rámci Evropské komise a má klíčovou roli při implementaci AI Aktu, zejména u pravidel pro general-purpose AI (GPAI) modely. Vede ho Lucilla Sioli (italská). Spolupracuje s národními orgány členských států; v ČR koordinuje implementaci AI Aktu Ministerstvo průmyslu a obchodu (gestorem určeno usnesením vlády č. 394 z 28. 5. 2025). Dozorové role mají podle návrhu adaptačního zákona (do připomínkového řízení předložen v září 2025; legislativní proces dokončuje vláda vzešlá z voleb 2025) připadnout zejména Českému telekomunikačnímu úřadu (ČTÚ), Úřadu pro technickou normalizaci, metrologii a státní zkušebnictví (ÚNMZ) a České agentuře pro standardizaci (ČAS), v dílčích oblastech pak České národní bance (ČNB) a Úřadu pro ochranu osobních údajů (ÚOOÚ). NÚKIB je relevantní pro kyberbezpečnost, není však hlavním dozorovým orgánem AI Aktu. ^[5]

Druhý velký summit se konal v Soulu 21.–22. května 2024 (po Bletchley Park) — při něm byl spuštěn záměr mezinárodní sítě AI safety institutů. První technické setkání této sítě se konalo 20.–21. listopadu 2024 v San Francisku, kde se sešlo 9 zemí (Austrálie, Kanada, Francie, Japonsko, Keňa, Jižní Korea, Singapur, Velká Británie a USA) a Evropská unie. Čína mezi zakládajícími členy sítě nebyla; naopak Keňa byla přizvána jako zástupce Globálního Jihu. Třetí summit byl v únoru 2025 v Paříži (předsednictví Francie), čtvrtý v Indii v 2026. Mezinárodní spolupráce existuje, ale závazné dohody chybí.

Hlavní rizika podle taxonomie CAIS

Center for AI Safety (CAIS, neziskovka v San Francisku) navrhl v 2023 systematickou taxonomii „katastrofických AI rizik" ^[6], která se v debatě o AI safety často cituje:

• Zlovolné použití (malicious use): AGI jako zbraň — bioterorismus s pomocí AI, kybernetické útoky na kritickou infrastrukturu, masová manipulace voleb, autonomní zbraně. Akutní obavou: bioterorismus, kde AI snižuje technickou bariéru.
• AI race (závody): firmy/státy soutěží o AGI a obětují bezpečnost. Geopolitické závody USA-Čína a komerční tlaky urychlují vývoj, snižují kvalitu safety testingu.
• Organizační rizika: AI firmy dělají chyby — neúplné vyhodnocení schopností modelu, úniky informací, předčasné nasazení, bugs v testovacích pipelineech. Riziko roste tlakem na rychlé nasazení a komerční konkurencí.
• Rogue AI: AGI s misaligned cíli, která bude jednat proti lidským zájmům. Yudkowsky a Bostrom hlavní zastánci. Současné LLM tuto schopnost nemají, ale v hypotetickém scénáři ASI by mohlo být fatální.

Konkrétní scénáře a P(doom)

V AI komunitě se rozšířil termín „P(doom)" — pravděpodobnost, že AI povede k vymření nebo katastrofickému kolapsu lidstva. Z veřejných výroků 2023–2025 vyplývají velmi rozdílné odhady: Eliezer Yudkowsky: >95 %. Dario Amodei: 10–25 %. Sam Altman: „nezanedbatelná, ale ne vysoká". Geoffrey Hinton: 10–20 %. Yann LeCun: <1 %. Toto rozpětí ukazuje, že i špičkoví odborníci se zásadně neshodují — jednotlivá procenta jsou jejich osobní odhady, nikoli závěr nějaké studie.

Nejvíce diskutované scénáře:

• Misaligned ASI: nezamýšlené cíle vedou k akcím, které zničí lidstvo (klasický myšlenkový experiment „paperclip maximizer" Nicka Bostroma — AI s jediným cílem vyrábět kancelářské sponky by teoreticky proměnila v sponky všechny zdroje na Zemi).
• Autoritářský převrat podporovaný AI: stát nebo korporace pomocí AI získá nepřekonatelnou výhodu nad demokraciemi.
• Postupná ztráta lidské rozhodovací autonomie (agency): lidé delegují stále víc rozhodnutí na AI, ztrácejí schopnost samostatného řízení společnosti.
• AI-zesílený bioterorismus: dostupnost biologických zbraní díky AI snižuje práh pro masové ničení.
• Ekonomická koncentrace: pár firem vlastní AGI a kompletně ovládá ekonomiku.

Mezinárodní rámec: kde je svět

Mezinárodní debata o AGI a existenciálních rizicích probíhá ve třech vrstvách:

• OSN: V březnu 2024 přijalo Valné shromáždění OSN první rezoluci o umělé inteligenci (A/RES/78/265, navržená USA) zaměřenou na bezpečnou, důvěryhodnou AI pro udržitelný rozvoj. Na agendě OSN navazuje mimo jiné platforma AI for Good vedená ITU (existuje od roku 2017, inaugurační summit Ženeva 2017; v roce 2024 spuštěna AI for Good Impact Initiative). Závazné dohody chybí.
• G7 / G20: V roce 2023 G7 přijala Hiroshima Process — soubor principů pro vývoj AI. Italské předsednictví 2024 přidalo „Hiroshima AI Process Comprehensive Policy Framework".
• Bilateral / multilateral: AI Safety Summits Bletchley → Soul → Paříž → Indie. US–Čína AI Talks (od listopadu 2023, omezený rozsah). EU–US Trade and Technology Council (TTC).
• Civilní společnost: Future of Life Institute, Center for AI Safety, Effective Altruism, AI Safety Network. Tyto organizace mají vliv na debatu, ale ne na regulaci.

Český kontext: kde stojíme

V Česku je AI safety debata málo rozvinutá. Akademická scéna se účastní (CIIRC ČVUT, MFF UK, ÚFAL) v rámci EU sítí, ale nemáme vlastní AI Safety Institute ani významnou skupinu safety výzkumníků. Národní strategie umělé inteligence ČR 2030 (NAIS 2030) schválená vládou 24. července 2024 safety zmiňuje, ale bez konkrétních milníků. Akademie věd ČR má Komisi pro etiku vědecké práce (předseda Oldřich Tůma), která se od roku 2024 zabývá i etikou AI ve výzkumu (viz kap. {level:podrobne|12}); samostatný národní AI safety institut ale chybí.

Doporučení: ČR by měla (a) přihlásit se k mezinárodním AI Safety Summit iniciativám, (b) zřídit alespoň malou AI Safety pracovní skupinu při NÚKIB, (c) financovat alignment research (TA ČR, GA ČR), (d) účastnit se aktivně debaty v EU AI Office.

Otevřený dopis FLI (březen 2023) — počet signatářů

30 000+

Future of Life Institute

CAIS prohlášení (květen 2023)

„Mitigation of extinction risk from AI should be a global priority"

Center for AI Safety

P(doom) rozpětí mezi předními AI vědci

<1 % (LeCun) až >95 % (Yudkowsky)

veřejné výroky 2023–2025