Proč selhávají předpovědi a experti

Šimpanz házející šipky

V úvodní kapitole jsme zmínili Tetlockův velký projekt: dvacet let (1984–2004) sbíral konkrétní, ověřitelné předpovědi od 284 profesionálních komentátorů politiky a ekonomiky — dohromady desítky tisíc. Výsledek shrnul sebeironicky: průměrný expert dopadl zhruba jako šimpanz házející šipky na terč. ^[1] Přesnější formulace zní: byl jen o chlup lepší než náhoda a nebyl lepší než pozorný čtenář novin. To neznamená, že experti nic nevědí — vědí o svém oboru mnoho. Znamená to, že jejich znalosti se nepřeklápějí do dobrých předpovědí budoucnosti, protože budoucnost složitých systémů je z principu špatně předvídatelná.

Ježci a lišky

Tetlock si vypůjčil obraz od filozofa Isaiaha Berlina (a ten od antického básníka): liška ví mnoho malých věcí, ježek jednu velkou. „Ježci" mají jednu velkou teorii, kterou vysvětlují všechno (všechno je třídní boj / trh / geopolitika); „lišky" berou informace z mnoha zdrojů, přiznávají nejistotu a mění názor podle důkazů. V Tetlockových datech lišky předpovídaly soustavně líp než ježci — zvlášť u dlouhodobých předpovědí ve vlastním oboru, kde ježci nejvíc přeceňovali svou teorii. ^[1]

A tady je nepříjemná ironie pro konzumenty médií: jediným spolehlivým prediktorem slávy byla — sebejistota, ne přesnost. Média zvou ježky, protože nabízejí ostré, sebejisté, zapamatovatelné soudy („určitě přijde krize"); opatrná liška s odpovědí „záleží na tom, spíš 60 : 40" je do vysílání méně vděčná. Čím slavnější expert, tím hůř v průměru předpovídal. ^[1] Sebejistota v televizi je tedy spíš varovný signál než záruka.

Superprognostici: předpovídání jako dovednost

Po tomto zjištění uspořádal Tetlock s kolegy v letech 2011–2015 velký předpovědní turnaj financovaný americkou zpravodajskou komunitou, v němž soutěžilo pět univerzitních týmů. Jeho tým (Good Judgment Project) vyhrával každý rok. ^[2][3] Klíčové zjištění: existuje malá skupina — zhruba nejlepší 2 % — kteří předpovídají výrazně líp než ostatní, a není to náhoda: svůj náskok si drží rok za rokem (zhruba 70 % z nich zůstalo mezi nejlepšími i příští rok), takže nejde o statistický výkyv, který by se vrátil k průměru. ^[3]

Co superprognostici dělají jinak? Nejsou to nutně géniové s tajnými informacemi — vyhrávají metodou a povahou: nejsilnějším prediktorem přesnosti bylo tzv. aktivně otevřené myšlení (ochota hledat důkazy proti vlastnímu názoru) a jak často člověk svůj odhad poopravoval podle nových zpráv. ^[3] K tomu rozkládají velké otázky na menší, poctivě vyhledávají základní míry a myslí v pravděpodobnostech, ne v černobílých jistotách. Že jde o naučitelné dovednosti, dokládá i to, že už krátký trénink v rozpoznávání zkreslení zlepšil přesnost účastníků turnaje zhruba o 10 %. ^[4]

Černé labutě: co předpovědět nejde

Nassim Taleb, kterého známe z kapitoly o náhodě, přidává zásadní výhradu. Nejdůležitější události — finanční krize, pandemie, převraty — jsou černé labutě: vzácné, s obrovským dopadem a „vysvětlitelné" vždy až zpětně. A právě ty žádné předpovídání nezachytí. Taleb proto namítá, že hodnotit prognostiky podle toho, jak často se trefí do všedních otázek, míří vedle: rozhodující není počet správných tipů, ale velikost dopadu toho, v čem se člověk splete. Kdo se stokrát trefí a jednou přehlédne krach, na tom prodělá.

Zajímavé je, že Taleb a Tetlock — zdánlivě protivníci — svůj spor v roce 2013 sepsali do společného odborného textu. Shodli se, že u sázek s omezeným ziskem/ztrátou (trefí/netrefí) dává předpovídání smysl, kdežto u expozic s neomezeným dopadem (kde jedna chyba může být fatální) je důležitější připravenost a odolnost než přesnost předpovědi. ^[6] Poučení pro občana: u věcí, kde jedna velká chyba bolí neúměrně (celoživotní úspory, zdraví), nesázejte na to, že budoucnost odhadnete správně — zajistěte se pro případ, že ne.

Co s tím: vnější pohled a základní míry

Nejúčinnější náprava se jmenuje vnější pohled (outside view): místo abych odhadoval „zevnitř" konkrétního případu podle jeho detailů a svého nadšení, začnu od otázky „jak dopadaly podobné případy obecně?". Klasickou ukázkou selhání „vnitřního" odhadu jsou velké stavby. Ekonom Bent Flyvbjerg zdokumentoval, že 9 z 10 megaprojektů překročí rozpočet — u železnic v průměru o 45 %, u silnic o 20 %. ^[5] Kdyby plánovači místo optimistického „u nás to zvládneme za X" vyšli ze statistiky podobných staveb, trefovali by se mnohem líp. Právě proto tuto metodu (reference-class forecasting) dnes doporučují i vládní příručky pro rozpočtování.

A pozitivní protipříklad na závěr: existuje profese, která předpovídá skvěle — meteorologové. Když řeknou „30% pravděpodobnost deště", opravdu prší zhruba ve 30 % takových dní. ^[7] Proč se to daří jim a expertům na politiku ne? Protože předpověď počasí splňuje obě podmínky z druhé kapitoly: dělá se často a výsledek přijde hned a jednoznačně (zítra buď prší, nebo ne). Kde je rychlá a jasná zpětná vazba, tam se i předpovídání dá naučit.

Selhání předpovědí ukazuje meze jednotlivého rozumu tváří v tvář složitosti a náhodě. Jenže rozum nefunguje ve vzduchoprázdnu — utváří ho skupina, ke které patříme. Jak se mýlí celý dav (a jak nás k tomu tlačí), ukazuje následující kapitola.