Konkrétnost a jednoznačnost
Představte si skupinu lidí, kteří se snaží odpovědět na zdánlivě nevinnou otázku Zažijeme za svého života válku? Nejdřív nejspíš budou úplně zmatení. Otázka je velmi široká a dá se vyložit mnoha způsoby. Když se o takové otázce baví víc lidí, každý z nich má na mysli trochu jiný výklad.
Zaprvé, koho myslíme tím my? Nás, skupinu lidí, která si tu otázku klade? Všechny z nás? Aspoň jednoho z nás? Jak přímo a osobně by se jich to muselo dotknout, aby se to počítalo (např. odvod do armády, bombardování části jejich města atd.)? Nebo myslíme naši zemi obecně? Co když se někteří z nás přestěhují do jiné země (což samo o sobě může být pravděpodobnější než vypuknutí války v naší současné zemi)? Podobně co znamená za svého života? Musíme teď zohlednit i odhady střední délky života? (Opět: i předčasná smrt několika z nás může být pravděpodobnější než vypuknutí války, takže to nelze jen tak ignorovat.)
A možná ještě důležitější je, co všechno spadá pod naši definici války. Počítáme třeba kybernetickou válku? Nebo máme na mysli situaci, kdy do naší země vpochodují vojáci jiného státu, případně kdy lidé z naší země aktivně vstoupí do jiné země s cílem ji dobýt? Každá z těchto variant nejspíš povede k velmi odlišné odpovědi.
Problémy se objeví i u zdánlivě mnohem přesnější otázky, jako je „O kolik procent vzroste HDP USA během příštích 10 let?“
USA jsou největší ekonomikou světa a statistik o HDP USA existuje spousta, takže se zdá, že tuto otázku bude snadné vyhodnotit. Při bližším pohledu ale zjistíme, že význam HDP není tak jasný, jak se zdá. Může jít o nominální HDP, nebo o reálné HDP (očištěné o inflaci). Také se můžeme ptát na HDP celé země (které mohou ovlivnit i změny počtu obyvatel), nebo na HDP na obyvatele. Když se dá otázka vyložit několika různými způsoby, účastníci na ni neodpovídají ve stejném smyslu. V podstatě bychom tak agregovali odpovědi na několik různých otázek a výsledek by měl jen velmi malou vypovídací hodnotu a mohl by být úplně nepřesný a zavádějící. Nedalo by se ani porovnat jednotlivé předpovědi mezi sebou nebo určit, kdo předpovídal nejlépe. A když je sporné, jak se otázka vyhodnotí, klesá i ochota racionálních účastníků zabývat se tématem podrobněji.
Stručně řečeno: všechny pojmy v otázce musí být jasně definované, i ty zdánlivě samozřejmé.
Ověřitelnost
Představme si například otázku: „Kolik příslušníků domorodého obyvatelstva Amazonie bude v roce 2035 žít alespoň 50 km od zpevněné silnice?“ Je to samozřejmě zajímavá otázka, a pokud jasně definujeme pojmy jako „Amazonie“ a „domorodé obyvatelstvo“, budeme všichni vědět, na co se ptá.
Problém takové otázky ale je, že zatím žádná mezinárodní ani místní instituce ani nevládní organizace na světě nesčítá domorodé indiány v Amazonii, kteří žijí 50 km a víc od zpevněné silnice.
Abychom otázku mohli vyhodnotit, museli bychom se do Amazonie vydat sami, a ani pak bychom během jednoho roku nedokázali všechny spočítat, protože Amazonie je příliš rozlehlá a neprostupná.
Tato otázka je tedy položena jasně, ale chybí nám zdroj pro její vyhodnocení, a tím bychom přišli o jednu ze skvělých vlastností forecastingu – zpětnou vazbu.
Pro každou otázku je proto zásadní určit zdroj, podle kterého bude vyhodnocena. Nejlepšími zdroji bývají oficiální zprávy nebo pravidelně aktualizované statistiky zveřejňované na webech uznávaných národních a mezinárodních institucí.
Pokud téma otázky neumožňuje využít zavedené instituce s vysokou důvěryhodností, lze otázku vyhodnotit na základě informací z renomovaných zpravodajských webů.
Když není určen zdroj pro vyhodnocení, nejistota ohledně toho, jak bude otázka vyhodnocena, může výrazně snížit ochotu účastníků k ní zadávat odhady.
Každá otázka by měla obsahovat doplňující informace, které jasně říkají, jak bude vyhodnocena ve všech možných budoucích scénářích. Pokud nastane výsledek, se kterým otázka nepočítala, musí být zrušena. Takových případů by mělo být co nejméně, protože kromě ztráty pro zadavatele, který nedostane potřebnou předpověď, vedou taková přehlédnutí ke ztrátě motivace účastníků. Někdy k nim ale může dojít, ať se jim snažíme vyhnout sebevíc.
Informativnost
Všechna tahle konkrétnost a jednoznačnost má ale i svou stinnou stránku. Když se na něco ptáme, často máme na mysli něco, co bychom ve skutečnosti chtěli vědět, ale je to spíš vágní a nedá se to položit přímo jako forecastingová otázka. Například: O kolik je varianta koronaviru omikron nakažlivější? (Může to ale být i něco ještě abstraktnějšího, např. Který z těchto směrů výzkumu je slibnější / kterému bychom měli dát přednost?)
Pak musíme otázku operacionalizovat – zformulovat mnohem konkrétnější otázku (nebo několik otázek), která má nějak pomoct zodpovědět tu původní.
Musíme si ale dát velký pozor, aby operacionalizace o původní otázce skutečně vypovídala a odpověď ve skutečnosti neurčovaly hlavně detaily samotné operacionalizace.
Pokud bychom například výše uvedenou otázku operacionalizovali jako Kolik potvrzených případů varianty omikron bude v USA během příštího měsíce?, výsledek by mohl záviset hlavně na tom, kolik se bude provádět testů rozlišujících varianty a kolik sekvenování, a i skutečná odpověď by nám zpětně o skutečném šíření omikronu řekla jen velmi málo.
Podobně pokud chcete vědět něco o pokroku AI a zeptáte se, jak úspěšná bude AI třeba v konkrétní hře, může to víc ovlivnit to, jak je daná hra sama o sobě snadná nebo obtížná, než úroveň schopností AI.
Obecně se docela často ukáže, že položená otázka je ve skutečnosti o něčem jiném, než jste chtěli.
A protože dobří forecasteři jsou vedeni k tomu, aby odpovídali na otázku tak, jak je položená (ne jak byla myšlená), takové předpovědi nejspíš také nebudou mít velkou hodnotu.
Aby byla vaše forecastingová otázka co nejinformativnější, můžete použít strategický rozklad otázky (question decomposition), zkráceně „rozklad“. Rozklad otázky vzniká rozdělením velké strategické otázky na menší části, abychom našli otázky na budoucnost, které nám pomohou lépe pochopit tu původní a získat představu o tom, co pravděpodobně nastane. Více se o něm dočtete na INFER (anglicky).
Kontrolní seznam
Tady je kontrolní seznam, který shrnuje kritéria, jež by měla splňovat každá forecastingová otázka:
- Je formulovaná jasně, takže ji lze vyložit jen jedním konkrétním způsobem.
- Každý použitý pojem je jasně definován v doplňujících informacích k otázce. Například: konflikt, útok, porušení úmluvy atd.
- Otázka počítá se všemi možnými scénáři včetně nepravděpodobných variant, jako jsou hraniční případy, remízy, odložené či zrušené události atd., a určuje, jak bude v těchto hraničních případech vyhodnocena.
- Data a časy jsou přesně určené. Například místo otázky, zda se něco stane během dvou let, určíme období končící o půlnoci 1. ledna 2024. Pokud není jasné časové pásmo, mělo by se doplnit do upřesňujících informací.
- Otázka a její kontext jsou dostatečně zajímavé, aby motivovaly účastníky k zadávání odhadů, a je vysvětleno, proč je otázka důležitá nebo pro kterou instituci může mít výsledek předpovědi hodnotu.
- Je k ní uveden zdroj, podle kterého bude vyhodnocena. Kritéria pro její vyhodnocení jsou přitom jednoznačná i s ohledem na to, jak se zdroje dat mohou vyvíjet.
- Znění otázky je taktní; například by se neměla předpovídat smrt konkrétní osoby nebo skupiny. Pokud jde o věc veřejného zájmu, lze otázku přeformulovat, například „Kdy X přestane být členem soudu?“ a podobně.
- Otázka není pomlouvačná a respektuje soukromí (například nezasahuje do osobního života lidí, kteří nejsou veřejně známí).
- Před položením otázky proběhne konzultace s odborníkem, který se tématem otázky dlouhodobě zabývá. To platí zejména pro otázky, jejichž výsledek se udává na škále.
- Účastníci turnaje nemohou výsledek otázky jednoduše ovlivnit, například hlasováním v anketě na dané téma nebo jakýmkoli technickým řešením, jako je Google Trends nebo automaticky generované ankety.