Zaprvé, účastníci odpovídají na konkrétní otázky přesnými, měřitelnými předpověďmi. Zároveň uvádějí, nakolik si jsou svými odpověďmi jistí.
Zadruhé, předpovědi mnoha účastníků se spojí do jediné předpovědi, která bývá přesnější než kterákoli z nich samostatně. Tomuto jevu se říká „moudrost davu“. Funguje proto, že každá předpověď obsahuje nějakou informaci, která ostatním může chybět, a společné znalosti skupiny vyrovnávají zkreslení jednotlivců.
Zatřetí, úspěšnost účastníků se měří tak, že se jejich dřívější předpovědi porovnají se skutečností, jakmile je jasné, jak budoucí událost dopadla. Výsledné skóre ukazuje, jak dobře kdo umí předpovídat budoucnost. Dá se také použít k tomu, aby předpovědi lepších forecasterů měly větší váhu. Tato zpětná vazba pomáhá účastníkům se postupně zlepšovat.
Forecasting se používá hlavně u složitých problémů, které zasahují do mnoha oblastí, nebo v situacích, kdy není dost dat na předpovědi pomocí přesných modelů.
Jaké forecastingové otázky můžeme klást?
Většina otázek chce po účastníkovi, aby si vybral mezi dvěma vzájemně se vylučujícími výsledky budoucí události (takzvané otázky ano/ne neboli binární otázky). Některé otázky po účastníkovi chtějí, aby odhadl datum nějaké budoucí události nebo množství něčeho k určitému datu (takzvané číselné otázky).
Obvykle mají podobu „Stane se (událost) X do (data) Y?“, „Kdy nastane (událost) X?“ nebo „Jaká bude hodnota nebo množství X k (datu) Y?“
Kvantifikace nejistoty
Když účastníci odpovídají na otázku jako „Dojde do konce roku 2026 k aktivním bojům mezi Spojenými státy a Čínou?“, jejich odpověď obvykle nezní prostě „ano“, nebo „ne“. Nedílnou součástí forecastingu je totiž kvantifikace nejistoty. Pokud je budoucnost skutečně neznámá, nikdo nemůže mít 100% jistotu, že se něco stane, nebo nestane. Na forecastingové otázky se proto obvykle odpovídá tak, že svou jistotu vyjádříte jako pravděpodobnost. Například: „S 90% jistotou je odpověď ano.“
Kalibrace
Přesně definovat, co takové pravděpodobnostní tvrzení formálně znamená, může být filozoficky trochu složité, ale můžete o něm uvažovat třeba takto: pokud odpovíte na 100 navzájem nesouvisejících otázek s 90% jistotou, měli byste mít správně zhruba 90 z nich.
Dovednost uvádět správnou míru jistoty se nazývá kalibrace.
Představte si výše popsanou situaci, kdy odpovíte na 100 otázek s 90% jistotou. Pokud máte správně zhruba 90 z nich, jste dobře kalibrovaní. Pokud máte správně mnohem méně (např. 80), máte nadměrnou jistotu (vaše předpovědi jsou méně spolehlivé, než tvrdíte), pokud mnohem víc (např. 99), máte nedostatečnou jistotu.
Kalibraci lze trénovat, jak si ukážeme později.
Otázky s jinými odpověďmi než ano/ne
U otázek, které mají víc než dvě možné odpovědi, je to trochu složitější.
Pokud má otázka malý konečný počet možných odpovědí (např. který z těchto států jako první vyvine určitou technologii), můžete jednoduše každé odpovědi přiřadit pravděpodobnost (a tyto pravděpodobnosti musí dát dohromady 100 %).
Ještě záludnější jsou číselné otázky, kde může být možných odpovědí velmi mnoho, dokonce nekonečně mnoho (např. když připouštíme desetinná čísla). V takovém případě můžete například odhadnout pravděpodobnosti, že odpověď padne do předem daných číselných rozmezí (např. 1–100, 100–1000).
Další možností je uvést interval spolehlivosti. Když máte například uvést 90% interval spolehlivosti, odpovězte rozmezím čísel, o kterém jste si na 90 % jistí (ve smyslu popsaném výše), že v něm odpověď bude.
Obecnější možností je odpovědět rozdělením pravděpodobnosti – matematickým konstruktem, který obecněji popisuje, jak pravděpodobné vám jednotlivé odpovědi připadají.
Rozdělení pravděpodobnosti existuje mnoho druhů, například rovnoměrné rozdělení (které např. považuje všechna čísla v daném rozmezí za stejně pravděpodobná a čísla mimo ně za čísla s nulovou pravděpodobností). Realističtější je normální rozdělení, které je dáno střední hodnotou (průměrem neboli očekávanou hodnotou) a rozptylem (číslem, které popisuje, jak moc je rozdělení „rozprostřené“, tj. jak pravděpodobné je, že uvidíte čísla vzdálená od střední hodnoty). Podrobný výklad rozdělení pravděpodobnosti přesahuje rámec tohoto článku.
Podmíněné otázky
Zvláštním druhem otázek jsou podmíněné otázky, tedy otázky typu „Pokud (událost) X nastane (nenastane), bude následovat (událost) Y?“ Podmíněnou otázku ano/ne lze vyhodnotit kladně (nastane X i Y), záporně (X nastane, ale Y ne), nebo jako neurčitou (X nenastane). Pokud je otázka vyhodnocena jako neurčitá, předpovědi k ní se nepovažují za správné ani za chybné a nelze pro ně spočítat skóre.