forecastingové turnaje

1. Rozhodněte se, kolik a jakých otázek položíte

Typický forecastingový turnaj má 15 až 100 otázek. Čím méně otázek, tím víc výsledek ovlivní náhoda. Naopak víc otázek spolehlivěji ukáže, kdo ve vaší skupině předpovídá nejlépe. S počtem otázek ale roste i čas, který turnaji musí věnovat organizátoři i účastníci.

Osvědčený postup je zveřejňovat čtyři otázky týdně po dobu šesti týdnů. Účastníci se tak mohou soustředit na aktuální otázky, aniž by jich na ně bylo příliš. Podle dosavadních zkušeností stráví účastníci odpovědí na jednu otázku v průměru hodinu.

Na začátku turnaje je důležité rozhodnout, jaký typ otázek budete účastníkům klást. Pokud zvolíte jen otázky ano/ne, můžete využít Brierovo skóre, jehož výpočet je v aplikaci Confido vestavěný. Skóre účastníků pak uvidíte automaticky. Přečtěte si víc o automatickém výpočtu skóre.

Pokud ale chcete otázky ano/ne bodovat jinak nebo zařadit i číselné otázky, budete muset výsledky exportovat do CSV (Confido export do CSV podporuje) a skóre spočítat sami podle vzorce, který si zvolíte.

2. Rozhodněte, nakolik mají účastníci spolupracovat

Budou na vaše otázky odpovídat jednotlivci? Týmy? Nebo celá oddělení?

Můžete se také rozhodnout, jestli chcete, aby účastníci své předpovědi komentovali, a podpořit tak spíš spolupráci než soutěžení. Nejlepší komentáře můžete po turnaji také ocenit.

3. Promyslete, na co se chcete ptát

Nemusíte jen zjistit, kdo ve vaší organizaci předpovídá nejlépe, ale můžete také získat lepší data o budoucnosti svého oboru. Promyslete proto, jakých témat by se váš turnaj měl týkat.

Samozřejmě můžete předpovídat i jen pro zábavu – sport, módu, celebrity a podobně.

4. Připravte otázky na budoucnost, na které lze odpovědět číslem

Jakmile budete mít pracovní prostor v Confidu, vytvořte místnost „Forecastingový turnaj xxx“. Pak do ní přidejte všechny své otázky. Každá forecastingová otázka by měla být konkrétní, jednoznačná a ověřitelná. Na našem webu si můžete přečíst víc o tom, jak vypadá dobrá forecastingová otázka.

U každé forecastingové otázky můžete nastavit harmonogram: kdy se otevře (účastníci ji uvidí), kdy se uzavře (skončí zadávání odhadů) a kdy se vypočítá skóre.

5. Informujte účastníky

Jakmile víte, že turnaj uspořádáte, je dobré uspořádat workshop nebo online hovor, na kterém vysvětlíte, co je forecastingový turnaj a jak funguje. Můžete také vyhlásit cenu pro nejlepší forecastery. Připravte se, že dostanete spoustu dotazů.

6. Pomozte účastníkům se na turnaj připravit

Je důležité, aby si účastníci ještě před turnajem uvědomili, že svou nejistotu můžeme vyjádřit v procentech.

Poslouží k tomu kalibrační cvičení. Můžete si v Confidu připravit vlastní trénink kalibrace, nebo využít některé z existujících cvičení (anglicky).

7. Zahajte turnaj a sdílejte otázky s účastníky

Když budete účastníky zvát do své místnosti v Confidu, dbejte na to, aby všichni měli roli „forecaster“ (účastník, který zadává odhady).

Otázky můžete sdílet také s moderátory (role „moderator“), kteří mohou otázky upravovat a měnit, a s pozorovateli (role „observer“), kteří jen sledují, co se děje.

8. Mluvte s účastníky

Po zveřejnění otázek mívají účastníci turnaje spoustu dalších dotazů a potřebují si ujasnit, jak jsou otázky přesně formulované. Vyhraďte si na ně čas, zejména ve dnech, kdy zveřejňujete nové otázky.

9. Vyhodnoťte otázky

Jakmile znáte správnou odpověď, otázku vyhodnoťte. Účastníci obvykle raději odpovídají na otázky, které se vyhodnotí brzy. Rychlá zpětná vazba jim také pomůže se v průběhu turnaje zlepšovat.

Téměř v každém turnaji se najde aspoň jedna otázka, kterou nelze vyhodnotit kvůli nejasné definici a sporům.

10. Vyhodnoťte přesnost předpovědí účastníků

Přesnost lze hodnotit různými způsoby, obvykle se ale předpovědi účastníků porovnávají se skutečnými výsledky pomocí nějakého bodovacího systému.

Nejběžnějším bodovacím systémem ve forecastingových turnajích je Brierovo skóre. Měří průměrnou druhou mocninu rozdílu mezi předpovězenou pravděpodobností události a jejím skutečným výsledkem. Jiné systémy, například log-likelihood (logaritmické skóre) nebo precision-recall, používají jiné metriky. Aplikace Confido má výpočet Brierova skóre vestavěný, takže skóre všech účastníků získáte automaticky. Nastavíte ho několika kliknutími.

Pokud zvolíte jiný způsob bodování, můžete Confido používat i tak: exportujte všechny předpovědi do CSV a odpovědi účastníků obodujte ručně podle systému, který vám vyhovuje.

11. Vyhlaste vítěze

Uspořádejte večírek nebo setkání, kde se lidé podělí o to, jak o otázkách uvažovali, a kde oceníte nejlepší forecastery.

Odměnit můžete nejen ty s nejlepším skóre, ale i ty, kdo v turnaji napsali nejlepší komentáře a svými postřehy pomohli ostatním.