Kalibrace

1. Otevřete trénink kalibrace

   Ve svém pracovním prostoru v Confidu zvolte v menu vlevo Calibration training (trénink kalibrace). Je to sada otázek ano/ne ze zeměpisu, historie, přírodních věd a dalších oblastí, jejichž odpovědi už jsou známé – takže hned uvidíte, jestli jste měli pravdu.

   

   Nejde o vědomostní kvíz. Znát odpověď není lepší než si nebýt jistí – rozhoduje, jestli víte, jak moc jste si jistí. A odpovědi si nevyhledávejte: použijte jen to, co víte, své tipy a vlastní úvahu.

2. Odpovídejte s mírou jistoty

   U každé otázky se rozhodněte, která odpověď je podle vás pravděpodobnější a jak moc jste si jí jistí. Posuňte posuvník k Yes (ano), nebo No (ne): 50 % znamená, že nemáte tušení, 100 % znamená, že jste si naprosto jistí.

   

   Jana si je tady na 80 % jistá, že Grónsko není větší než Saúdská Arábie. Otázce vůbec nerozumíte? Přeskočte ji, nebo odpovězte 50 % – i to je poctivá odpověď.

3. Učte se ze zpětné vazby

   Po každé odpovědi uvidíte tu správnou, často s krátkým vysvětlením – a jakmile odpovíte aspoň na tři otázky s podobnou mírou jistoty, také jak často máte při této jistotě pravdu.

   

   Černá čára ukazuje, kde byste měli být: při 80% jistotě byste měli mít pravdu zhruba v 80 % případů. Pruh ukazuje, kde jste. Oranžová znamená, že máte pravdu méně často, než tvrdíte (nadměrná jistota), modrá že častěji (nedostatečná jistota) a zelená že jste přesně tam, kde máte být.

   Jana se tentokrát spletla – a to se stává: při 80 % má být jedna odpověď z pěti špatně. Ukazatel ale ukazuje, že když řekne 80 %, má pravdu jen 5krát z 9, takže jde o vzorec, ne o smůlu. Až si bude příště jistá na 80 %, měla by se zastavit a ještě jednou se zamyslet.

4. Podívejte se na svou kalibrační křivku

   Klikněte vpravo nahoře na Stats (statistiky) a uvidíte svou kalibrační křivku a tabulku se všemi úrovněmi jistoty najednou.

   

   Vodorovná osa ukazuje, jak moc jste si byli jistí; svislá osa, jak často jste měli pravdu. Zelená tečkovaná čára znamená dokonalou kalibraci. Pokud je vaše křivka ve fialové oblasti pod ní, jde o nadměrnou jistotu; v tyrkysové oblasti nad ní o nedostatečnou jistotu. (Viz jak číst kalibrační křivku níže.)

   Janina křivka je všude pod čárou – typický výsledek. Když si je „jistá na 90 %“, znamená to u ní zhruba 75 %.

5. Trénujte dál

   Kalibrace se zlepšuje opakovanou zpětnou vazbou, ne za jedno odpoledne. Udělejte si kolo 20–30 otázek, podívejte se na svou křivku, zamyslete se, co vám říká – a vraťte se jindy. Zkoušejte přitom tipy níže a sledujte, jak se vaše křivka přibližuje k zelené čáře.

Nejdůležitější je získávat zpětnou vazbu, a tu vám dávají oba způsoby výše. Tyto techniky vám pomůžou proměnit ji v lepší čísla.

Pokud máte nadměrnou jistotu (nejčastější případ):

Pokud máte nedostatečnou jistotu: věřte tomu, co víte. Pokud máte dobrý důvod přiklonit se k jedné odpovědi, vzdalte se od 50 % – když řeknete 60 %, ačkoli jste si ve skutečnosti jistí na 80 %, zahazujete informaci a vaše předpovědi jsou pro ostatní méně užitečné.

Ať vaše křivka vypadá jakkoli:

• Trénujte často, v krátkých kolech. Pár minut tréninku kalibrace týdně je lepší než jedno dlouhé sezení.
• Zapište si proč. Krátký komentář k vlastní předpovědi vám usnadní se z ní poučit, až bude vyhodnocená.
• Nevěřte několika málo otázkám. Při pěti předpovědích v jednom pásmu posune jediná šťastná nebo nešťastná odpověď křivku o 20 procentních bodů. Hledejte vzorce, které platí u mnoha otázek.
• Kalibrace závisí na tématu. U kvízových otázek můžete být dobře kalibrovaní, a přesto mít nadměrnou jistotu ohledně vlastních projektů. Ověřte si obojí.
• Kalibrace není všechno. Kdo na každou otázku odpoví 50 %, je dokonale kalibrovaný – a naprosto k ničemu. Cílem je být si jistí, když k tomu máte důvod, a mít pravdu zhruba tak často, jak tvrdíte. Bodování odměňuje obojí.

Jak číst kalibrační křivku?

Vodorovná osa ukazuje vaši jistotu – jak moc jste si byli jistí. Svislá osa ukazuje vaši úspěšnost – jak často jste nakonec měli pravdu. Každý bod představuje jedno pásmo jistoty (viz níže).

Zelená tečkovaná čára znamená dokonalou kalibraci: úspěšnost se rovná jistotě. Pokud opakovaně říkáte, že je 80% šance, že budete v práci před devátou, a povede se vám to osmdesátkrát ze sta, leží váš bod přesně na čáře.

Body ve fialové oblasti pod čárou znamenají nadměrnou jistotu, body v tyrkysové oblasti nad ní nedostatečnou jistotu. Čím tmavší barva, tím větší rozdíl. Tabulka pod křivkou ukazuje totéž v číslech, spolu s počtem otázek v každém pásmu.

Proč osa jistoty začíná až na 50 %?

Jistota je procento, které vyjadřuje, jak moc si je někdo jistý konkrétním tvrzením (obvykle předpovědí nebo odhadem), které se může ukázat jako pravdivé, nebo nepravdivé.

Jistota může nabývat hodnot od 0 % (naprostá jistota, že tvrzení je nepravdivé) přes 50 % (pravdivost i nepravdivost jsou stejně pravděpodobné, tedy o tvrzení nevíme vůbec nic) až po 100 % (naprostá jistota, že tvrzení je pravdivé).

Pro účely kalibrace vždy uvažujeme tvrzení s jistotou větší než 50 %.

Například odhad 40 % u otázky ano/ne Dokončíme projekt včas? znamená 40% jistotu v tvrzení Projekt dokončíme včas a 60% jistotu v tvrzení Projekt dokončíme pozdě.

Tyto dvě jistoty dávají vždy dohromady 100 % a jsou to v podstatě dva způsoby, jak říct totéž. Při výpočtu kalibrace bereme v úvahu jen to druhé tvrzení.

Proto osa jistoty sahá jen od 50 % do 100 %. V tomto rozsahu platí, že vyšší čísla znamenají větší jistotu. (Na celém rozsahu od 0 % do 100 % by to neplatilo, protože 0 % i 100 % představují naprostou jistotu.)

Co je úspěšnost a pásma jistoty?

Vaše úspěšnost při dané úrovni jistoty je jednoduše podíl vašich tvrzení s touto jistotou, která se ukážou jako správná.

Pokud jste například zadali 10 předpovědí s 80% jistotou a 7 z nich se ukázalo jako správných, vaše úspěšnost by byla 70 % (což znamená mírně nadměrnou jistotu).

Úspěšnost je průměrná veličina, takže abychom dostali smysluplný výsledek, potřebujeme dát dohromady dost předpovědí s danou úrovní jistoty. (Pokud jste například zadali jen dvě předpovědi s 80% jistotou, jednu správnou a jednu ne, a máte tedy úspěšnost 50 %, těžko říct, jestli máte nadměrnou jistotu, nebo jste jen měli smůlu.)

Proto Confido nepočítá úspěšnost zvlášť pro každou přesnou úroveň jistoty (jako 80 %, 81 % nebo dokonce 80,5 %), ale seskupí předpovědi s podobnou jistotou do pásem jistoty a úspěšnost pak počítá pro každé pásmo.

Například pásmo 80 % obsahuje všechny předpovědi s jistotou od 75 % do 85 %. Pokud jste zadali čtyři předpovědi s jistotou 78 %, 80 %, 80 % a 84 % a tři z nich byly správné, vaše úspěšnost v pásmu 80 % by byla 75 %.

(Výsledek je tím méně přesný, protože se v něm míchají tvrzení s různou jistotou, ale vyvažuje to průměrování většího počtu předpovědí při výpočtu úspěšnosti, které snižuje vliv náhody.)

Pásmo se na křivce objeví, jakmile obsahuje aspoň tři předpovědi.

Co znamená dobrá kalibrace, nadměrná a nedostatečná jistota?

Podle výsledků se vaše kalibrace v daném pásmu dá zařadit takto:

• Dobrá kalibrace, když vaše jistota zhruba odpovídá vaší úspěšnosti. V takovém případě se vaše jistota dá použít jako ukazatel toho, jak pravděpodobně budete mít pravdu u předpovědí, jejichž odpověď zatím není známá. O to se snažíte.
• Nadměrná jistota, když vaše jistota bývá vyšší než výsledná úspěšnost, tedy když jste o svých tvrzeních přesvědčenější, než je na místě. Ostatní (a nejspíš i vy sami) by je proto měli brát s rezervou. Většina lidí na Zemi začíná s nadměrnou jistotou, takže pokud to platí i pro vás, moc si z toho nedělejte. Je tu hodně prostoru ke zlepšení.
• Nedostatečná jistota v mnohem vzácnějším opačném případě, když svou jistotu podhodnocujete a tvrdíte, že víte méně, než ve skutečnosti víte.

Je důležité si uvědomit, že dobrá kalibrace, nadměrná a nedostatečná jistota tvoří spektrum. Mezi dobrou kalibrací a nadměrnou či nedostatečnou jistotou není ostrá hranice.

Confido vaši kalibraci řadí do několika samostatných kategorií (dobrá kalibrace, mírně nadměrná jistota, nadměrná jistota, …), ty jsou ale umělé a slouží jen ke snazší vizuální orientaci a barevnému rozlišení. Hranice mezi nimi neberte příliš vážně.

Které mé předpovědi se počítají?

Aby se předpověď započítala do výpočtu kalibrace, musí platit několik podmínek:

• Musíte k otázce zadat aspoň jeden odhad. Standardně se použije váš poslední odhad.
• Pokud má otázka v harmonogramu nastavený čas pro výpočet skóre (score time), musíte odhad zadat před ním (pro účely kalibrace se použije poslední úprava před tímto časem a pozdější úpravy se ignorují).
• Otázka musí mít výsledek a musí být označená jako vyhodnocená (resolved).

Čas pro výpočet skóre je nepovinný. Může ho nastavit autor otázky nebo jiný moderátor, buď při vytváření otázky, nebo později při jejím vyhodnocení, typicky když byla odpověď zřejmá ještě před uzavřením otázky. Měl by být kompromisem mezi tím, aby účastníci měli dost času o otázce přemýšlet, a tím, aby odpověď ještě nebyla příliš zřejmá.

Počítá se trénink kalibrace do mých statistik kalibrace?

Ne. Odpovědi z tréninku se ukládají zvlášť: najdete je pod Stats v tréninku kalibrace, zatímco Calibration stats ukazuje jen vaše předpovědi u skutečných otázek ve vašich místnostech. Stovka snadných kvízových otázek tak nezakryje, jak si vedete u otázek, na kterých záleží.

Co se stane, když mi dojdou tréninkové otázky?

Když zodpovíte všechny otázky, Confido vám ukáže výsledek a nabídne vynulování postupu (reset your progress). Tím se vaše odpovědi z tréninku smažou a můžete začít znovu od začátku – to se hodí, když už uplynula nějaká doba a odpovědi si nepamatujete.

A co číselné otázky a otázky na datum?

Výpočet kalibrace vyžaduje převést vaše předpovědi na dvojice tvrzení + jistota, kde se tvrzení dají později posoudit jako správná, nebo nesprávná.

U otázek ano/ne je to jednoduché. (Vezmeme tu ze dvou možných odpovědí, kterou považujete za pravděpodobnější, a pravděpodobnost, kterou jste jí přiřadili.)

U číselných otázek je situace o něco složitější, protože možných výsledků je v podstatě nekonečně mnoho.

Confido to řeší tak, že každou číselnou předpověď převede na několik tvrzení podle jejích intervalů spolehlivosti.

Vezměme například takovouto číselnou předpověď:

Z takové předpovědi (rozdělení pravděpodobnosti) Confido odvodí pro každé pásmo jistoty jedno tvrzení založené na intervalu spolehlivosti:

Jistoty jsou zvolené jako středy jednotlivých pásem. 80% interval spolehlivosti (v tabulce tučně) je to, co zadáváte při vytváření předpovědi; ostatní se z rozdělení pravděpodobnosti dopočítají matematicky.

Jediná předpověď se tak převede na 6 dvojic tvrzení + jistota (jednu v každém pásmu jistoty), které se pak pro účely kalibrace posuzují každá zvlášť, jako byste zadali 6 samostatných předpovědí ano/ne.

Co je skupinová kalibrace?

Kromě vaší individuální kalibrace umí Confido spočítat i skupinovou kalibraci. Je ale důležité vysvětlit, co to znamená.

Skupinová kalibrace je kalibrace vypočítaná z odhadu skupiny, tedy kalibrace hypotetického jednotlivce, jehož předpověď by u každé otázky byla stejná jako odhad skupiny.

Odhad skupiny je průměr všech individuálních předpovědí k dané otázce. U otázek ano/ne je to prostě průměr jistot všech účastníků.

U číselných otázek a otázek na datum se průměrují rozdělení pravděpodobnosti, což přesahuje rámec tohoto vysvětlení.

V obou případech uvidíte odhad skupiny (pokud k tomu máte oprávnění) na záložce Group prediction (odhad skupiny) u každé otázky.

Je důležité si uvědomit, že skupinová kalibrace není průměrem individuálních kalibrací.