keskiviikko 26. lokakuuta 2016

Lukuvinkki: Signaali ja kohina

(Kuva jenkkipokkariversiosta.)

Nate Silver on yksi aikamme merkittävistä tilastotieteilijöistä. Hänen tilastollisia ennusteita tekevä FiveThirtyEight-sivustonsa nousi otsikoihin vuonna 2012, kun sen ennuste Yhdysvaltain presidentinvaaleista osui oikeaan... jokaisessa osavaltiossa. Sivusto erottuu muista vastaavista siinä, että se ei peittele tilastojen epävarmaa luonnetta. (Suosittelen vilkaisemaan tämänhetkistä vaaliennustetta — on nimittäin paljon kovaa dataa!)

Silver on menestyksestään huolimatta ensimmäinen sanomaan, ettei häneen tai muihin ennusteentekijöihin kannata luottaa sokeasti. Ennusteella kävi säkä: todennäköisyys kaikkien osavaltioiden nappiinosumiseen oli vain parikymmentä prosenttia. Ennusteiden pohja todennäköisyyksissä ja niiden sisäsyntyinen epävarmuus on helppo ohittaa, ja Silverin menestysteos The Signal and the Noise (Penguin Books, 2012) taistelee näitä harhakäsityksiä vastaan. Teos on saatavilla myös suomennettuna.

Tarina alkaa vuoden 2008 finanssikriisistä ja etenee vaali- ja urheiluennusteiden kautta sään ja maanjäristysten ennustamiseen. Näiden jälkeen tutustutaan bayesilaiseen todennäköisyyteen ja tapoihin parantaa ennusteita yhteiskunnassa. Tällöinkin teksti etenee havainnollistavien esimerkkien johdolla: matkan varrella tutustutaan pokeriammattilaisiin ja shakin maailmanmestarin voittaneen Deep Blue -tietokoneen strategiaan, kunnes lopulta päädytään ilmastonmuutokseen ja terrorismiin (mainitsinko Silverin olevan Yhdysvalloista?).

Mikäli bayesilaisuus kuulosti vaikealta sanalta, se ei ole sitä Silverin käsittelyssä. Kirjan loppuosa on käytännössä bayesilaisen todennäköisyysteorian soveltamista ongelmiin. Vaikkei sekään ole mikään ihmeparannus kaikkiin ongelmiin, se päihittää joissakin tilanteissa tieteessä yleisesti (väärin)käytetyn frekventistisen mallin.

(Tämä xkcd-sarjakuva (englanniksi) antaa tiivistelmän bayesilaisen ja frekventistisen mallin eroista. Bayesilaisesta todennäköisyys on edelleen naurettavan pieni, kun taas frekventisti toteaa sattuman todennäköisyyden alittavan yleisesti käytetyn 5 % rajan.)

Silverin todennäköisyyspohjainen (ja bayesilainen) ajattelutapa näkyy selvästi, mutta se ei ole huono asia. Liian usein asiat nähdään mustavalkoisina, vaikka ne ovat kaoottisia eikä viisikymmentäkään harmaasävyä riitä kuvaamaan niitä. Samaan aikaan ennusteiden määrä ja riippuvuutemme niistä kasvaa.

Itselleni tämä kirja avasi paljon tiedettä ennusteiden takana ja opetti kriittistä suhtautumista ennusteisiin. Se oli myös todella mukaansatempaava lukukokemus, kiitos esimerkkien, haastattelujen ja havainnollistavien tarinoiden. Teos ei ainoastaan kerro, kuinka ennusteita tehdään ja luetaan, vaan myös historiaa ja ihmisiä niiden takana. En suosittele tätä pelkästään matemaattisesti orientoituneille, vaan myös yhteiskunnan parissa touhuaville. Tämä kirja on vähemmän matematiikkaa ja enemmän ihmisiä.

Kirjasta on myös suomennos Signaali ja kohina (suomentanut Kimmo Pietiläinen, Terra Cognita, 2014). Lyhyellä silmäyksellä suomennos näyttää hyvältä, joskin kustantamon pienen levikin ja ankeahkon kansisuunnittelun johdosta yleisö saattaa jäädä pieneksi[1]. Sääli, sillä tämä on yksi niistä kirjoista, jotka pitää lukea!


[1] Tämä ei ollut oikeastaan edes ennuste, ja toivon olevani väärässä!

2 kommenttia:

  1. Korjaisin, että vuoden 2008 talouskriisistä kannattaa käyttää mieluummin sanaa finanssikriisi, jotta asia tulee varmasti yhdistettyä oikeisiin tapahtumiin. Kirjan varmasti etsin käsiini jostain. Vaikuttaa hyvin mielenkiintoiselta.

    VastaaPoista
    Vastaukset
    1. Korjattu, kiitos täsmennyksestä! Olen varma, että noiden termien eron tunnistava saa kirjasta erittäin paljon irti.

      Poista

Kommentit ovat moderoituja — yritän hyväksyä kommenttisi mahdollisimman pian. Voit kirjoittaa kommenttiin LaTeX-koodia tai yksinkertaista HTML-merkintää: lue lisää Kommentointi-sivulta.