30-01-14

The Signal and the Noise -the art and science of prediction (Nate Silver) ****

 “Dit boek gaat niet over wat we weten, maar over het verschil tussen wat we weten en wat we denken te weten”, schrijft Nate Silver in zijn besluit. Hij had het niet treffender kunnen stellen. Ons brein is een merkwaardig instrument dat, wanneer het erop aankomt om onze toekomst te ‘voorspellen’ (of eerder: in te schatten), merkwaardig veel technieken heeft om ons om de tuin te leiden. Deze technieken helpen ons weliswaar om te ‘overleven’ (wel, de primitieve wij dan), maar vallen schaamtelijk in gebreke wanneer we voorspellingen doen. Zo hebben we bijvoorbeeld de kwalijke gewoonte risico’s die moeilijk te meten zijn, ronduit te negeren, of om het ‘onwaarschijnlijke’ te verwarren met het ‘onmogelijke’.

De oplossing? Statistiek. Volgens Nate Silver althans. Niet dat statistiek alles kan voorspellen (‘Alle statistische modellen zijn fout, maar sommige zijn nuttig’), maar het geeft ons alleszins een juister beeld van de mogelijkheden van de toekomst (of, zo je wil, de mogelijke toekomsten).

In elk van de hoofdstukken past Nate Silver deze gedachte toe op een specifiek domein, gaande van de financiële crisis van 2008, het voorspellen van de Amerikaanse verkiezingen (zijn specialiteit), het voorspellen van het weer, epidemieën, aardbevingen, economische groei en klimaatsveranderingen, tot meer concrete toepassingen zoals het gebruik van statistiek in poker en in de mogelijkheid om de beurs systematische te kloppen (wat statistische gezien niet mogelijk is, aldus zijn conclusie).

Allemaal razend boeiend, en er blijven zeker een aantal  conclusies nazinderen. Zo stijgt de (statistische) onzekerheid met de mate waarin het systeem dat we analyseren meer dynamisch en niet-lineair is (zoals met het weer), of wanneer de begindata niet precies genoeg is (zoals met economische voorspellingen). Tevens moeten we oppassen dat we statistische modellen niet ‘overfitten’ (aanpassen aan de data die voorhanden is)., zoals we met het voorspellen van aardbevingen doen. En soms, heel soms, kunnen statistische modellen in een bepaald systeem tevens toepassing vinden in een ander, zoals wanneer we de ‘power law’-distributie die we voor aardbevingen gebruiken gaan toepassen op de mogelijkheid van terroristische aanslagen (en die tot de conclusie leidt dat de kans –hoewel klein- groter wordt dat we een aanslag zullen meemaken die veel groter zal zijn dan 9/11).

De kerngedachte doorheen het gebruik van statistiek in al deze domeinen, is de formule van Bayes. Voor de geïnteresseerden, die ziet er ongeveer als volgt uit:

[xy] / [xy + z(1-x)]

Waarbij

X = de eerste inschatting van de mogelijkheid van een gebeurtenis.

Y = de ‘positieve’ mogelijkheid (de kans van een gebeurtenis zonder rekening te houden met x)

Z = de ‘negatieve’ mogelijkheid (de kans dat een gebeurtenis niet voorvalt).

Geloof het of niet, maar met deze formule kun je de kans berekenen dat je vrouw je bedriegt… De kernwaarde in de formule van Bayes is namelijk de ‘x’, de inschatting die je zelf maakt over de mogelijkheid van een gebeurtenis. Dit impliceert dat je met het opdoen van ervaring veel juistere voorspellingen zal kunnen doen  (als je vrouw je al veelvuldig heeft bedrogen zal de ‘x’ naar nagenoeg 100 stijgen, en dus de totale mogelijkheid ook).

Merkwaardig genoeg is het een gedachte die op nagenoeg alle gebieden betrekking heeft, hoewel de voorspellingen die eruit voortvloeien een heel andere waarde (en juistheid) kunnen hebben. De wereld is niet geheel voorspelbaar, maar met het juiste gebruik van statistiek is hij een heel klein beetje voorspelbaarder, wat in heel wat domeinen een cruciaal verschil kan uitmaken.

Fascinerende lectuur…

 

Gepost door Frederic De Meyer in Actualiteit, Algemeen | Permalink | Commentaren (0) | |  Facebook | | | | Pin it! | |  del.icio.us

De commentaren zijn gesloten.