Column/ Getallen moeten rond zijn /6 reacties

Column: Christine Karman

Christine werkt sinds 1994 als technologie-expert. Ze heeft aan de wieg gestaan van diverse technologie-bedrijven, en is daarnaast mede-oprichter en bestuurslid bij Meldpunt.
Christine was in 2001 Technology Pioneer bij het World Economic Forum en in 2002 en 2004 jurylid bij de Technology Review 100 op MIT. Ze vervult meerdere adviesfuncties. Momenteel is ze ook associate consultant bij Stratix Consulting. Haar persoonlijke website en blog is christine.nl.
Sinds 2008 bouwt Christine apps voor Android, ze spreekt soms op Android Dev Camps en andere op innovatie en technologie gerichte forums.

Een tijdje geleden was er kunst gestolen uit een Zwitserse Villa en volgens de nieuwslezeres bedroeg de schade “ongeveer 112 miljoen euro”. Zo’n opmerking geeft me kippevel. In een soapserie rijdt iemand over een stoffige weg naar het volgende dorp op “about thirty miles” en de ondertiteling geeft “ongeveer 48 kilometer”. Een domme vertaling.

Laat ik uitleggen wat ik bedoel.

Lading

Toen ik practicumles gaf aan eerstejaars natuurkunde-studenten aan de UvA, was de ‘proef van Millikan’ onderdeel van de les. Studenten moesten daarin met bescheiden middelen de lading van het elektron bepalen. Als dan een student aan het eind van de middag trots kwam melden dat hij op −1.6021765 × ⁻¹⁹ coulomb uitkwam, was hij verbaasd dat ik dat geheel fout rekende. “Maar zij hebben er precies hetzelfde uit gekregen en zij krijgen een negen.” Nee, “zij” hadden 1.6 × 10⁻¹⁹ als antwoord, en dat is een wezenlijk verschil.

Dan moest ik uitleggen dat het feit dat een rekenmachine zoveel decimalen produceert niet per se betekent dat die decimalen ook goed zijn. Met de beperkte apparatuur op het practicum was 1.6 plus of min 0.2 al een prachtig resultaat. Voor een fysicus is het een doodzonde om een meetresultaat met meer nauwkeurigheid te presenteren dan gerechtvaardigd is. Het deed me wel goed dat studenten die zo aan een dikke onvoldoende kwamen, later in hun carrière hun meetresultaten altijd mooi gedocumenteerd hadden.

Hubble constante

Eind jaren zeventig was er discussie onder sterrenkundigen over de Hubble constante. Die discussie is er overigens nu nog. De Hubble constante is een maat voor de “grootte” van het heelal en geeft de snelheid waarmee een sterrenstelsel zich van ons af beweegt als functie van de afstand. De constante wordt gemeten in kilometer/seconde/Mpc. Een Mpc (Mega parsec) is 3,2 lichtjaar.

Het ene kamp rond sterrenkundige Allan Sandage mat de Hubble constante op ongeveer 55. Het andere kamp rond Gerard de Vaucouleurs op bijna 100. Je zou zeggen dat dat een megacontroverse is: Sandage schatte het heelal tweemaal zo groot als De Vaucouleurs dat deed.
Afstanden op grote schaal in de sterrenkunde bevatten echter een heel grote onzekerheid. Om de afstand tot een ver sterrenstelsel uit te drukken in een maat die te relateren is aan aardse afstanden, moet je vele stappen zetten, ieder stap met z’n eigen onzekerheid. (Meer hierover in ‘Miljarden kilometers speling in het meten van de kosmos‘ op Sync.) Dus Sandage mat geen 55 km/s/Mpc, hij mat 55 +/- 20, oftewel “ergens tussen de 30 en 80″. De Vaucouleurs mat evenzo “ergens tussen de 70 en 140″. Zo bekeken was de controverse dus minder groot dan je op het eerste gezicht denkt.

Precies 112 miljoen

Als je een getal noemt, dan suggereer je dat dat getal juist is. Met andere woorden, als de schade 112 miljoen euro bedraagt, dan zeg je ook dat de schade niet 111 miljoen euro is, en ook niet 113 miljoen. Het is precies 112 miljoen. Of, beter gezegd, het is tussen de 111.5 miljoen en de 112.5 miljoen. En voor de puristen in de statistiek kun je er nog van maken “het is 112 miljoen plus of min x” waarbij x een getal is tussen 1 en 5. Als x groter is dan 5, dan moet de 2 weg en wordt het 110 miljoen.

Dit lijkt muggezifterij. Wat maakt het immers uit of er voor 112 miljoen is gestolen of voor 110 miljoen? Het verschil is het volgende. Als ik hoor dat er voor 112 miljoen is gestolen, dan ga ik er van uit dat de schade heel nauwkeurig op dat bedrag is vastgesteld. Als ik hoor dat er voor 100 miljoen is gestolen, dan denk ik dat er voor tussen de 80 en 130 miljoen is gestolen en dat de schade niet nauwkeurig bepaald is.

Denk aan verkiezingsprognoses. Maurice de Hond bepaalt prognoses met een nauwkeurigheid die hij er op tv niet bij geeft. Als de ene partij 9,2 procent haalt en de andere 9,3 procent, dan lijkt het of partij 2 beter scoort. Maar de getallen zijn niet 9,2 en 9,3. De getallen zijn beide “9 plus of min 3″, oftewel “ergens tussen de zes en de twaalf”. Dan geeft zo’n prognose ineens een heel andere inhoud.

Nog erger is het als iemand een opiniepeiling doet en dan zegt “78,1 procent van de mensen is het met de stelling eens”. Dit suggereert dat er gedegen onderzoek is gedaan onder tienduizenden mensen. Later blijkt dat ze maar 100 mensen hebben gebeld en dat de conclusie eigenlijk had moeten zijn “misschien zijn de meeste mensen het wel met de stelling eens.”

Het is niet zo dat het vermelden van teveel decimalen slechts slordig is. Het vermelden van teveel decimalen suggereert een nauwkeurigheid die er niet is en maakt dus het genoemde getal geheel waardeloos.

Druk

Waarom maak ik me hier zo druk om? De meeste mensen zal het worst wezen of een getal dat in het journaal wordt genoemd nou juist is of niet, en of het nauwkeurig is of niet. Zolang het maar klinkt als “heel veel geld” komt de boodschap bij de kijker aan. Een van de redenen dat ik me er zeer druk om maak is dat bijvoorbeeld reclamemakers, maar ook business-analisten, het publiek manipuleren met onjuiste getallen.

Zo meldt Gartner Group, een groot, internationaal IT-onderzoeks- en adviesbureau, altijd getallen en nauwkeurigheden bij zijn meetresultaten. Ze melden dat een stelling een waarschijnlijkheid heeft van bijvoorbeeld 0,8.
Als je jaren later zo’n stelling nog eens nakijkt, blijkt in een enkel geval dat ze er een factor 10 naast zaten. Een factor 10 is in mijn wereld iets anders dan een nauwkeurigheid van 10 procent die met die 0,8 wordt gesuggereerd. Mijn businessplan ging er in ieder geval flink mee de mist in.

Denk eens terug aan deze column als je de volgende keer in een reclameboodschap of in een zakelijke presentatie percentages genoemd ziet. Tien tegen een dat de nauwkeurigheid die de getallen suggereren in geen verhouding staat tot wat men kan waarmaken. Maar omdat het zo precies vermeld is, ga je automatisch denken dat het dan wel echt zal zijn.

Onvoldoende

Ik zou willen dat journalisten en reclamemakers indertijd bij mij de proef van Millikan waren komen doen. Dan had ik ze een dikke onvoldoende gegeven, maar dan had er nu als vertaling van “175 million Swiss francs” in de krant gestaan “ruim honderd miljoen euro”. Dan had een nieuwslezer niet zoiets gezegd als “ongeveer 78,1 procent van de mensen is het met deze stelling eens.”

Overigens leken Sandage en De Vaucouleurs hun controverse te kunnen beslechten toen een groep radiosterrenkundigen onder leiding van Marc Aaronson nieuwe, nauwkeuriger metingen deden.
De teleurstelling was groot toen de resultaten verschenen in de Astrophysical Journal. De uitkomst was rond 75 km/s/Mpc, met een nauwkeurigheid van 20, precies in het midden dus. Met Aaronson is het slecht afgelopen, hij is in 1987 verpletterd door een 150 ton wegend telescooponderstel.