Statisticus: ‘Wijnbeoordelingen kloppen niet’

Prof. em. Robert Hodgson van de Amerikaanse Humboldt State University is statisticus, maar ook wijnliefhebber en wijnmaker. In twee artikelen in het Journal of Wine Economics maakt hij brandhout van puntensystemen voor het beoordelen van wijn. Hodgson is jurylid van de California State Fair Wine Competition. Vier jaar lang verrichtte hij met toestemming van de organisatoren een gecontroleerde wetenschappelijke studie naar hoe de juryleden van de wedstrijd wijnen beoordelen en punten geven. De zeventig juryleden beoordelen ongeveer honderd wijnen over een periode van twee dagen. Hodgson liet elk jurylid elke wijn echter drie keer beoordelen. De proefstalen werden telkens uit een en dezelfde fles gegoten. De juryleden waren hier uiteraard niet van op de hoogte. De resultaten zijn opvallend, hoewel voor iemand met statistische kennis en ervaring met proeverijen nu ook weer niet zo verrassend. De juryleden gebruiken het in de V.S. populaire honderd puntensysteem, dat ooit geïntroduceerd wordt door Robert Parker. Slechts een op de tien juryleden slaagde erin om dezelfde wijn consistent te beoordelen met een afwijking van slechts twee punten. Echter, deze ‘consistente’ juryleden konden die prestatie niet jaar op jaar herhalen, zodat ook hun prestaties eerder aan toeval te wijten zijn. De punten van de meeste juryleden vertoonden een veel grotere afwijking. Dezelfde wijn gaven ze eerst bijvoorbeeld 91 punten, dan 87, dan 95. Bij enkele juryleden waren de puntenafwijkingen zelfs nog groter. De resultaten van deze eerste studie verschenen in het januarinummer van het Journal of Wine Economics. (Volledige tekst van het artikel in pdf.)
In het septembernummer verscheen een tweede studie van Hodgson met een statistische analyse op de uitslagen van vierduizend wijnen in dertien verschillende Amerikaanse wijncompetities. Uit zijn statistische analyse blijkt dat een wijn die een medaille wint in de ene competitie, een grote kans heeft om geen medaille te winnen in een andere competitie. Of, anders gezegd, de kans op een medaille berust statistisch gezien op louter toeval. Elke wijn heeft ongeveer 9% kans om een medaille te winnen in een willekeurige wijncompetitie. (Volledige tekst van het artikel in pdf.)