‘Geef onderzoeker meer vrijheid in de statistiek’

17 november 2017• PERSBERICHT

Wetenschappers willen graag betrouwbare conclusies trekken uit hun data. Statistiek is daarbij onmisbaar, maar strenge statistische eisen kunnen onderzoekers ook beperken in hun creativiteit. Biostatisticus prof. dr. Jelle Goeman van het Leids Universitair Medisch Centrum (LUMC) ontwikkelt statistische methoden die onderzoekers meer vrijheid geven en tegelijk garanderen dat de resultaten betrouwbaar zijn. Op 17 november hield hij zijn oratie.

Goeman houdt zich vooral bezig met zogeheten hoog-dimensionele medische data. “Dit houdt in dat er veel waarnemingen zijn per proefpersoon, bijvoorbeeld de activiteit van tienduizenden genen”, licht hij toe. “Als je in zulke grote hoeveelheden getallen in het wilde weg verbanden zoekt, dan vind je altijd wel toevalsbevindingen. Om het statistisch zuiver te houden, moeten onderzoekers daarom van tevoren bepalen wat ze precies met de data gaan doen. Vervolgens mogen ze de dataset maar één keer gebruiken – dus geen double dipping, zoals dat heet.”

Die aanpak is niet eenvoudig. Vaak weten onderzoekers van tevoren nog niet in welke hoek ze het moeten zoeken. Daarnaast is het zonde om zoveel kostbare data weg te gooien na eenmalig gebruik.

Meer profijt van data

Goeman wil daarom graag statistische methodes ontwikkelen waarmee onderzoekers hun data wél veilig vaker kunnen gebruiken. “Het taboe op double dipping beperkt de creatieve vrijheid van de onderzoeker. De onderzoeker heeft zijn gedrag aangepast aan de beperkingen van de statistische methoden. Dat is niet zoals het zou moeten”, vindt Goeman. “Ik vind dat methodologie onderzoekers moet helpen, niet beperken.”

Ranglijsten

Een ander onderwerp waarmee Goeman zich bezighoudt, is de onzekerheid in het opstellen van ranglijsten. Een voorbeeld daarvan is het rangschikken van ziekenhuizen. “Statistisch gezien kun je uit zo’n ranglijst alleen maar betrouwbaar concluderen dat de nummer 1 waarschijnlijk ergens in de top 5 staat, en dat het laagst scorende ziekenhuis bij de slechtste 50% zit. Ook kwaliteitsbeoordelingen kennen dus vals positieve en vals negatieve uitkomsten. Dat zou ik graag erkend zien”, merkt Goeman op. Ook bij het toekennen van subsidies spelen ranglijsten vaak een rol en is er wellicht sprake van soortgelijke problemen.

Toevalsbevindingen

Tot slot gaat Goeman in op de gangbare methode om toevalsbevindingen te voorkomen. “Iets helemaal zeker weten bestaat niet, maar we beschouwen een bevinding als betrouwbaar wanneer de kans kleiner dan 1 op 20 is dat die door toeval tot stand kwam”, vertelt hij. “Recent stelden onderzoekers voor om de eisen te verzwaren: pas als die kans kleiner is dan 1 op 200, mogen we de conclusies vertrouwen.”

Goeman juicht dat initiatief van harte toe. “Maar wat mij betreft krijgt de onderzoeker in ruil daarvoor ruimte om een aantal verschillende analysemethoden uit te proberen. Onderzoekers die wel bereid zijn om zich vast te leggen op één analysemethode zouden zich dan aan de gebruikelijke kans van 1 op 20 mogen houden. Ook hier pas ik liever de statistiek aan de onderzoeker aan, dan de onderzoeker aan de statistiek”, besluit hij.

Wilt u op de hoogte blijven van de laatste ontwikkelingen bij het LUMC?
Abonneer u dan op onze tweewekelijkse nieuwsbrief of neem een abonnement op het LUMC Magazine.