Wat is de 'false discovery rate', onderwerp van de Rousseeuwprijs 2024?
De prestigieuze Rousseeuwprijs voor statistiek, toegekend door een onafhankelijke jury aangesteld door de Koning Boudewijnstichting, gaat naar een team dat het probleem van de 'false discovery rate' (FDR) onderzocht.
De tweejaarlijkse Rousseeuwprijs (genoemd naar KUL-statisticus Peter Rousseeuw) is één miljoen dollar waard. Hij wordt door een internationale jury toegekend voor uitmuntend statistisch onderzoek dat een grote impact heeft op de maatschappij.
De Rousseeuwprijs 2024 bekroont onderzoek naar de False Discovery Rate (FDR) en methoden om deze te beheersen. De laureaten van de prijs zijn Yoav Benjamini, Daniel Yekutieli en Ruth Heller van de Universiteit van Tel Aviv. Hun onderzoek heeft geleid tot een methode om het aantal valse ontdekkingen te beperken zonder het potentieel voor echte ontdekkingen te verstikken.
Wat is FDR?
Het oorspronkelijke concept van FDR hebben we mede te danken aan een andere onderzoeker, de inmiddels overleden Yosef Hochberg. Samen met Benjamini had hij in 1995 een eerste studie gepubliceerd met een wiskundige formulering van de FDR, bij wetenschappers bekend als de Benjamini-Hochberg methode. Hun onderzoek, dat nu bijna 110.000 keer is geciteerd, was destijds zo revolutionair dat het vijf jaar duurde voordat het eindelijk werd geaccepteerd door een tijdschrift, in dit geval het Journal of the Royal Statistical Society.
U hebt waarschijnlijk al meer dan eens een studie gelezen over een baanbrekende medische ontdekking... om er vervolgens nooit meer iets over te horen. En waarom is dat? Wel, omdat het onderzoeksresultaat niet onafhankelijk gereproduceerd kon worden. Dat staat bekend als de "reproduceerbaarheidscrisis".
Het heeft vooral te maken met het feit dat onderzoek vaak gebaseerd is op een zeer groot aantal potentiële resultaten, waardoor het risico op valse ontdekkingen toeneemt, en er dus verklaringen worden gepubliceerd die in werkelijkheid onbetrouwbaar zijn. "Bij onderzoek naar een genetische marker worden vaak meer dan 20.000 genen onderzocht", legt de Koning Boudewijnstichting uit. Bij zo'n groot aantal potentiële verklaringen kan een ogenschijnlijk verband gewoon toeval zijn.
Valkuil omzeilen
Maar aan de andere kant, als je het aantal onderzochte verbanden beperkt, zul je nauwelijks ontdekkingen doen... Hoe kunnen we deze valkuil omzeilen? De Benjamini-Hochberg (BH) methode is gebaseerd op de verhouding tussen het aantal valse ontdekkingen en het totale aantal ontdekkingen, waarbij de FRD onder een gedefinieerde drempelwaarde moet blijven.
Als een studie 60 resultaten vindt en daaronder zijn er 3 schijnontdekkingen dan is dat niet zo erg, want dan is de verhouding slechts 5%. Maar 60 resultaten rapporteren waarvan er 40 enkel schijn zijn, is niet aanvaardbaar.
In de Benjamini-Hochberg (BH) methode past de drempel voor een ontdekking zich automatisch aan de informatie in de data aan. Het hangt dus van de data zelf af, of de uiteindelijke drempel eerder hoog of laag uitdraait.Het onderzoek naar de FDR helpt om schattingen van de reproduceerbaarheid van wetenschappelijke resultaten te verbeteren.
Industriële revolutie
In het begin van de 21ste eeuw onderging het wetenschappelijk onderzoek een 'industriële revolutie'. Experimenten in genomics, proteomica, en onderzoek van het brein worden nu uitgevoerd met machines die veel output opleveren. Die output wordt dan automatisch verwerkt, wat leidt tot vele potentiële ontdekkingen. Nu krachtige computers en grote databases beschikbaar zijn, wordt de FDR ook meer en meer in andere wetenschapsgebieden gebruikt zoals landbouw, sterrenkunde, gedragswetenschappen of economie.
"Het belang van onderzoek naar FDR neemt toe met de complexiteit van de wetenschappelijke vragen die worden gesteld", merkt de Koning Boudewijnstichting op, die nog geen datum heeft vastgelegd voor de uitreiking van de prijs aan de winnaars.
Verhoogt een ijsje het risico op een kwallensteek?
De eerste editie van de Rousseeuw-prijs in 2022 bekroonde een studie over "causal inference in medicine and public health", uitgevoerd door James Robins en Miguel Hernán (Harvard), bijgestaan door Thomas Richardson (Washington), Andrea Rotnitzky (Argentinië) en Eric Tchetgen Tchetgen (Pennsylvania).
Met de term 'causal interference' wordt het bepalen van enerzijds oorzaken en anderzijds gevolgen bedoeld. Dat kan veel ingewikkelder zijn dan het klinkt, vooral wanneer verschillende factoren meespelen.
Een eenvoudig voorbeeld: het aantal kwallensteken op een dag aan zee stijgt parallel met de verkoop van ijsjes. Er is met andere woorden een correlatie: op dagen dat er meer ijs wordt geconsumeerd, zijn er ook meer kwallensteken. Correlatie is echter geen causatie: ijsjes eten veroorzaakt geen kwallensteken.
Het aantal kwallensteken hangt ook samen met de omgevingstemperatuur, en met het aantal zwemmers in zee. Bij warm weer gaan meer mensen zwemmen, en daardoor stijgt ook het aantal kwallensteken.