Mogelijk naar de rechter om ‘rekenfout’

Opzet of rekenfout?

“Het is prima om een methodologische discussie te voeren”, zegt directeur Ton van Raan van het CWTS. “Maar dit gaat over de grenzen van de collegialiteit heen. In de Volkskrant opperde Loet Leydesdorff zelfs dat er kamervragen gesteld zouden moeten worden. Bespottelijk.”

De twist tussen Leydesdorff en Van Raan gaat over het berekenen van de impact van wetenschappelijke artikelen middels de zogeheten ‘citatiescore’. Het CWTS turft hoe vaak wetenschappers naar een bepaald artikel verwijzen en deelt dat door het gebruikelijke aantal verwijzingen binnen het vakgebied. Daar volgt een getal uit dat iets zegt over het artikel: is het opgepikt of zakt het weg in de vergetelheid?

Tot zover kan iedereen het volgen. Maar de meningen lopen uiteen als verschillende artikelen op een hoop worden geveegd om hun gezamenlijke impact te berekenen. Het CWTS telt eerst alle citaten bij elkaar op, telt daarna de gemiddelde aantallen citaten in de bijbehorende vakgebieden bij elkaar op en deelt vervolgens die twee sommen.

Volgens Leydesdorff en zijn medeauteur is dat een rekenfout. Het druist in tegen ‘Meneer van Dalen wacht op antwoord’. Je moet eerst delen, en dan pas optellen en aftrekken. Dus eerst het aantal citaten delen door het gemiddelde aantal citaten per artikel in het desbetreffende vakgebied, en daarna van die uitkomsten het gemiddelde berekenen.

Ridicuul om zoiets een rekenfout te noemen, antwoordt Van Raan. ‘Meneer van Dalen wacht op antwoord’ is een ezelsbruggetje voor het lezen van wiskundige formules. Het is geen natuurwet, laat staan een voorschrift. “Dan zou ook de thermodynamica rekenfouten maken.”

Het lijkt op laster, vindt Van Raan. Hij vermoedt ook troebele motieven. “In Amsterdam lijkt alles wel voorzien van een politiek labeltje. Daar houden wij in Leiden niet zo van. Ik kan het van mijn schouders laten glijden, maar als het onze reputatie beschadigt, moeten we er misschien iets aan doen. Het kan ook zijn dat we het laten overwaaien, want de meeste collega’s snappen wel dat het niet om een rekenfout gaat.”

Maar toegegeven: los van de polemiek heeft Leydesdorff wel een punt en het CWTS was naar eigen zeggen al bezig met een omschakeling naar een andere ‘crown indicator’. Voorlopig gaat het de uitkomsten van de twee rekenmethodes naast elkaar publiceren, alleen al om de lijn met het verleden niet te verliezen. “En sommige buitenlandse groepen werken ook volgens de oude methode”, zegt Van Raan. “Daar wil je de uitkomsten ook mee kunnen vergelijken.”

Voor individuele wetenschappers kan het verschil flink zijn, maar op het niveau van instituten, universiteiten en landen maakt de methode weinig uit. “De ranglijsten veranderen niet”, aldus Van Raan.

Volgens hem hebben beide methoden hun voor- en nadelen. In de berekening van Leydesdorff kan het laatste jaar voor een enorme uitschieter zorgen, als iemand meteen na publicatie twee of drie citaten scoort. “Dat kun je oplossen door het laatste jaar weg te laten, maar dan ben je minder actueel. Onze methode dempt het effect uit zichzelf.”

Prof.dr. I. Horvàth van de faculteit Industrieel Ontwerpen heeft op zaterdag 23 mei tijdens een speciale bijeenkomst een eredoctoraat ontvangen van de Budapest University of Technology and Economics. Horvàth is hoogleraar computer aided design & engineering. Hij werd voor het eredoctoraat voorgedragen door Gabor Stépán, de decaan van de faculteit werktuigbouwkunde van de Hongaarse universiteit. Reden voor de voordracht was de internationale zichtbaarheid van zijn activiteiten op het gebied van onderzoek en ontwerp. Daarnaast werd hij geëerd vanwege zijn bijdragen aan het ontwerpen van producten met computertechnologie. Horvàth doet onderzoek naar nieuwe oplossingen voor het ondersteunen van ontwerptechniek met behulp van computertechnologie, zoals het vervangen van input met toetsenbord of muis door handbewegingen en spraaktechnologie. Hij is sinds 1996 verbonden aan de TU Delft. Daarvoor doceerde hij aan de universiteit in Boedapest en werkte bij een Hongaars scheeps- en kraanbouwbedrijf.

Opzet of rekenfout?

“Het is prima om een methodologische discussie te voeren”, zegt directeur Ton van Raan van het CWTS. “Maar dit gaat over de grenzen van de collegialiteit heen. In de Volkskrant opperde Loet Leydesdorff zelfs dat er kamervragen gesteld zouden moeten worden. Bespottelijk.”

De twist tussen Leydesdorff en Van Raan gaat over het berekenen van de impact van wetenschappelijke artikelen middels de zogeheten ‘citatiescore’. Het CWTS turft hoe vaak wetenschappers naar een bepaald artikel verwijzen en deelt dat door het gebruikelijke aantal verwijzingen binnen het vakgebied. Daar volgt een getal uit dat iets zegt over het artikel: is het opgepikt of zakt het weg in de vergetelheid?

Tot zover kan iedereen het volgen. Maar de meningen lopen uiteen als verschillende artikelen op een hoop worden geveegd om hun gezamenlijke impact te berekenen. Het CWTS telt eerst alle citaten bij elkaar op, telt daarna de gemiddelde aantallen citaten in de bijbehorende vakgebieden bij elkaar op en deelt vervolgens die twee sommen.

Volgens Leydesdorff en zijn medeauteur is dat een rekenfout. Het druist in tegen ‘Meneer van Dalen wacht op antwoord’. Je moet eerst delen, en dan pas optellen en aftrekken. Dus eerst het aantal citaten delen door het gemiddelde aantal citaten per artikel in het desbetreffende vakgebied, en daarna van die uitkomsten het gemiddelde berekenen.

Ridicuul om zoiets een rekenfout te noemen, antwoordt Van Raan. ‘Meneer van Dalen wacht op antwoord’ is een ezelsbruggetje voor het lezen van wiskundige formules. Het is geen natuurwet, laat staan een voorschrift. “Dan zou ook de thermodynamica rekenfouten maken.”

Het lijkt op laster, vindt Van Raan. Hij vermoedt ook troebele motieven. “In Amsterdam lijkt alles wel voorzien van een politiek labeltje. Daar houden wij in Leiden niet zo van. Ik kan het van mijn schouders laten glijden, maar als het onze reputatie beschadigt, moeten we er misschien iets aan doen. Het kan ook zijn dat we het laten overwaaien, want de meeste collega’s snappen wel dat het niet om een rekenfout gaat.”

Maar toegegeven: los van de polemiek heeft Leydesdorff wel een punt en het CWTS was naar eigen zeggen al bezig met een omschakeling naar een andere crown indicator. Voorlopig gaat het de uitkomsten van de twee rekenmethodes naast elkaar publiceren, alleen al om de lijn met het verleden niet te verliezen. “En sommige buitenlandse groepen werken ook volgens de oude methode”, zegt Van Raan. “Daar wil je de uitkomsten ook mee kunnen vergelijken.”

Voor individuele wetenschappers kan het verschil flink zijn, maar op het niveau van instituten, universiteiten en landen maakt de methode weinig uit. “De ranglijsten veranderen niet”, aldus Van Raan.

Volgens hem hebben beide methoden hun voor- en nadelen. In de berekening van Leydesdorff kan het laatste jaar voor een enorme uitschieter zorgen, als iemand meteen na publicatie twee of drie citaten scoort. “Dat kun je oplossen door het laatste jaar weg te laten, maar dan ben je minder actueel. Onze methode dempt het effect uit zichzelf.”