Het onderwerp “kwaliteit en impact van wetenschappelijke publicaties” staat de laatste tijd veel in de aandacht. De discussie richt zich vaak op de vraag of het uberhaupt wel mogelijk is om een abstract gegeven als wetenschappelijke kwaliteit in cijfers uit te drukken. Het CWTS in Leiden heeft in 2012 een interessant rapport over dit onderwerp geschreven. Ook tijdens het OAI8 congres, dat ik in juni heb bijgewoond, was er veel aandacht voor dit onderwerp.
In zijn presentatie “Scholarly Impact Measures: An Overview” benadrukte Johan Bollen van de Universiteit van Indiana (voorheen ook de Los Alamos National Library) dat wetenschappelijke impact in feite een heel ongrijpbaar fenomeen is. Wetenschappers produceren bepaalde ideeën en bepaalde nieuwe informatie. Niet alle ideeën zijn natuurlijk even waardevol. Is het op een of andere manier mogelijk om aan te geven wat de waarde of de relevantie is van een idee? Volgens Bollen komt de relevantie van een bepaald idee vooral tot uitdrukking via de status die een wetenschapper verwerft dankzij de publicatie van deze ideeën. De kwaliteit van meetinstrumenten hangt dus samen met hoe goed of hoe slecht deze reputatie onder vakgenoten in beeld wordt gebracht.
Traditioneel worden de wetenschappelijke kwaliteit en impact afgelezen aan de hand van citatiedata (met indicatoren zoals de Journal Impact Factor en de H-Index). Deze citatiegegevens hebben verschillende praktische nadelen. Als een publicatie verschijnt duurt het uiteraard enige tijd voordat er andere publicaties kunnen verschijnen die dit artikel weer citeren. De citaties worden meestal ontleend aan Web of Science of aan Scopus, maar het is bekend dat publicaties op het gebied van de geesteswetenschappen en de sociale wetenschappen, en teksten die niet in het Engels zijn geschreven, niet goed zijn vertegenwoordigd in deze databases. Het belangrijkste probleem is volgens Bollen echter dat de lijst met high impact journals vaak helemaal niet overeenkomt met wat wetenschappers zelf als belangrijke tijdschriften ervaren.
De wetenschappelijke communicatie verplaatst zich meer en meer naar het web, en wetenschappelijke ideeën worden tegenwoordig ook verspreid via weblogs, via repositories en via social media. Het is dus eigenlijk niet meer van deze tijd om impact alleen maar te beoordelen via traditionele publicaties. Een alternatieve methode is, bijvoorbeeld, om te kijken naar het aantal downloads van een digitale publicatie. Deze gegevens zijn over het algemeen gewoon beschikbaar, zowel bij de institutionele repositories als bij de uitgevers. De mogelijkheden van download-statistieken in deze context zijn onder meer onderzocht in het project MESUR, en ook in PIRUS en COUNTER (waarin de Journal Usage Factor is ontwikkeld, als tegenhanger van de Journal Impact Factor).
Hiernaast geeft ook de vertegenwoordiging in social media (“attention data”) een goed beeld van het gebruik en van de impact. Deze laatste categorie data wordt meestal aangeduid met de term ‘altmetrics’. Het kan dan gaan om twitterberichten over artikelen, of over blogposts met verwijzingen naar publicaties. Het bedrijf altmetrics.com, dat wordt gefinancierd door de Macmillan Group, heeft zich tot doel gesteld om zo veel mogelijk van dit soort gegevens uit social media posts in te zamelen. Het doel van Altmeric.com is in eerste instantie om de data te verzamelen. Het bouwen van applicaties rond deze data laten zij aan andere partijen over. Interessant voor de UBL is dat Ex Libris één van de partijen is die gebruik maakt van de gegevens van altmetrics.com. Er bestaat al een code extension voor Primo waarmee het mogelijk wordt om altmetrics-gegevens weer te geven bij de zoekresultaten in Primo. Zo kan bij ieder artikel worden weergegeven hoe vaak er over die publicatie is getweet, hoeveel mensen die titel in hun Mendeley-bibliotheek hebben opgenomen, en hoe vaak het artikel in een blogpost is genoemd. Dit geeft uiteraard ook een heel goed beeld van de impact van het artikel.
Bollen eindigde zijn lezing bij OAI8 met een interessante gedachte. Aangezien wetenschappers zelf over het algemeen het beste weten welke collega’s het beste werk produceren is het misschien beter om al het onderzoeksgeld dat beschikbaar is in gelijke mate te verdelen over de gehele onderzoekspopulatie en om de gemeenschap vervolgens zelf te laten besluiten waar subsidies naar toe gaan. Dan zijn er ook geen metrics meer nodig …