Qualitätssicherung und Impact-Messung

Intro

Was sind Altmetrics?

Das erfahren Sie in diesem Artikel

1

Open Peer Review ist eine transparentere Alternative zu konventionellem Peer Review.

2

Herkömmliche bibliometrische Kennzahlen wie der Impact Factor lassen keine Rückschlüsse auf die Qualität einzelner Artikel zu.

3

Alternative Metriken (Altmetrics) beziehen Nutzungszahlen, Erwähnungen und Diskussionen in verschiedenen Netzwerken mit ein.

(Open) Peer Review

Peer Review ist insbesondere bei wissenschaftlichen Zeitschriften der übliche Weg der Qualitätssicherung. Fachkolleg*innen (“peers“) begutachten die bei einer Zeitschrift eingereichten Manuskripte, zeigen Fehler und Unklarheiten auf und geben den Herausgeber*innen die Empfehlung, einen Beitrag anzunehmen, abzulehnen oder für eine Überarbeitung zurück an die Autor*innen zu senden. Im traditionellen Fall des single-blind Peer Review kennen die Gutachter*innen die Namen der Autor*innen, aber nicht umgekehrt, im Fall des double-blind Peer Review bleiben beide Seiten gegenseitig anonym.

Ein Kritikpunkt am klassischen Peer Review ist die Intransparenz. Für Leser*innen eines Artikels ist nicht nachvollziehbar, ob angemessene wissenschaftliche Kriterien bei der Begutachtung zugrunde gelegt wurden oder ob diese nur oberflächlich durchgeführt wurde. Auch Interessenkonflikte – etwa, weil es sich bei den Gutachter*innen um Kolleg*innen oder Konkurrent*innen der Autor*innen handelt – sind für Außenstehende nicht erkennbar.

Um den Begutachtungsprozess transparenter zu machen und idealerweise die Qualität der Gutachten und damit auch die Qualität der Artikel zu steigern, werden offenere Verfahren diskutiert und zum Teil auch schon umgesetzt. Dieses sogenannte “Open Peer Review“ ist allerdings nicht eindeutig definiert und kann sich auf unterschiedliche Verfahren (oder auch Kombinationen davon) beziehen (Ross-Hellauer, 2017; Wolfram et al., 2020).

Wenn die Gutachten, die Antworten der Autor*innen und die Entscheidung der Herausgeber*innen zusammen mit dem Artikel publiziert werden, können die Leser*innen nachvollziehen, wie stringent der Prozess abgelaufen ist und wie es zur Entscheidung der Herausgeber*innen kam. Fehler oder Lücken bei der Begutachtung können leichter von Kolleg*innen bemerkt werden. Beispiele für Zeitschriften mit dieser Art von Open Peer Review sind PeerJ (optional, wenn alle Beteiligten zustimmen), PLOS oder die Zeitschriften von EMBO Press (optional).

Bei einer anderen Form des Open Peer Review, auch “Post-Publication Peer Review” oder "Interactive Public Peer Review" genannt, wird im ersten Schritt das eingereichte Manuskript nach einer Eingangsprüfung gleich online veröffentlicht. Dieses kann dann von eingeladenen Gutachter*innen oder allen interessierten Fachkolleg*innen öffentlich diskutiert werden. Die Reviewer*innen können anonym oder namentlich bekannt sein. Das anhand der Kommentare von den Autor*innen überarbeitete Manuskript wird dann im zweiten Schritt als endgültige Version von der Zeitschrift veröffentlicht, frühere Versionen und die Kommentare bleiben weiter einsehbar. Beispiele für Zeitschriften mit dieser Form des Open Peer Review sind Atmospheric Chemistry and Physics, F1000Research oder Informationspraxis.

Open Peer Review kann aber auch ohne entsprechende Infrastruktur ganz informell ablaufen, wenn veröffentlichte Preprints von Fachkolleg*innen öffentlich kommentiert werden und die Kommentare in die Verbesserung des Manuskripts einfließen (Frick, 2020).

Die Declaration on Research Assessment (DORA) empfiehlt:

"Verwenden Sie keine Kennzahlen auf der Ebene von Fachzeitschriften, wie den Journal Impact Factor, als Ersatz, um die Qualität einzelner Fachartikel zu bewerten, um die Beiträge einzelner Wissenschaftler zu bewerten, oder um Entscheidungen über Einstellung, Beförderung oder Finanzierung zu treffen." (DORA)

Metriken

Während das Peer Review die grundsätzliche Qualitätssicherung vor Veröffentlichung einer wissenschaftlichen Arbeit darstellt, wurden verschiedene Methoden entwickelt, um die (tatsächliche oder vermeintliche) Bedeutung von Zeitschriften, Publikationen und Forschenden für die wissenschaftliche Gemeinschaft quantitativ zu beschreiben.

Das bekannteste und einflussreichste Maß ist der Journal Impact Factor (JIF), der heute von Clarivate Analytics ermittelt und vermarktet wird. Er ist ein Maß, wie oft die Artikel der vergangenen beiden Jahre einer bestimmten Zeitschrift im Bezugsjahr zitiert wurden. Der Impact Factor wurde ursprünglich entwickelt, um den Einfluss verschiedener Zeitschriften zu vergleichen und Bibliothekar*innen eine Entscheidungshilfe bei der Erwerbung zu geben. Obwohl sich der JIF auf eine Zeitschrift als Ganzes bezieht und nichts über den Einfluss oder gar die wissenschaftliche Qualität einzelner Artikel aussagt, wird er häufig zur Beurteilung der Forschungsleistung von Wissenschaftler*innen herangezogen. Nicht nur deshalb steht der JIF häufig in der Kritik. Er ist zudem stark vom Fachgebiet abhängig und damit nicht interdisziplinär vergleichbar, außerdem berücksichtigt er lediglich die jeweils vergangenen zwei Jahre. Die Berechnung ist wenig transparent und oft nicht unabhängig reproduzierbar (Larivière & Sugimoto, 2019).

Die von zahlreichen Forschungseinrichtungen, Forschungsfördernden etc. unterzeichnete San Francisco Declaration on Research Assessment (DORA) verlangt unter anderem, zeitschriftenbasierte Metriken wie den JIF bei der Beurteilung von Bewerbungen, Förderanträgen etc. nicht zu berücksichtigen und Forschungsleistungen nach ihrem Inhalt zu bewerten und nicht anhand der Zeitschrift, in der sie veröffentlicht wurden.

Während herkömmliche bibliometrische Kennzahlen wie der Impact Factor auf Zitationen in der wissenschaftlichen Literatur basieren, versuchen alternative Ansätze, sogenannte Altmetrics, andere Formen von Kommunikation und Reaktionen zu berücksichtigen. Hierzu zählen Nutzungszahlen, Erwähnungen auf Nachrichtenportalen und Diskussionen in sozialen Netzwerken. Beispiele dafür sind der Altmetric Attention Score von Altmetric.com oder PlumX Metrics von Plum Analytics. Alternative Metriken wurden unter anderem im Projekt *metrics an der Niedersächsischen Staats- und Universitätsbibliothek (SUB) Göttingen evaluiert.

Herkömmliche, aber auch alternative Metriken werden oft von kommerziellen Anbietern erstellt und kostenpflichtig vermarktet. Zuverlässige Zitationsdaten sind vorwiegend über kommerzielle Datenbanken wie Web of Science oder Scopus erhältlich, die einerseits kostenpflichtig sind und andererseits viele kleinere Verlage und Zeitschriften oder nicht-englischsprachige Literatur nicht berücksichtigen. Um Abhilfe zu schaffen, sind aus der Wissenschaft Initiativen wie die Initiative for Open Citations oder die Initiative for Open Abstracts entstanden, die darauf abzielen, diese wichtigen Metadaten frei zugänglich zu machen. Damit ist es möglich, Publikationen und deren Inhalte an verschiedenen Stellen auffindbar zu machen, miteinander zu verknüpfen, bibliometrische Analysen durchzuführen und Zitationen und andere Beziehungen zu untersuchen. (Peroni & Shotton, 2020).

Literatur

Weiterführende Literatur