Du schnappst in Vorlesungen und Büchern immer mal wieder den Begriff „Peer Review Verfahren“ auf, aber du bist dir nicht ganz sicher, was damit gemeint ist?

In diesem Artikel erkläre ich dir…

• Was hinter der Idee des Peer Review Verfahrens steckt
• Welche verschiedenen Arten von Peer Review Verfahren es gibt
• Wie du erkennst, ob eine wissenschaftliche Quelle peer-reviewt wurde
• Von welchen Quellen du in deiner eigenen wissenschaftlichen Arbeit lieber die Finger lassen solltest

Was ist ein Peer Review Verfahren?

Damit in der Wissenschaft eine Art Qualitätskontrolle stattfindet, hat sich das Vorgehen durchgesetzt, dass ein eingereichter Artikel von 2 oder mehr Experten aus dem gleichen Forschungsfeld anonym begutachtet wird.

Nur wenn die Autoren die Kritik, die dadurch entsteht, zur Zufriedenheit dieser „Reviewer“ adressieren können, wird der Artikel veröffentlicht.

Die Geschichte des Peer Review Verfahrens, wie wir es heute kennen, geht bis 1731 zurück. Die Royal Society of Edinburgh inspirierte damals mehrere Herausgeber philosophischer Zeitschriften, ihre Beiträge von einem Expertenkomitee begutachten zu lassen (Spier, 2002).

Ebenfalls überliefert ist die Anekdote, dass niemand geringeres als Albert Einstein so seine Probleme mit dem Peer Review Verfahren hatte.

Anfang des 20. Jahrhunderts publizierte Einstein hauptsächlich in deutschsprachigen Zeitschriften, die damals noch kein Peer Review Verfahren hatten. Als er dann einen Artikel (per Post natürlich) zum renommierten Physical Review nach Amerika schickte, war er überrascht über deren Praxis sein Papier einem unabhängigen Experten vorzulegen.

In einem Brief echauffierte er sich darüber, zog seine Arbeit zurück und publizierte es woanders. Seiner Meinung nach waren die Kommentare völliger Quatsch und es gäbe keinen Grund diese zu adressieren.

Welche Arten von Peer Review Verfahren gibt es?

Die drei häufigsten Arten von Peer Review Verfahren sind single-blind, double-blind, und open peer review.

Das Single-Blind Peer Review Verfahren

Hier kennen die Reviewer die Namen der Autoren, aber die Autoren nicht die Namen der Reviewer.

Das Double-Blind Peer Review Verfahren

Bei diesem Verfahren bleiben sowohl die Autoren als auch die Reviewer anonym. Dazu braucht es dann einen Editor, der die Identität aller kennt.

Das Open Peer Review Verfahren

Hier kennt jeder jeden zu jedem Zeitpunkt. Wenn ein Artikel veröffentlicht wird, werden auch die Reviewer-Reports mitveröffentlicht.

Das ist besonders interessant, weil es so viel Transparenz schafft und man die Iterationen eines Artikels zurückverfolgen kann.

Was passiert während des Peer Review Verfahrens?

Der Prozess beginnt mit der Einreichung aufseiten der Autoren.

Der Desk Reject

Das Manuskript landet dann „auf dem Tisch“ einer Editorin, die zwei Optionen hat. Soll der Artikel zum Peer Review freigegeben werden, oder nicht?

Wenn nicht, dann hagelt es einen „Desk Reject“. Das bedeutet, dass der Artikel nicht einmal an die Reviewer herausgeschickt wird, sondern direkt vom Editor unwiderruflich abgelehnt wird.

Gründe für einen Desk Reject sind vielfältig. Zum Beispiel kann es sein, dass ein Artikel sprachlich so weit entfernt von einem publizierten Artikel ist, dass es keinen Sinn macht, die Zeit von mehreren Reviewern zu beanspruchen. Der häufigste Grund für einen Desk Reject ist aber tatsächlich die Passung mit dem Journal.

Zeitschriften haben bestimmte Themenschwerpunkte und wenn ein Artikel da aus der Reihe fällt, auch wenn er qualitativ hochwertig ist, dann wird er sofort abgelehnt.

Major und Minor Revisions

In wenige Fällen kann es schon mal vorkommen, dass ein Artikel so gut und so wichtig ist, dass er sofort nach einer Runde kurzen Feedbacks akzeptiert wird.

Beispielsweise haben viele Journals während der Corona-Pandemie ihre Peer Review Verfahren vorübergehend beschleunigt. Es hätte in dieser Situation einfach keinen Sinn gemacht, die dringend gebrauchte Forschung durch ein Verfahren zu jagen, das mehrere Jahre dauert.

Im Normalfall wandert ein Manuskript aber, wenn es den Desk überstanden hat, zu dem Editor, der den Artikel von nun an bis zur Veröffentlichung betreut.

Hier gibt es verschiedene Arten von Editoren, wie Editors-in-Chief, Senior Editors oder Associate Editors. Die jeweils „unterste“ Kategorie von Editoren ist dafür verantwortlich, die Reviewer zu rekrutieren. Manchmal bleibt dieser Editor anonym, manchmal aber auch nicht.

Diese Editorin schickt den Artikel an 2-3 Reviewer, gibt ihnen eine Deadline und dann heißt es: warten.

Kommen die Reports zurück, begutachtet der Editor die Reports und natürlich den Artikel und schreibt seinen eigenen Report. Dieser fasst in der Regel die wichtigsten Punkte der Reviewer Reports zusammen und kann darüber hinaus auch noch weitere Punkte beinhalten, die dem Editor aufgefallen sind.

Der Editor entscheidet außerdem, wie es mit dem Artikel weitergeht. Er kann den Empfehlungen der Reviewer folgen oder sie überstimmen. In beiden Fällen werden den Autoren aber alle Berichte zugeschickt. Wenn der Editor also unbegründet einfach alle Reviewer überstimmt, riskiert er Ärger von oben. Vom Editor-in-Chief zum Beispiel.

Wird für den Artikel votiert, dann bekommen die Autorinnen eine Deadline, zu der sie ihr Manuskript überarbeiten dürfen und dann geht das Spiel von vorne los.

Im Idealfall werden dann die gleichen Reviewer wieder eingeladen, um die Revision zu prüfen. Eine „Major Revision“ beinhalten substanzielle Änderungen am Manuskript, während „Minor Revisions“ oder ein „Conditionally Accept“ nur noch kleine Änderungen nach sich ziehen.

Wie viele Runden ein Artikel durchlaufen muss, hängt vom Journal ab. Die Prestige-trächtigsten Journals haben meistens auch die schwierigsten und längsten Verfahren oder den härtesten „Desk“.

Was passiert nach einem Peer Review Verfahren?

In den Single- und Double-Blind Verfahren werden Reviewer-Reports in der Regel nicht veröffentlicht, auch wenn sie anonym sind. Das hat natürlich auch Vorteile, zum Beispiel, dass man keine Angst haben muss, jemandem auf den Schlips zu treten, wenn man dessen Arbeit kritisiert oder gar von der Veröffentlichung ausschließt.

Editoren sind also oftmals nicht zu beneiden, da sie auch manchmal Arbeiten von renommierten Autorenteams ablehnen und dann deren Groll ausgesetzt sind.

Der Grund, warum das Peer Review Verfahren funktioniert, ist einzig und allein die Reputation, die man als Reviewer oder Editor eines bestimmten Journals bekommt. Außerdem will man natürlich, dass seine eigenen Artikel auch begutachtet werden, also überlegt man es sich lieber zweimal, ob man eine solche Anfrage ablehnt. Insbesondere, wenn man noch am Anfang seiner wissenschaftlichen Laufbahn steht.

Wie kannst du Peer-reviewte Artikel erkennen?

Hier gibt es eigentlich nur zwei Möglichkeiten.

Option 1: Recherchiere das Outlet

Du weißt nicht mehr wie, aber irgendwie bist du über Google Scholar oder Google auf einen Artikel gestoßen. Recherchiere den Namen des Journals oder der Konferenz und gehe auf die dazugehörige Webseite. Dort wirst du in der Regel Informationen darüber finden, ob hier ein Peer Review Verfahren vorliegt oder nicht.

Das heißt aber nicht, dass das schon alles war. Es gibt Tausende von fragwürdigen Journals, wie beispielsweise die Open Access Journals des MDPI Verlags.

Diese haben zwar offiziell ein Peer Review Verfahren, aber das ist ein Witz. Das Geschäftsmodell hinter diesen Journals ist, dass Autoren eine Gebühr zahlen und dann wird der Artikel auch veröffentlicht. Wenn du gern mal ein Video über fragwürdige Praktiken in der Wissenschaft sehen möchtest, dann schreib mir einfach einen Kommentar unter diesen Artikel!

Bei etablierten Verlagen müssen Autoren bzw. Universitäten zwar auch eine Gebühr bezahlen, aber hier kann man davon ausgehen, dass das Peer Review Verfahren vernünftig abläuft.

Versuche also über die Zeit die etablierten Verlage und Journals oder Konferenzen deiner Disziplin ausfindig zu machen. Wenn du Artikel mit fragwürdiger Herkunft zitierst, dann strahlt das negativ auf deine wissenschaftliche Arbeit aus. Also auch wenn der Artikel wunderbar passt, würde ich lieber die Finger davonlassen.

Option 2: Filtere schon bei der Suche

Wenn du überhaupt nur auf Datenbanken suchst, die nur peer-reviewte Artikel indexieren, dann musst du diese Frage gar nicht erst stellen.

Finde also heraus, welche Datenbanken die wichtigsten Publikations-Outlets deiner Disziplin listen und beschränke deine Suche auf diese Datenbanken.

Weiterführende Literatur

Spier, R. (2002). The history of the peer-review process. TRENDS in Biotechnology, 20(8), 357-358.

Wenn du auf dem Weg zu mehr Erfolg im Studium noch ein wenig Starthilfe für deine wissenschaftliche Arbeit benötigst, dann habe noch ein PDF für dich, das du dir gratis herunterladen kannst:

Die 30 besten Formulierungen für eine aufsehenerregende Einleitung