Evaluation des Peer Circle-Experiments 2022 der Humboldt-Stiftung

Im Rahmen des digitalen Wandels und vor dem Hintergrund der zunehmenden Belastung des wissenschaftlichen Begutachtungssystems verfolgt die Humboldt-Stiftung die Weiterentwicklung des Peer Review-Verfahrens, das allen Auswahlentscheidungen der Stiftung zugrunde liegt. Ziel ist es, ein den technologischen und akademischen Entwicklungen zeitgemäßes Verfahren zu entwickeln, das eine qualitativ hochwertige Begutachtung als Grundlage für faire Auswahlentscheidungen sicherstellt.

Seit März 2022 pilotiert die Stiftung mit dem „Peer Circle Reviewing“ ein alternatives, interaktiv zu nutzendes, digitales Begutachtungsverfahren. Das Verfahren wurde zunächst im Humboldt-Forschungsstipendienprogramm in den vier Fachgebieten Anorganische Chemie, Materialwissenschaften, Zoologie und Neuere Geschichte eingesetzt. Während im bisherigen Verfahren für jede Bewerbung in der Regel zwei unabhängige Fachgutachten eingeholt werden, bewertet beim neuen Peer Circle-Verfahren eine Gruppe von sechs bis zehn Gutachter*innen auf einer geschützten Plattform mehrere Anträge im fachlichen Austausch gemeinschaftlich und im Vergleich.
In der Pilotphase 2022 wurde das Peer Circle-Verfahren begleitend extern evaluiert. Die Evaluation kommt zu einem positiven Ergebnis. Ziel der Evaluation war es, Aussagen über die Validität, Reliabilität und Transparenz des Verfahrens treffen zu können. Das Peer Circle-Verfahren erweist sich nach Ansicht des Evaluators in allen Aspekten dem klassischen Verfahren mindestens ebenbürtig, zum Teil mit deutlichen Vorteilen. Insbesondere eigne sich das Verfahren gut für die Begutachtung in Programmen zur Personenförderung, da alle Auswahlkriterien (im Humboldt-Forschungsstipendienprogramm: Werdegang, bisherige Leistungen, Forschungsvorhaben, Zukunftsperspektiven) ausgewogen berücksichtigt werden.

Konkret wurden bei der Evaluation sechs Fragestellungen bzw. Themen fokussiert:

1. Die Qualität der Begutachtung. Diese war mindestens so hoch wie im klassischen Peer Review-Verfahren und wurde tendenziell sogar höher eingeschätzt, aufgrund der größeren Objektivität durch eine höhere Anzahl von Gutachter*innen sowie der Möglichkeit der vergleichenden Begutachtung mehrerer Anträge. Die fachliche Abdeckung sei jeweils angemessen gewesen; in Einzelfällen sei eine fehlende Spezialisierung durch die Kooption externer Expert*innen zielführend ergänzt worden.
2. Das Risiko einer verfrühten Konsensbildung im Sinne der Unterdrückung abweichender Ansichten. Dies wurde als Risiko erkannt, trat aber nicht ein. Das Lesen der Meinung anderer Personen habe sich stattdessen positiv auf die kritische Reflexion der eigenen Einschätzung ausgewirkt. Generell wurde eine diskursive Konsensbildung als positives Merkmal des Verfahrens bewertet, da sie zu einer klareren Empfehlung für die Ausschussmitglieder führe. 
3. Die Akzeptanz des Verfahrens. Diese war in allen vier Fachgebieten hoch, d.h. mehrheitlich gegeben. Der Peer Circle sei eine zukunftsträchtige Lösung für die im Peer Review-System bestehenden Probleme. Die Möglichkeit der kollaborativen und vergleichenden Begutachtung wurde als Vorteil für die Entwicklung eigener Begutachtungs- und Antragsfähigkeiten gewertet. 
4. Die Effizienz des Verfahrens. Auch diese war hoch. Pro Antrag sei der Peer Circle im Vergleich zum klassischen Verfahren zeitsparend. Der individuelle Aufwand sei durch die Begutachtung von mehreren Anträgen zwar insgesamt höher, jedoch spare das Verfahren viel Zeit für die Gemeinschaft. So wurde die Begutachtung aller 89 Anträge in der Pilotphase von insgesamt 27 Fachgutachter*innen durchgeführt, während im klassischen Verfahren für dieselbe Anzahl von Anträgen bis zu 178 Expert*innen benötigt worden wären. Zugleich konnte der Pool an Fachgutachter*innen im Peer Circle-Verfahren ohne Qualitätseinbußen erweitert und diversifiziert werden. Auch hinsichtlich der Diskussionsdauer im Auswahlausschuss erwies sich das Verfahren als tendenziell effizienter als der klassische Ansatz.
5. Die Qualität der Auswahlergebnisse. Anhand der Punktewertungen des Ausschusses und der bibliometrischen Daten (nur im Gebiet Chemie) der Bewerber*innen wurde eine mögliche Auswirkung des Begutachtungsverfahren auf die Entscheidungen geprüft, wobei sich kein signifikanter Unterschied zwischen beiden Verfahren ergab. Im Hinblick auf die Bibliometrie überraschte positiv, dass geförderte Bewerbungen in beiden Verfahren nicht signifikant besser abschnitten als abgelehnte, was darauf schließen lässt, dass andere Auswahlkriterien stärker gewichtet werden als Indizes und Impact-Faktoren.
6. Das Geschlechterverhältnis im Auswahlergebnis. Auch hierauf hatte das Peer Circle-Verfahren insgesamt keinen signifikanten Effekt. Da die Ergebnisse wegen der kleinen Zahlen auf Ebene der einzelnen Fachgebiete nur eingeschränkt aussagekräftig sind, müsste dies weiter beobachtet werden.

Die Ergebnisse zeigen, dass das Peer Circle-Verfahren einen schlanken Begutachtungsprozess mit einem hohen Qualitätsanspruch verbindet. Ziel der Humboldt Stiftung ist es nun, das Verfahren sukzessive zunächst im Humboldt-Forschungsstipendienprogramm auf weitere Fachgebiete auszudehnen.  

• Evaluationsbericht zum Peer Circle-Experiment 2022 der Alexander von Humboldt-Stiftung (PDF, 1 MB)