Digitale Infrastrukturen in der akademischen Leistungsbewertung
in Kooperation mit Stephan Stahlschmidt (DZHW Berlin)

Leistungsmessung ist im Zuge der Diskussion um Qualitätssicherung ein wichtiger Faktor im universitären Reformdiskurs geworden. Die Generierung von empirisch gesichertem Wissen über Forschungsleistung ist dabei jedoch äußerst voraussetzungsvoll. Als Grundlage hierfür sind sowohl eine fundierte, aussagekräftige Datenlage als auch entsprechende Instrumente vonnöten, die nicht nur Daten zusammentragen, sondern auch hinsichtlich relevanter Fragestellungen in Bezug auf die Inhalte und Qualität von wissenschaftlicher Leistung auswerten können. Dies hat nicht nur Einfluss auf die Selbststeuerung von Hochschulen und die Entwicklung eines „bibliometric self” (Lim 2019) der darin tätigen Wissenschaftler*innen. Zudem finden die Ergebnisse Eingang in einflussreiche externe Bewertungen wissenschaftlicher Leistung. So werben z.B. Elsevier und Clarivate Analytics damit, dass ihre Datenbanken für das Times Higher Education World University Ranking bzw. für das REF 2021 genutzt werden. Diese Infrastrukturen der wissenschaftlichen Leistungsmessung spielen damit eine zunehmende Rolle in der Selbst- und Fremdbeobachtung von Wissenschaft, indem sie sowohl für internes als auch für externes Reporting genutzt werden.

Als ein Indikator für Leistung und Qualität in der Forschung werden vor allem Daten über die Anzahl von Publikationen und Zitationen genutzt. Die Digitalisierung des Publikationswesens ermöglicht es dabei in zunehmendem Maße, den Umfang bibliometrischer Datenbanken auszuweiten sowie neue Datenkategorien neben den klassischen Publikationsdaten wie z.B. Daten über die Nutzungen von Publikationen (z.B. downloads, Klickzahlen, twitter mentions) zu erschließen. Zudem werden neue persistent identifier entwickelt, die nicht nur zur besseren Identifizierung von Autor*innen und Publikationen, sondern auch von dahinterstehenden Forschungsorganisationen oder Geldgeber*innen dienen und auch für Forschungsdatensätze und Patente genutzt werden. Es sind dementsprechend eine große Vielzahl an Daten über wissenschaftliches Publizieren als Indikator für Leistung verfügbar, durch die sowohl mehr Transparenz im Hinblick auf das Publikationsgeschehen innerhalb der Wissenschaft als auch mehr Wissen zur Steuerung von Wissenschaft erzeugt werden sollen.

Jedoch müssen diese Daten zur wissenschaftlichen Leistungsmessung zunächst in bibliometrischen Datenbanken aufbereitet und mittels entsprechender Instrumente nutzbar gemacht werden. Bislang sind es vor allem kommerzielle Anbieter, die vorliegende Daten über wissenschaftliches Publizieren aufbereiten und jene Instrumente zur Verfügung stellen, die als sogenannte „research analytics“ dabei helfen sollen, steuerungsrelevantes Wissen aus diesen Daten zu generieren.

Diese kommerziellen Anbieter stehen dabei in einem Spannungsverhältnis: Einerseits verfolgen sie ökonomische Interessen, indem sie ihre Produkte gewinnbringend vermarkten wollen. Andererseits bieten sie wissenschaftliche Dienstleistungen an, die dementsprechend wissenschaftlichen Kriterien entsprechen müssen. Sie müssen versuchen, aus der Aufbereitung bestehender Daten einen Nutzen zu generieren, der von potenziellen Anwender*innen als relevant für die Analyse und Bewertung wissenschaftlicher Leistung erachtet wird. Sie legen damit die entscheidende Grundlage dafür, wie welche Daten für welche Fragen zur Leistungsmessung und Forschungssteuerung aufbereitet und genutzt werden.

Das Projekt geht vor diesem Hintergrund über eine ledigliche Kritik des Aufbaus und des generellen Einsatzes von bibliometrischen Datenbanken und ihrer Indikatorik hinaus. Es nimmt stattdessen die technischen Infrastrukturen der wissenschaftlichen Leistungsmessung als Ganzes in den Blick und fragt danach, wie die Datenerhebungs- und -nutzungsinfrastrukturen mitgestalten, was als wissenschaftliche Leistung beobachtet und bewertet werden kann. Das Projekt verfolgt damit das Ziel, die Annahmen, die in den Datenbanken und entsprechenden Nutzungsinstrumenten über das, was wissenschaftliche Leistung darstellt, angelegt sind, zu untersuchen.

Das Projekt fragt dazu erstens nach dem Spannungsfeld zwischen ökonomischen Interessen und wissenschaftlicher Dienstleistung und den daraus jeweils resultierenden jeweiligen Annahmen über wissenschaftliche Leistung, die in die Erstellung bibliometrischer Datenbanken einfließen und damit die Datengrundlage der Leistungsbewertung unmittelbar beeinflussen. Diese Frage stellt sich insbesondere vor dem Hintergrund, dass diese zunächst als Informationsquelle für Wissenschaftler*innen gedachten Datenbanken zunehmend an den Nutzungszweck der Leistungsmessung angepasst werden.

Zweitens fragt das Projekt nach diesem Spannungsfeld und den daraus resultierenden Annahmen von wissenschaftlicher Leistung, die in den Instrumenten angelegt sind, die zur Datenauswertung und Generierung von Informationen über wissenschaftliche Leistung genutzt werden. Es nimmt dabei insbesondere die Nutzungskriterien sowie die Nutzerorientierung in den Blick, indem sowohl nach den Nutzungsmöglichkeiten als auch nach den Adressaten und der Form der Ergebnispräsentation gefragt wird.

Bereits erschienen:
Krüger, Anne K. (2020): Quantification 2.0? Bibliometric Infrastructures in Academic Evaluation. In: Politics and Governance 8 (2), 58-67.