What do we know about the disruption index in scientometrics?

Der „Disruption Index“ (DI₁) ist ein bibliometrischer Indikator, der als quantitatives Maß für
bahnbrechende wissenschaftliche Errungenschaften dienen soll. Seit der DI₁ von Funk and
Owen-Smith (2017) eingeführt wurde, wurde er in einer Vielzahl von szientometrischen Stu-
dien genutzt und es wurden zahlreiche modifizierte Varianten des Indikators veröffentlicht.
Zu Beginn des Jahres 2023 hat der DI₁ große Aufmerksamkeit erregt: In einer in Wissenschaft
und Medien viel zitierten Studie verwenden Park et al. (2023) den DI₁ um die Innovationskraft
des globalen Wissenschaftssystems zu quantifizieren. Die Studie kommt zu dem aufsehener-
regenden Befund, dass trotz der massiven Expansion des Wissenschaftssystems die absolute
Anzahl der pro Jahr erzielten wissenschaftlichen Durchbrüche seit Ende des Zweiten Weltkriegs
weitgehend konstant geblieben ist. Mit anderen Worten: Das Wissenschaftssystem ist zwar
gewachsen, aber die damit verknüpfte Hoffnung auf mehr bahnbrechende Innovationen hat
sich nicht erfüllt.
Die Befunde von Park et al. (2023) (sowie weiterer Studien) scheinen weitreichende (wissen-
schaftspolitische) Konsequenzen zu haben, jedoch können sie nur dann angemessen interpre-
tiert werden, wenn die Schwächen und Stärken des ihnen zugrunde liegenden Indikators be-
achtet werden. In unserem Literaturüberblick erläutern wir zunächst das theoretische Funda-
ment sowie die Definition und Berechnung des DI₁. Der zweite Teil des Literaturüberblicks
beschäftigt sich mit der Vielzahl an modifizierten Varianten des DI₁, die seit 2017 von Forsche-
rinnen und Forschern vorgeschlagen wurden. Im dritten Teil geht es um mögliche
Fehlerquellen und Verzerrungen, die auftreten können, wenn Zitationsdaten dazu verwendet
werden, wissenschaftliche Durchbrüche zu identifizieren. Der vierte Teil handelt von
Validitäts-Studien, die empirisch überprüfen, ob der Disruption Index als quantitatives Maß
mit den qualitativen Beurteilungen von Expertinnen und Experten übereinstimmt.

Calculation of DI₁
 

Die wichtigsten Ergebnisse

1. Schwächen des DI₁ :

Der DI₁ leidet jedoch unter zahlreichen ernstzunehmenden Schwächen, die in empirischen Studien bisher unzureichend adressiert worden sind. Veränderungen in der Datengrundlage im Zeitverlauf, das Vorliegen viel zitierter Publikationen sowie der schlechte Abdeckungsgrad von Zitationsdaten für bestimmte Fächer und Zeiträume können zu stark verzerrten und irreführenden Ergebnissen führen. Darüber hinaus ist der Indikator aufgrund eines Konstruktionsfehlers inkonsistent. Insgesamt betrachtet ist der DI₁ insbesondere für historische Analysen – wie etwa Park et al. (2023) – nicht geeignet.

2. Validität:

Studien, die testen, ob der Disruption Index auch wirklich das Konstrukt misst, welches er zu messen vorgibt, kommen zu gemischten Ergebnissen. Die gemischten Befunde sind aufgrund von teils großen Unterschieden im Hinblick auf Samplekonstruktion und Analyseverfahren schwierig zu interpretieren. Eindeutig ist jedoch, dass bestimmte modifizierte Varianten des Disruption Index eine höhere Validität aufweisen als der ursprüngliche DI₁.

3. Handlungsempfehlungen:

Auf Basis der ausgewerteten Literatur bietet der Überblicksartikel Empfehlungen für die Handhabung des DI₁ und seiner modifizierten Varianten. Bei der Anwendung des Indikators ist insbesondere auf die Wahl einer adäquaten Indikator-Variante und eines angemessenen Zitationszeitraums sowie auf die kor-
rekte Datenaufbereitung zu achten.

Eine umfassende Auswertung des bisherigen Forschungsstands lässt darauf schließen, dass mehr Forschung über den Disruption Index notwendig ist, bevor der Indikator in der Forschungsbewertung eingesetzt werden kann. Aus bisherigen empirischen Studien sollten aufgrund vielfältiger Schwächen des DI₁ keine voreiligen (wissenschaftspolitischen) Schlüsse gezogen werden.

Literatur

Funk, R. J., & Owen-Smith, J. (2017). A dynamic network measure of technological change.
Management Science, 63(3), 791-817. https://doi.org/10.1287/mnsc.2015.2366
Park, M., Leahey, E., & Funk, R. J. (2023). Papers and patents are becoming less disruptive over time.
Nature, 613(7942), 138-144. https://doi.org/10.1038/s41586-022-05543-x