Bibliometrie bietet zahlreiche Vorteile, unterliegt aber auch Grenzen. Es ist dabei besonders wichtig, nicht nur die Methoden korrekt anzuwenden, sondern auch die Erkenntnisse sinnvoll zu nutzen. Im folgenden werden daher Methoden und Nutzen aber auch Grenzen schlaglichtartig vorgestellt und geeignete vertiefende Lektüre aufgezeigt.

Hierfür ist es sinnvoll eine Grobklassifikation nach Erkenntnisinteressen vorzunehmen. Dabei steht die Evaluative Bibliometrie häufig eher im Fokus als die Explorative Bibliometrie, die aber für strategische Entscheidungen im Rahmen der Hochschulentwicklung und -steuerung immer mehr an Bedeutung gewinnt.

Evaluative Bibliometrie

Erkenntnisinteressen

Unter evaluative Bibliometrie versteht man die (standartisierte) Bewertung von Forschungsergebnissen auf unterschiedlichen Abstraktionsniveaus (von Ländern, Universitäten und Teileinheiten, Forschungsgruppen bis hin zum individuellen Forschenden).

Untersuchungsgegenstände

Alle Arten von (messbaren) Ergebnissen des wisseschaftlichen Schaffens (insb. Publikationen) sowie deren Resonanz (insb. Zitationen) mit Hilfe derer auf den Einfluss des wissenschaftlichen Schaffens geschlussfolgert werden soll. Ziel ist eine Aussage über die Quantität aber auch die Qualität der Forschungsergebnisse treffen zu können.

Methoden / Instrumente

• (aggregierbare) Indikatoren auf unterschiedlichen Ebenen: Individuum, Veröffentlichung und Zeitschrift siehe Bibliometrische Indikatoren
• Score Cards und Rankings

Nutzen

• herausragende Publikations- und Zitationswerden können ein Indikator für wissenschaftliche Exzellenz sein
• standardisierte Verfahren und damit intersubjektive Vergleichbarkeit
• wesentlich schneller und geringer im Aufwand als Peer Review Prozess

Grenzen

• fachspezifische Publikationskulturen, -praxen und -strategien sowie die Charakteristika der einzelnen Indikatoren verleiten zu Fehlinterpretationen 
• Vorhandensein falsch positiver sowie falsch negativer Befunde (herausragende bibliometrische Werte ohne wissenschaftliche Exzellenz sowie wissenschaftliche Exzellenz ohne herausragende bibliometrische Werte)
• einseitige Fokussierung auf Maximierung bibliometrischer Indikatoren führt zu unerwünschten Nebeneffekten z.B. "Salamitaktik" beim Publikationsverhalten sowie "Zitationskartellen" und verstärkt das "Publish or Perish" Dilemma

Fazit

• Angesichts der stetig zunehmenden Menge an Publikationen und der zunehmenden Spezialisierung ist die evaluative Bibliometrie eine sinnvolle Ergänzung zur qualitativen Bewertung (Peer Review).
• Für die Interpretation von Indikatoren ist methodisches als auch fachspezifisches Wissen erforderlich, um eine angemessene Einordnung der Indikatoren zu gewährleisten (Wissenschaftsrat, 2011, S. 42).
• Fachinterne Verständigung über Qualitätsstandards unter Anwendung eines breiten Leistungsbegriffs zur Findung und Auswahl geeigneter Indikatoren.

Empfohlene Literatur

• Empfehlungen zur Bewertung und Steuerung von Forschungsleistung
• Wilsdon et al. (2015): The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management
• Bornmann und Marx (2015): Bibliometrics in research evaluation - Background, significance, and limitations
• Smaldino und McElreath (2016): The natural selection of bad science

Explorative Bibliometrie

Erkenntnisinteressen

Im Mittelpunkt der explorativen Bibliometrie stehen die Identifizierung relevanter Forschungsthemen, zentraler Akteure sowie Trends innerhalb einzelner Fachdisziplinen. Darüber hinaus sollen fachspezifische Kooperationsmuster und Kommunikations-strukturen identifiziert werden.

Untersuchungsgegenstände

• Themencluster
• Stand / Grenzen der Forschung
• Interdisziplinarität
• Internationalität

Methoden / Instrumente

• Science Mapping
• Netzwerkanalyse

Nutzen

Kenntnis erlangen, wer welche Arbeit in welchem Kontext zitiert, um

• zukünftige Kooperationspartner zu finden und/oder
• Anregungen und Perspektiven für die eigene Forschung zu erhalten.

Grenzen

• Definition der Fachdisziplinen
• Aussagen über Forschungsinhalte erfolgt lediglich auf Schlagwortebene

Fazit

• Interessante Methode, welche Einblicke in Kooperationen innerhalb und zwischen Forschenden, Fachdisziplinen bzw. Forschungseinrichtungen geben kann.
• Ermöglicht Erkenntnisse über die Entstehung und Entwicklung neuer wissenschaftlicher Themengebiete.

empfohlene Links

• Mapping Scientific Excellence
• Excellence Networks