Open Science Initiative
Initiatoren: Stefan Scherbaum, Daniel Leising
Termine & Veranstaltungen
19.10.2018 OSIP Treffen mit dem Open Access Team der SLUB
29.11.2018 OSIP Breakfast Diskussionsnotizen & Folien Lizenzierung von Open Data
30.11.2018 Workshop mit Julia Rohrer (Vortrags-Folien)
13.12.2018 OSIP Breakfast Diskussionsnotizen & Folien zu Rechte an Daten
10.01.2019 OSIP Breakfast Diskussionsnotizen & MindMap zum Research Transparency Statement
07.02.2019 OSIP Breakfast Diskussionsnotizen & Fortschritt der MindMap zum Research Transparency Statement
28.02.2019 OSIP Workshop mit Jun.-Prof. Malte Elson (Vortrags-Folien) & Diskussionsnotizen
07.03.2019 OSIP Breakfast Diskussionsnotizen
10.04.2019 OSIP Diskussionsnotizen
24.04.2019 OSIP Diskussionsnotizen
15.05.2019 Folien OSIP Workshop: Bayessche Statistik
12.06. 2019 Folien OSIP Workshop: Forschungsdatenmanagement
26.06.2019 Folien OSIP Workshop: Preprints und Postprints
Vortrag zum Thema: Umgang mit Extremwerten und Ausreißern
Referent: Michael Höfler
13:30 - 15:00 Uhr
BZW A307
Kurzworkshop zum Thema: Forschungsdatenbank REDCap - Datenbanken für Projekte erstellen, Daten einpflegen, Erhebungsablauf individualisieren
Referentin: Gesine Wieder
13:30 - 15:00 Uhr
BZW A307
Vortrag zum Thema: „Causal diagrams“: eine qualitative Methode, um zu u.a. zu entscheiden, nach welchen Variablen man adjustieren muss
Referent: Michael Höfler
13:30 - 15:00 Uhr
BZW A307
OSIP Email-Verteiler
Sie möchten über OSIP und aktuelle Veranstaltungen informiert werden? Dann tragen Sie sich in unsere Email-Liste ein:
https://mailman.zih.tu-dresden.de/groups/listinfo/psych-osip-info
Weiterführende Informationen zu Open Science finden Sie auch auf unserer Informationsseite.
Mission Statement & Ziele
Die Grundlage einer jeden empirischen Wissenschaft ist das Vertrauen in die Verlässlichkeit von Forschungsergebnissen. Der Ansatz der Open Science bietet konkrete Handlungsempfehlungen, um die Verlässlichkeit der eigenen Forschungsarbeit zu verbessern und dies auch kenntlich zu machen. Hierzu gehören unter anderem die folgenden Maßnahmen:
- Veröffentlichung der eigenen Forschungsdaten und Freigabe für die Nutzung durch andere,
- Veröffentlichung der eigenen Forschungsmaterialien (z.B. Instruktionen und Auswertungsskripte),
- Präregistrierung von Design, Hypothesen und Auswertungsschritten eigener Untersuchungen inklusive einer a-priori-Fallzahlschätzung, um ausreichende statistische Power sicherzustellen,
- Regelmäßige Replikation von Befunden.
Mehr und mehr werden diese Open Science Praktiken nicht nur gefördert, sondern sogar ausdrücklich gefordert, beispielsweise bei der Publikation in Fachzeitschriften, der Einwerbung von Drittmitteln und von Fachgesellschaften wie der Deutschen Gesellschaft für Psychologie (siehe Stellungnahme DGPs und FTPs).
Für viele Wissenschaftlerinnen und Wissenschaftler wirkt dieser Trend zu Open Science aber auch verunsichernd und wirft viele Fragen auf, wie z.B.
- Muss ich alle meine Studien präregistrieren? Darf ich dann gar nicht mehr meine Daten nach interessanten Zusammenhängen explorieren?
- Wie soll ich für die Präregistrierung einer Studie in einem neuen Forschungsgebiet überhaupt wissen, wie die Daten für die Auswertung beschaffen sein werden?
- Muss ich immer alle Daten veröffentlichen? Wie kann ich noch forschen, wenn meine Daten personenbezogene Elemente enthalten oder so umfangreich sind, dass sie noch viel aufwendiger ausgewertet werden müssten?
- Kann jeder einfach meine aufwendig entwickelten Paradigmen nutzen, wenn ich diese mitveröffentlichen muss?
- Führt eine Anwendung dieser teilweise aufwendigen Praktiken dazu, dass ich im Vergleich zu anderen jungen Wissenschaftlern einen Karrierenachteil habe?
Die Frage der Karriereplanung beschäftigt dabei den Nachwuchs zu Recht: Die Verbesserung der methodischen Qualität geht in der Regel mit reduzierter Quantität (geringerem Publikationsoutput) einher, womit schnell ein direkter Widerspruch zu derzeit gängigen Anreizsystemen und Evaluationskriterien im wissenschaftlichen Berufsumfeld entstehen kann.
Als wir mit unseren ersten Versuchen im Bereich Open Science begannen, trieben uns diese und viele weitere Fragen ebenfalls um. In Gesprächen mit Kolleginnen und Kollegen, der Auseinandersetzung mit der Literatur und durch Ausprobieren fanden wir erste Antworten und entdeckten, dass es sogar Freude machen kann, Open Science Praktiken einzusetzen.
Die Open Science Initiative der Fakultät Psychologie will Forscherinnen und Forscher dabei unterstützen, Open Science Praktiken umzusetzen und sich mit Kolleginnen und Kollegen über die dabei entstehenden Erkenntnisgewinne, aber auch Probleme auszutauschen. Wir sehen uns als gemeinsam Lernende mit dem Ziel, unsere Arbeit zu verbessern, unseren eigenen wissenschaftlichen Befunden Qualität und Verlässlichkeit zu verleihen, die Freude an dieser neuen Art von wissenschaftlichem Arbeiten zu entdecken und schließlich unserem gesellschaftlichen Auftrag gerecht zu werden.
- Beobachten der internationalen Entwicklungen im Bereich Forschungstransparenz und Open Science, sowie Kommunikation dieser Entwicklungen innerhalb der Fakultät Psychologie,
- Organisation von Workshops und Weiterbildungen zum Thema Open Science,
- gegenseitige Beratung und Unterstützung bei der Implementierung von Open Science Praktiken sowie Austausch über die Vor- und Nachteile von Open Science Methoden im Rahmen der Standards guter wissenschaftlicher Praxis und Forschungstransparenz,
- Entwicklung konkreter Vorschläge zu Kriterien bei Berufungen, Tenure Track Evaluation, Betreuung von Doktoranden, Lehre,
- mittelfristig die Entwicklung eines gemeinsamen Standpunkts in der Fakultät zu den jeweiligen Bereichen der Open Science, gründend auf gemeinsamen wissenschaftlichen Werten.
OSIP auf dem Open Science Framework
Beteiligung an OSIP
Wir laden alle an der Fakultät Psychologie tätigen Wissenschaftlerinnen und Wissenschaftler ein, sich an der Initiative zu beteiligen.
Der einfachste Weg der Beteiligung ist die Teilnahme an den regelmäßigen OSIP-Treffen. Dies ist ohne weitere Voraussetzungen möglich und Sie sind herzlich willkommen, sich in den Treffen über Open Science Praktiken zu informieren, auszutauschen und an Diskussionen zu beteiligen.
Liegt Ihnen an einem offenen und verstärkten Engagement im Rahmen der OSIP, so können Sie dies durch Zeichnung des OSIP Research Transparency Statements bekunden. Wir führen Ihren Namen als offizielle Beteiligte neben Ihrer Motivation und einem Statement zu Open Science. Bitte senden Sie eine E-Mail an openscience@mailbox.tu-dresden.de, in der Sie um die Zeichnung des Statements bitten und uns außerdem bitte noch Folgendes mitteilen:
- Ein kurzes Statement zu Ihrer Motivation.
- Wenn Sie selbst schon bestimmte Maßnahmen implementieren, unterstützen oder entsprechende Statements unterzeichnet haben, teilen Sie uns dies bitte mit.
- Bitte verlinken Sie von Ihrer Arbeits-Website (persönlich oder auf Abteilungsebene) auf die Seite der Inititative.
Ihr Motivationsstatement und die von Ihnen implementierten Maßnahmen werden wir auf dieser Website neben Ihrem Namen als Zeichner des OSIP Research Transparency Statements aufführen. Sie können Ihre Zeichnung gerne auf Ihrer Website und anderen Dokumenten mit dem zur Verfügung gestellten Logo kundtun.
Zeichnende des OSIP Research Transparency Statements
Motivation: Verlässliche Wissenschaft ist ein Grundwert einer offenen Gesellschaft. Wir sind in der Pflicht, diesen Grundwert gegen fehllenkende Anreizsysteme zu verteidigen.
Erfahrung: Präregistrierte Studien, Open Data, Replikationen, Open Access
Motivation: Im derzeitigen Wissenschaftssystem bestehen zu viele systematische Fehlanreize, die die eigentliche Kernfunktion wissenschaftlichen Arbeitens (Gewinn echter Erkenntnis zum Wohle aller) erheblich unterminieren. Das muss und wird sich ändern.
Erfahrung: Präregistrierte Studien, Open Data, Open Materials, Replikationen, Open Access
Motivation: Open Science dient den Werten der Ehrlichkeit, Transparenz und Wahrheitsliebe guter wissenschaftlicher Praxis. Hier hat die Spießerweisheit "ich habe nichts zu verbergen" ihre Berechtigung, weil die wissenschaftliche Gemeinschaft ein Recht hat nachzuvollziehen, wie eine Studie gemacht wurde.
Motivation: Angesichts schwindenden Vertrauens in allen Bereichen unserer Gesellschaft ist Open Science ein unerlässlicher Beitrag, den die Wissenschaft dazu leisten kann, Vertrauen wiederherzustellen.
Erfahrung: Open Access, Open Data, Open Materials
Motivation: Ich verstehe Wissenschaft als Versuch sich systematisch der Wahrheit anzunähern. Die Open Science Methoden sehe ich als grundlegende Notwendigkeit, um diesem Anspruch gerecht zu werden.
Erfahrungen; Open Access, Replikationen
Motivation: Hohe Qualität in der Forschung ist mir ein großes Anliegen. Open Science Techniken zeigen Wege auf, wie diese erhöht werden kann, weshalb ich lernen möchte, sie richtig und weise einzusetzen. Ich möchte Replizierbarkeit sicherstellen und dabei Nachwuchswissenschaftlerinnen und Wissenschaftler gut betreuen und fördern. Das Ziel ist es, Studien durchzuführen, die den aktuellen Qualitätsstandards entsprechen und dabei kreativ und sowohl theoretisch als auch praktisch relevant sind. Ich nehme das als große Herausforderung wahr.
Erfahrungen: Mitarbeit bei und Betreuung von präregistrierten Studien, Open Data, Open Materials, Open Access
Motivation: Präregistrierung spezifischer statistischer Hypothesen und vorgesehener Auswertungsschritte, a-priori-Fallzahlberechnungen sowie konsequente Trennung konfirmatorischer und exploratorischer Analyseergebnisse müssen zum Standard guter empirischer Forschung werden. Dafür - und nicht dagegen - müssen Anreize geschaffen werden.
Erfahrungen: OpARA, Statistische Datenanalyse (allgemein)
Motivation - Die vergangenen Jahre demonstrierten uns auf geradezu peinliche Art und Weise, dass öffentlich finanzierte Forschung unter Performanzdruck und ohne hinreichende institutionelle Lenkung nur selten belastbare Erkenntnisse generiert. Es liegt daher an uns selbst Qualitätssicherungssysteme aufzubauen mit denen fragwürdige wissenschaftliche Praktiken minimiert werden und so verloren gegangenes Vertrauen wieder aufgebaut werden kann.
Erfahrungen - Präregistrierung, Äquivalenz-Studien / Replikationen, Strukturiertes Reporting, Open Access, Open Data, Open Materials
Motivation: Gerade DoktorandInnen stehen in Hinblick auf ihre Karriere häufig unter dem Druck, möglichst viele signifikante Ergebnisse zu produzieren, um möglichst viel publizieren zu können. Open Science ist ein Weg, dies zu ändern. Bei der Bewertung von Forschungstätigkeiten müssen die Qualität und das Innovationspotenzial der Beiträge Vorrang vor der Quantität bekommen. Gute Wissenschaft darf nicht karriereschädlich sein.
Erfahrungen: Präregistrierte Studie, Open Data, Organisation eines DoktorandInnen-Tags zum Thema Open Science und Publikationsprozess
Motivation: Seit Jahren nagt es an mir, dass in unserer Art und Weise, wie wir wissenschaftlich arbeiten etwas nicht stimmen kann. Mehrmals fand ich mich in der Situation wieder dass ich mit Freude meine Datenerhebung und –auswertung abgeschlossen hatte und dann … Kein signifikantes Ergebnis! Alle Beteiligten inkl. mir selbst reagierten meist mit mehr oder weniger starken negativen Emotionen. Aber warum? Weil die Karriere und das Ansehen von uns Wissenschaftlern an der Anzahl der bestätigten wissenschaftlichen Hypothesen gemessen wird und wie hochrangig diese publiziert werden. Dabei war und ist leider immer noch nachrangig ob die Studie und alle Datenverarbeitungs- und auswertungsschritte genügend Qualität aufwiesen. Da Menschen eine hohe Motivation haben negative Emotionen zu vermeiden, ist es nicht verwunderlich, dass viele Wissenschaftler (und da kann ich mich nicht ausnehmen) mehr oder weniger bewusst Praktiken anwenden, um doch noch zu signifikanten Ergebnissen zu kommen. Der für mich vielversprechendste Weg, diese Kreisläufe zu durchbrechen liegt erstens in der Veränderung unserer Arbeitsweisen hin zu kompletter Open Science, zweitens aber auch in einem Umdenken bezüglich der Bewertung von Wissenschaftlern und wissenschaftlichen Ergebnissen. Auch wenn ich das als große Herausforderung empfinde, möchte ich in Lehre und Forschung diesen Weg unterstützen und mitgehen.
Erfahrung: Vermittlung guter wissenschaftlicher Praxis in der Lehre, Open Access
Motivation: Eine notwendige Bedingung für Wissenschaft ist die Nachvollziehbarkeit und Überprüfbarkeit der getroffenen Urteile. Open Science kann dabei helfen, dass die Psychologie eine Wissenschaft bleiben kann, ohne dass ihre Definition geändert werden muss.
Erfahrung: Präregistrierte Studien, Open Data, Open Analysis, Open Materials, OSF
Motivation: Im Rahmen wissenschaftlicher Untersuchungen können zentrale Ergebnisse oft gar nicht, nur teilweise oder mit deutlich geringerer Effektstärke repliziert werden. Diese Befunde sind aber ebenso bedeutsam und müssen genau wie alle anderen kommuniziert werden. Dafür ist Open Science unerlässlich.
Erfahrungen: Replikationen, Open Data, Organisation eines DoktorandInnen-Tags zum Thema Open Science und Publikationsprozess
Motivation: Als Doktorand in den ersten Zügen meiner Promotion möchte ich von Anfang an zu einer verlässlicheren Wissenschaft beitragen. Mit Hilfe von Open Science möchte ich Erkenntnisse generieren, welchen die wissenschaftliche Gemeinschaft und ich selbst vertrauen können.
Erfahrungen: Mitarbeit an SOPs nach Open Science, Open Access, Forschungsdatenmanagement
Motivation: Open Science fördert die Transparenz und Replizierbarkeit unserer Forschung und ermutigt dazu Forschungsprojekte von Beginn an detaillierter zu planen. So hilft Open Science uns dabei bessere Wissenschaft zu betreiben.
Erfahrungen: Präregistrierte Studien, OSF
Motivation: Die Freiheit von Wissenschaft und Lehre ist nicht selbstverständlich. Sie gibt uns die einzigartige Möglichkeit, systematisch Erkenntnisse zu gewinnen und uns ungehindert der Wahrheit annähern zu können. Dieses wertvolle Ziel ist jedoch in der psychologischen Forschung in den letzten Jahren stark in den Hintergrund getreten, bedingt durch ein komplexes und multifaktorielles Geschehen was sowohl individuelles Fehlverhalten als auch strukturelle Gründe beinhaltet. Diese Entwicklung ist nicht nur aus wissenschaftlicher Sicht bedenklich, sondern auch aus ethischer Sicht. Bei einer empirischen Wissenschaft, die vor allem Studien am Menschen durchführt, muss hervorgehoben werden, dass Studien mit geringer Glaubwürdigkeit schlichtweg unethisch sind. Open Science ist für mich eine Möglichkeit zu der Veränderung beizutragen, die ich mir für die psychologische Wissenschaft als Ganzes und die Studienteilnehmer*innen im Speziellen wünsche.
Erfahrung: Mitglied der Ethikkommission, Kursteilnahme „Gute wissenschaftliche Praxis“, Replikationen, Bayes'sche Statistik, OpARA, OSF (just started)
Motivation: Meines Erachtens gibt es strukturelle und systematische Ungerechtigkeiten im Forschungsprozess. Beispielsweise ist es unnötig schwer, nicht signifikante Ergebnisse in Fachzeitschriften - v.a. mit hohem Impact - zu veröffentlichen und damit diese wichtigen Befunde der Forschungswelt zugänglich zu machen. Ebenso gibt es immer wieder Berichte zu "Verschönerungen" von wissenschaftlichen Daten, um sie publizierfähiger und relevanter erscheinen zu lassen. Allerdings lebt gesunde und glaubwürdige Forschung von ungeschönter Ehrlichkeit und von einer im besten Sinne kritischen Diskussionskultur, um tatsächlichen Fortschritt erzielen zu können. Dafür ist Open Science ein wichtiger Schritt.
Erfahrung: Kursteilnahme „Gute wissenschaftliche Praxis“, Forschungsdatenmanagement
Motivation: Das Ziel von Forschung ist es, Wissen und neue Erkenntnisse hervorzubringen. Je mehr wir als Wissenschaftler zusammenarbeiten und unser Wissen über den Forschungsprozess teilen, je offener Publikationen, Daten und Methoden für alle zugänglich sind, desto besser kann das gelingen.
Erfahrung: Präregistrierte Studien, Open Data, OSF, Psychological Science Accelerator
Motivation: Open Science ist für mich ein bedeutungsvoller, lösungsorientierter Weg, um wieder mehr Vertrauen in die Forschungergebnisse zu gewinnen und mehr Objektivität, Replizierbarkeit und Transparenz herzustellen. Allerdings sind die Umsetzungsformen von 'Open' derzeit von einer immensen Diversität geprägt, die eine qualitative Einschätzung der einzelnen Formen nicht immer einfach macht. Damit birgt es auch Tücken und Gefahren, welche es zu identifizieren und einzuschätzen gilt. Ich sehe es in meiner Verantwortung und im Interesse der guten wissenschaftlichen Praxis Qualitätsstandards festzulegen und eine Kultur des offenen Austauschs zu schaffen, um den Herausforderungen der Open Science Bewegung zu begegnen.
Erfahrungen: OSF