FORSCHUNGSBASIERTE DIENSTLEISTUNGEN
WISSEN! WAS WIRKT?
Wissen aufbereiten nach Standards der Evidenzbasierung
Das Mercator-Institut schlägt eine Brücke zwischen Forschung, Politik und Praxis. Es trägt Erkenntnisse über die Wirksamkeit von Konzepten, Maßnahmen oder Modellen im Bereich sprachliche Bildung zusammen. Ziel des Angebots Wissen! Was wirkt? ist es, das Wissen zielgruppenspezifisch in verschiedenen Formaten aufzubereiten.
Hintergrund
Sprachliche Kompetenzen entscheiden wesentlich über Bildungserfolg. Darüber besteht in der empirischen Bildungsforschung Einigkeit. Über die grundlegenden Zusammenhänge von individuellen, gesellschaftlichen sowie sozialen Faktoren und sprachlichen Kompetenzen liegen zahlreiche empirische Erkenntnisse vor. Dennoch entwickeln sich viele kontroverse Debatten über sprachbezogene Themen und Fragestellungen wie etwa Mehrsprachigkeit, Lese- und Schreiberwerb oder der Einfluss digitaler Medien auf Sprache. Dabei finden sich auch Meinungen und Positionen, die den aktuellen Forschungsstand ungenau wiedergeben, ihn falsch interpretieren oder ignorieren. So entstehen Mythen und Vorurteile.
Zahlreiche bildungspolitische Entscheiderinnen und -entscheider befürworten, dass empirische Erkenntnisse zu ihrer Arbeit beitragen. Dafür ist es hilfreich, die wissenschaftlichen Befunde systematisch und transparent zu bestimmen und für unterschiedliche Adressaten in der Bildungspraxis, -politik und -verwaltung sowie für die Zivilgesellschaft aufzubereiten. Hier setzt Wissen! Was wirkt? an.
Ziele
Das Mercator-Institut schlägt mit diesem Angebot eine Brücke zwischen Forschung, Politik und Praxis im Bereich sprachliche Bildung. Ziel ist es einerseits, Bildungsakteuren sowie der Zivilgesellschaft den Zugang zu aktuellen Themen, Konzepten und Forschungsergebnissen zu erleichtern. Andererseits sollen Vertreterinnen und Vertreter der Bildungspolitik und Praxis das beste verfügbare Wissen zu sprachlicher Bildung auf der Grundlage wissenschaftlicher Erkenntnisse bekommen. Dafür entwickelt Wissen! Was wirkt? evidenzbasierte und partizipative Transferkonzepte für den Bereich sprachliche Bildung weiter.
Wissenstransfer
Unter Wissenstransfer versteht das Mercator-Institut die Vermittlung und Übertragung wissenschaftlicher Ergebnisse zu Fragen der sprachlichen Bildung in Zivilgesellschaft, Bildungspraxis, Bildungsverwaltung und Bildungspolitik. Leitendes Prinzip ist die Evidenzbasierung. Dafür ist es einerseits wichtig, dass Forscherinnen und Forscher bei ihrer Arbeit qualitätssichernde Verfahren nutzen und offenlegen, wie sie zu ihren Ergebnissen gekommen sind. Zum anderen ist es entscheidend, verschiedene Akteursgruppen in diesen Prozess einzubinden. Dazu zählen auch Vertreterinnen und Vertreter, die außerhalb der Wissenschaft tätig sind. Diese liefern wichtige Hinweise, wie Befunde zielgruppengerecht verbreitet werden können und geben Wissenschaftlerinnen und Wissenschaftlern Impulse für ihre Arbeit und möglicherweise für neue Forschungsprojekte. Um Forschungswissen für unterschiedliche Zielgruppen nutzbar zu machen, arbeiten das Wissen! Was wirkt?-Team und die Stabsstelle Kommunikation des Mercator-Instituts Grundlagen- sowie Forschungswissen zu sprachlicher Bildung in verschiedenen Formaten für Medien, Bildungspolitik und Bildungsverwaltung sowie Bildungspraxis auf.
Formate: Basiswissen und Faktenchecks
Im Format Basiswissen sprachliche Bildung bereiten die Autorinnen und Autoren zentrale Begriffe und Konzepte sprachlicher Bildung knapp und verständlich auf. Faktenchecks klären anhand häufig gestellter Fragen über Mythen, Vorurteile und Ungenauigkeiten zu sprachlicher Bildung auf der Grundlage verlässlicher Zahlen und Fakten auf.
Basiswissen
Zielgruppen | Lehrerbildnerinnen und -bildner, Lehrkräfte in der Praxis, Lehramtsstudierende, pädagogische Fachkräfte im Elementarbereich |
Ziele | Zugang zu einem Thema erleichtern, Einführung in ein Thema geben |
Leitfragen | Was ist X? Wie funktioniert X? |
Methoden | Nicht-systematischer Literaturüberblick, Expertenkonsultation |
Faktencheck
Informationen zur Arbeitsweise
Evidenzbasierte Arbeitsweise
In dem Format Faktencheck folgt das Wissen! Was wirkt?-Team bei der Erfassung, Dokumentation und Bewertung von Forschungsergebnissen der gängigen evidenzbasierten Praxis (Process of Evidence Based Practice nach Dawes et al. 2005). Diese beinhaltet Folgendes:
- Monitoring der Sachverhalte/Fragen, die zu klären sind,
- Formulierung suchtauglicher Fragestellungen,
- systematische Suche nach wissenschaftlichen Befunden,
- Auswahl und Bewertung wissenschaftlicher Befunde sowie deren Zusammenschau (Synthese),
- Transfer der Ergebnisse in die Praxis und
- begleitende Evaluierung der Anwendung in der Praxis.
Hierfür nutzt das Team unterschiedliche Methoden (s. Beschreibungen weiter unten). Die Auswahl der Methode sowie die Standards und Kriterien richten sich nach dem jeweiligen Gegenstand bzw. der jeweiligen Fragestellung und werden bei der Erstellung eines Formats konkret beschrieben.
Für Faktenchecks dienen z. B. systematische Bestandsaufnahmen, die es ermöglichen, Forschungswissen einzuordnen, zu schärfen und zu objektivieren. Mittels systematischer Reviews können Forscherinnen und Forscher neue Erkenntnisse auf der Grundlage von vorhandenen Primärstudien erlangen, die sie dann für die Wissenschaft und die Bildungsverwaltung aufbereiten. Die Recherche-, Auswahl- und Bewertungsprozesse dokumentieren sie bei diesen Methoden und legen diese stets offen, damit sie jederzeit nachvollziehbar und replizierbar sind. Von August 2018 bis Mai 2022 hat das Team an einem systematischen Review zur Wirksamkeit von sprachsensiblen Unterrichtsansätzen gearbeitet. Die in diesem Prozess möglicherweise aufgedeckten Forschungslücken dienen außerdem dazu, neue Projekte zu initiieren.
Informationen zu den möglichen Methoden
Literaturüberblick
In einem Literaturüberblick erfassen die Wissenschaftlerinnen und Wissenschaftler den aktuellen Forschungsstand zu einem bestimmten Thema (in der Regel wissenschaftliche Literatur).
Vorgehensweise
Den aktuelle Forschungsstand ermitteln die Wissenschaftlerinnen und Wissenschaftler z. B. mittels strukturierter Abfragen in allgemeinen und themenspezifischen Datenbanken, per Handsuche und Schneeball-Prinzip. Im Gegensatz zu einer systematischen Bestandsaufnahme oder einem systematischen Review legen die Forscherinnen und Forscher die Suchstrategie und Auswahlkriterien bei dem Literaturüberblick vorab nicht fest und dokumentieren die Arbeitsschritte auch nicht. Damit ist die Auswahl von Primärstudie bei diesem Vorgehen stärker durch persönliche Bezüge geleitet.
Anwendung
Mit Ausnahme von systematischen Bestandsaufnahmen, systematischen Reviews oder Meta-Analysen ist der Literaturüberblick die überwiegend verwendete Methode bei wissenschaftlicher Literatur (Monographien, Sammelbände, Handbuch-, Zeitschriftenartikel).
Weiterführende Informationen
Dicks, Lynn et al. (2017): Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development: Non-systematic literature review
Expertenkonsultation
In Expertenbefragungen holen Forscherinnen und Forscher Bewertungen, Stellungnahmen und Einschätzungen von ausgewiesenen Expertinnen und Experten eines bestimmten Themenbereichs systematisch ein.
Vorgehensweise
Den Einzel- oder Gruppenbefragungen liegt ein systematisches Vorgehen zugrunde. Das heißt konkret, dass die Auswahl der Expertinnen und Experten sowie die eingesetzte Methode einem zuvor festgelegten Ziel bzw. der Beantwortung einer konkreten Fragestellung oder eines Problems folgt. Die Befragung findet persönlich oder online, mündlich oder schriftlich statt. Die Auswertung des schriftlich festgehaltenen Wissens (z. B. über Protokolle oder transkribierte Audioaufnahmen) erfolgt nach qualitativen (inhaltsanalytischen) Methoden.
Anwendung
Expertenkonsultationen eignen sich als zusätzliche Methoden der Wissensgenerierung, z. B. um durch Bewertungen, Stellungnahmen und Einschätzungen in einem bestimmten Bereich Wissen zu ergänzen.
Weiterführende Informationen
Dicks, Lynn et al. (2017): Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development: Expert consultation
Studienüberprüfung/-bewertung
In Studienüberprüfungen/-bewertungen nehmen Wissenschaftlerinnen und Wissenschaftler eine (häufig im peer-Verfahren durchgeführte) Bewertung empirischer Studien nach standardisierten (Qualitäts-)Kriterien und -katalogen vor.
Vorgehensweise
Abhängig von der Art der bewerteten Studien (z. B. systematische Reviews, (quasi)-experimentelle oder qualitative Studien) kodieren die Forscherinnen und Forscher mittels eines Protokolls bzw. eines Kodierschemas zentrale Qualitätsmerkmale von empirischen Studien und bewerten diese anschließend zusammenfassend. Die Einschätzung der Qualität erfolgt beispielsweise auf einer (prozentualen) Skala oder durch ein mehrgliedriges Kategoriensystem.
Anwendung
Studienüberprüfungen/-bewertungen haben das Ziel, wesentliche Inhalte und Ergebnisse empirischer Studien nach objektivierten und standardisierten Kriterien kritisch zu bewerten. Sie dienen somit als Bewertungs- und Einschlusskriterium für die Zusammenschau aller ermittelten Primärstudien in systematischen Reviews.
Weiterführende Informationen
What Works Clearinghouse (2017): Procedure Handbook Version 4.0 (S. 9‑11).
Systematische Bestandsaufnahme
In einer systematischen Bestandsaufnahme erfassen Wissenschaftlerinnen und Wissenschaftler mittels einer standardisierten und systematischen Suchstrategie (in der Regel wissenschaftliche und graue Literatur) fragengeleitet den aktuellen Forschungsstand zu einem bestimmten Themenbereich.
Vorgehensweise
Nach der Formulierung einer suchtauglichen Fragestellung folgen strukturierte Abfragen in allgemeinen und themenspezifischen Datenbanken, per Handsuche und Schneeball-Prinzip sowie unter Berücksichtigung grauer Literatur. Bei den durch diese breit angelegte Suchstrategie ermittelten Dokumente prüfen die Wissenschaftlerinnen und Wissenschaftler anschließend in einem mehrstufigen Auswahlprozess, ob diese tatsächlich thematisch passen. Die Suchstrategie und Auswahlkriterien legen sie vorab fest und die Schritte sowie Ergebnisse dokumentieren sie in einem Protokoll und legen sie damit offen. Das Protokoll wird einem peer review unterzogen.
Anwendung
Systematische Bestandsaufnahmen ermöglichen es, Wissen zu einem breiteren Thema systematisch und transparent zusammenzutragen und zu beschreiben sowie einen Einblick in vorhandenes und nicht-vorhandenes Wissen zu geben. Somit lassen sich verlässlich Bereiche identifizieren, in denen noch wenig oder überhaupt nicht geforscht wurde.
Der Umfang einer systematischen Bestandsaufnahme kann variieren – im Vergleich zu systematischen Reviews berücksichtigen systematische Bestandsaufnahmen grundsätzlich weniger Studien und weisen ein höheres Verzerrungspotential auf. Sie sind aber weniger zeitaufwendig (sogenannte (quick) scoping reviews).
Weiterführende Informationen
Dicks, Lynn et al. (2017): Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development: Scoping review.
Systematische Reviews
In einem systematischen Review stellen Forscherinnen und Forscher fragengeleitet das aussagekräftigste Wissen (in der Regel wissenschaftliche Literatur) über einen bestimmten Themenbereich dar. Das Wissen erfassen sie mittels einer standardisierten und systematischen Suchstrategie, prüfen es nach festgelegten Auswahlkriterien, bewerten es mit Blick auf die Qualität sowie empirische Aussagekraft und fassen es anschließend in einer Forschungssynthese narrativ oder statistisch (Meta-Analyse) zusammen.
Vorgehensweise
Analog zur systematischen Bestandsaufnahme erfolgen nach der Formulierung einer suchtauglichen Fragestellung strukturierte Abfragen in allgemeinen und themenspezifischen Datenbanken, per Handsuche und Schneeball-Prinzip sowie unter Berücksichtigung grauer Literatur. Die durch diese breit angelegte Suchstrategie ermittelten Dokumente durchlaufeneinen mehrstufigen Auswahlprozess. Dabei überprüfen die Wissenschaftlerinnen und Wissenschaftler sowohl die thematische Passung als auch die Qualität mithilfe eines festgelegten Beurteilungsrasters und filtern die Dokumente entsprechend. Die so identifizierten Studien bilden die Grundlage der Forschungssynthese. Die Suchstrategie, die Auswahl- und Beurteilungskriterien, die jeweiligen Arbeitsschritte sowie die Ergebnisse dokumentieren die Forscherinnen und Forscher in einem Protokoll und legen diese somit offen. Das Protokoll wird einem peer review unterzogen.
Anwendung
Systematische Reviews ermöglichen es, Wissen zu einem breiteren Thema systematisch und transparent zusammenzutragen und zu beschreiben. Sie geben eine Übersicht über vorhandenes und nicht-vorhandenes Wissen und berücksichtigen auch weniger beachtete bzw. schwieriger zugängliche Studien und Forschungsergebnisse. Zusätzlich können auf der Grundlage existierenden Wissens neue und vor allem objektive Aussagen getroffen werden, da die Methode die Beeinflussung der Auswahl und Bewertung der Studien durch persönliche Bezüge ausschließt. Darüber hinaus bilden systematische Überblicksarbeiten die Grundlage für die Erstellung von Meta-Analysen.
Der Umfang und das Verzerrungspotenzial eines systematischen Reviews ist abhängig von der Breite bzw. dem Umfang der Suchstrategie (und gegebenenfalls der dadurch variierenden Anzahl der zu bewertenden Studien). In der Praxis sind zwei Varianten gebräuchlich: Es gibt einerseits Überblicksarbeiten, die weniger Studien berücksichtigen und somit ein höheres Verzerrungspotential aufweisen. Sie sind weniger zeitaufwendig (z. B. rapid evidence assessments). Andererseits existieren Überblicksarbeiten, die eine größere Anzahl an Studien berücksichtigen und somit ein niedrigeres Verzerrungspotential haben. Sie sind jedoch zeitaufwendiger.
Weiterführende Informationen
Dicks, Lynn; Haddaway, Neal; Hernández-Morcillo, Monica; Velizarova, Emiliya; Santamaria, Luis; Mattsson, Brady; Randall, Nicola; Failler, Pierre; Ferretti, Johanna; Rodela, Romina; Wittmer, Heidi; Livoreil, Barbara & Saarikoski, Heli (2017). Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development doi:10.13140/rg.2.2.15632.92161: Systematic Review, Rapid Evidence Assessment; Campbell Collaboration Guideline
Weiß, Bernd & Wagner, Michael (2019). Meta-Analyse. In Nina Baur & Jörg Blasius (Hrsg.), Handbuch Methoden der empirischen Sozialforschung (S. 1511–1522). Wiesbaden: Springer Fachmedien Wiesbaden. doi: https://doi.org/10.1007/978-3-658-21308-4_112
