mal wieder: Hattie (ausgelagert aus "schwanger und zu hohe Belastung")

Zitat von Morse

Selbst eingestanden z.B. CLE.
Allein unter den Fehlern, die Du genannt hast, sind, dass falsch gerechnet wurde und falsche Analysen genutzt wurden - aber trotzdem soll es eine gute Sache sein.
Danach kommt, dass dabei nichts neues rausgekommen sei, was man "nicht vorher schon durch zahllose andere Studien gewusst hätte" - aber die "auf Evidenz" basierende Herangehensweise sei eben neu.
Da ist es schade, dass ausgerechnet diese Fehlerhaft ist!

Wenn man z.B. den Effekt der Klassenstärke "untersucht", indem man vier alte Studien nimmt, die ganz unterschiedlich sind - unterschiedliche Anzahl an Probanden, andere Methoden/Fokusse und vor allem andere Ergebnisse! - und dann daraus einfach einen Mittelwert (!) berechnet, dann ist das meiner Meinung nach Nonsens. Aber auf viele (evt. gerade Geisteswissenschaftler) wirken viele Zahlen und Ergebnisse in "Effektstärken" äußerst glaubhaft, quasi naturwissenschaftlich. Beim Leser der Studie wird m.E. der Eindruck erweckt, dass hier nichts interpretiert wird, sondern nur Fakten, Fakten, Fakten sprächen. Ich bezeichne das als Blenden.

Hallo Morse,

das am häufigsten auftretende Missverständnis liegt - so vermute ich - in einem generellen Problem, das wir hierzulande oft haben. Wir meinen immer, Wissenschaft müsse uns absolute Wahrheiten liefern. Das ist aber ein typisch idealistisches (bzw. universalistisches) Denken. Natürlich kann keine Metaanalyse und schon gar nicht eine Meta-Metaanalyse solche Wahrheiten liefern, überhaupt kann das keine seriöse empirisch orientierte Wissenschaft leisten und will das auch nicht.

Wenn wir in einer Klassenarbeit einen Notenschnitt bilden, meinen wir ja auch nicht, dass wir nun endgültig wissen, wie stark unsere Klasse ist. Schließlich haben wir nur einen abstrakten Mittelwert gebildet, der auf keinen Schüler wirklich zutrifft. Trotzdem haben wir einen Anhaltspunkt, der begrenzt Rückschlüsse zulässt. Es geht immer nur darum, dass man die richtigen Schlüsse zieht und diese immer auf die konkreten Umstände der Leistungsmessung rückbezogen bleiben. Nicht viel anders ist es mit Hatties Ergebnissen. Man muss sie kritisch interpretieren; wenn man das macht, können sie sehr hilfreich sein.

Und was du schreibst, stimmt einfach nicht. Ich habe mehrere Bücher Hatties gelesen/gesichtet und auch Sekundärliteratur dazu, nirgends wird der Eindruck von Allwissenheit erweckt oder irgendwas verschleiert. Wer hier von "Blenderei" spricht, hat sich offensichtlich noch nie wirklich unvoreingenommen mit den Interpretationen Hatties beschäftigt. Der Mann ist Wissenschaftler und hat gar keine Probleme damit, Fehler einzugestehen und die eigene Arbeit kritisch zu beleuchten. Das unterscheidet ihn übrigens von vielen deutschen (Geistes)Wissenschaftlern, von denen sich nun wirklich zahlreiche in den Erziehungswissenschaften tummeln. Da ist Blenderei und Dogmatik bis heute an der Tagesordnung.

Deshalb finde ich die empirische Bildungswissenschaft so angenehm, hier wird nicht plump irgendwas behauptet und auf eine auserlesene (und evtl. selbst finanzierte und durchgeführte) Studie verwiesen, sondern (relativ) unvoreingenommen auf das Phänomen geblickt. Das ist leider nach wie vor keine Selbstverständlichkeit.

Hier ist ein verständliches Video zu den Effektstärken abrufbar:

https://www.lernensichtbarmach…Effektstaerken_Hattie.ogv

der Buntflieger

Zitat von Morse

Zur "Blenderei": das ist mein subjektiver Eindruck, dies wird Hattie ja in der wissenschaftlichen Kritik auch nicht oder kaum vorgeworfen.Die Art und Weise wie er Fehler eingesteht, finde ich für einen Wissenschaftler problematisch. Nach dem Motto "ja gut, die habe ich unter Stress halt die falsche Formel genommen und die Hälfte der Zahlen ist falsch, aber das war's auch schon". Das bewerten Du und ich wohl unterschiedlich.

Hallo Morse,

solche Aussagen wie die, dass "die Hälfte der Zahlen falsch" sein sollen, finde ich problematisch. Damit wird suggeriert, dass hier grob-fahrlässig irgendein Mist produziert wurde. Entweder du sagst konkret, was genau an den Zahlen bzw. welche Hälfte davon angeblich falsch ist, oder ich kann diese Art schwammig-nebulöser Pauschalkritik schlicht und ergreifend nicht ernst nehmen.

Mir fehlt es auch an konstruktiven Verbesserungsvorschlägen. Wenn man sich auf immer dieselben problematischen Daten fokussiert, wird man mit Hatties Arbeit nicht produktiv umgehen und ihr auch nicht gerecht. Dort werden viele Indizien kombiniert und Korrelationen angeboten (die man nicht als Kausalitäten missverstehen darf), daraus kann man durchaus Rückschlüsse ziehen. Man kann vieles anders sehen und die Systematik Hatties verbesserungswürdig finden, aber die Kernaussagen sind in einem außerordentlich hohen Maße auf Evidenz basierend. Das ist ja auch die Hauptforderung Hatties: Lernen sichtbar (zu) machen!

Hattie hat hier nur im großen Stil einen Anfang gemacht. Das ist ein kühnes Unterfangen, das natürlich auch Neider und Empiriegegner provoziert; hierzulande haben wir schließlich eine ausgeprägte geisteswissenschaftliche Tradition, die Statistiken und Zahlen prinzipiell mit großer Skepsis bis Ablehnung gegenübersteht. Aber Fakt ist eben auch, dass das zu wissenschaftlichem Stillstand führt und der Beliebigkeit Tür und Tor offen hält. Nicht ohne Grund sind wir hierzulande jahrelang von einem Pädagogik-Papst zum nächsten (jede Lehrergeneration hatte ihre eigenen) gereicht worden. Dann zählt eben nur das Autoritätsgebot, wenn man sonst nichts an Wissenschaftlichkeit aufzubieten vermag.

Also bitte: Hattie und Konsorten kritisieren gerne, aber auf eine Weise, die eine Sachkenntnis und Sachbezogenheit erkennen lässt und die Kritik zur wertvollen (im wissenschaftlichen Sinne) werden lässt. Alles andere ist destruktiv und bringt niemandem etwas.

der Buntflieger