Online-Studie zum Thema Leistungsbewertung

Das eigentliche Untersuchungsziel der Studie kriegen doch alle einigermaßen pfiffige Menschen mit - und das sind wir LehrerInnen ja nun mal. „Schlimm wissenschaftlich“ würde ich behaupten. Aber da habe ich wieder ein Beipiel, über das es sich im Matheunterricht zur Statistik/Stochastik mit den SchülerInnen zu sprechen lohnt.

Was wäre denn "bewusst Unpassendes"? Sind darunter Antworten zu verstehen, die, nach Durchschauen der Systematik der geforderten Stereotype diese bewusst im ersten Anlauf nicht erfüllen, nur um lediglich unter Zwang (="Fehlerkorrektur") ins Schublädle zu springen oder nur diejenigen- das System durchschauend- willkürlich irgendetwas angeklickt haben?

Was das Bearbeiten der Studie nach dem Lesen der Kommentare anbelangt und den Umstand, dass derartige TN aussortiert werden sollen: Es sollte realistischerweise klar sein, dass Menschen mit einem akademischen Abschluss zu deren zentralen Aufgaben Diagnostik, Analyse, schnelles Erkennen von Systematiken gehören ganz ohne irgendwelche Kommentare eine solche Studie durchschauen und dann eben je nach persönlichen Haltungen (sei es zur Thematik oder der Art des Studienformats) bearbeiten.

Zitat von nico_97

Gibt es denn hier jemanden, der mit der Intention teilgenommen hat, willkürlich einfach irgendetwas oder etwas aus seiner Sicht bewusst Unpassendes zu antworten und die Studie dennoch bis zum Ende durchlaufen hat?

Vielleicht besteht ja die Möglichkeit den-/diejenige(n) auszusortieren.

Gleiches würde für Teilnehmer gelten, die die Studie bearbeitet haben, nachdem sie die Kommentare gelesen haben.

Falls dies auf jemanden zutrifft, wäre ich für eine Meldung dankbar.

Alles anzeigen

Wie möchtest du denn diejenigen aussortieren? Ich dachte die Studie wäre anonym?

Danke Conni. Du hast genau den Nagel auf dem Kopf getroffen!

Zitat von nico_97

(...) Es hätte mich an dieser Stelle interessiert, welchem Leistungsniveau der (möglicherweise) entstandene Eindruck ungefähr (anhand einer Note) zugeordnet wird. "Bewusst unpassend" meint daher, sich bewusst gegen den Eindruck zu entscheiden. Damit meine ich nicht etwa statt einer 4+ eine 3- zu geben, sondern z.B. eine 2+ (was dem Leistungsniveau, das ich in der Beschreibung vorgesehen hatte, definitiv nicht entspricht).(...)

Um für den Eingangstext ausgerechnet von Lehrern eine halbwegs ernsthafte Antwort zu erhalten hätte zumindest beachtet werden müssen, dass es um mehrere Leistungs- und Beurteilungsbereiche geht, die man gerade nicht über einen Kamm scheren kann oder eben eine Möglichkeit schaffen müssen Teilbereiche (Deutsch-Mathe-Verhalten-Mitarbeit) getrennt zu beurteilen, so wie Lehrer das im Alltag auch tagtäglich machen. Ich gehe schließlich nicht hin und überlege mir bei Schülern, die ich in Französisch, Wirtschaft und Geminschaftskunde habe einen Mittelwert aus ihren Leistungen den ich- ergänzt um meine Einschätzung ihrer Mitarbeits- und Verhaltensleistung- dann in allen Fächern als Note eintrage (am besten noch mit kleinem Zauberwürfelchen in petto zur Nuancierung meiner Tageslaune *Achtung Ironie!*).
Mir ist klar, dass man als Student kein Lehrer ist, aber du warst selbst einmal Schüler und weißt insofern, dass es getrennte Fachnoten gibt, selbst wenn man denselben Fachlehrer in mehreren Fächern hat. Wenn du einerseits wissenschaftlich saubere Ergebnisse erhalten möchtest und andererseits dir damit deinen Master erarbeiten willst, muss dir das soviel grundständige Überlegung wert sein (denn das ist weniger ein Zeitproblem, als ein grundständiger Fehler in der Studienanordnung).

Zitat von nico_97

(...) Nun zu den Kommentaren: Das Durchschauen mag dann einfach sein, wenn man die Beschreibung des türkischen Schülers bekommen hat. Möglicherweise ahnt man dann schnell, worauf die Studie hinaus will und es widerstrebt einem, den Schüler (zu) schlecht zu bewerten. Allerdings würde ich es auch dann nicht für ausgeschlossen halten, dass man ihn trotzdem tendenziell schlechter einschätzt. Nichtsdestotrotz halte ich es ebenso nicht für ausgeschlossen, dass manchen diese Fragestellung der Studie (es ist nicht die Einzige) nicht klar wird. In diesem Fall wäre die Bewertung dann ganz sicher verzerrt, wenn man die Kommentare gelesen hat.Wenn man allerdings die Beschreibung des deutschen Schülers erhält, sehe ich keinen Grund, wieso jemand vermuten sollte, dass die parallele Versuchsbedingung die gleiche Beschreibung mit türkischem Namen erhalten hat. Nachdem man die Kommentare hier gelesen hat, ist das allerdings sicher der Fall, sodass man anders über die Bewertung nachdenken würde, als man es sonst getan hätte.(...)

Ich hatte eingangs einen Text zu einem "Luca" (Lukas?), da dachte ich sicherlich nicht an einen türkischen Schüler. Wie Conny aber gut erklärt hat sind derartige Studienaufbauten seit langem bekannt, so dass mir völlig klar war, dass andere TN denselben Text mit Vornamen haben würden, die klarer auf bei der Leistungsbewertung als sensibel geltenden Gruppen verweisen würden.
Ob Luca/Lukas ein "deutscher Schüler ist, weiß ich angesichts des Textes übrigens ebensowenig, wie ich wissen kann ob ein "Mehmet" (oder wie das Pendant genannt worden sein mag) ein türkischer Schüler ist, schließlich sagt der Name nichts über den Pass aus, höchstens über die kulturelle Prägung und ggf.Wurzeln der Familie. Es lässt durchaus tief blicken, dass du hier von der "Beschreibung des deutschen Schülers" sprichst während du eigentlich nur einen bestimmten Vornamen meinst. Vielleicht solltest du zunächst deine eigenen Haltungen zum Thema sauber abklären, damit du diese nicht mit deinem Studienaufbau vermengst und - unbewusst- eigene Vorurteile zu bestätigen suchst, wodurch du deinen Studienaufbau letztlich verengst und potentiell aussagekräftige Ergebnisse verfälschst.

Lehrer sind Akademiker, die ausnahmslos solche Studien zur Genüge kennen. Tu dir selbst den Gefallen und unterschätze niemals deine Zielgruppe und zwar ganz gleich, ob diese Lehrer sind oder die 3.Generation Empfänger von Transferleistungen zur Bestreitung des eigenen Lebensunterhalts. Einen eingebauten Bullshit-Alarm haben die einen wie die anderen mit schöner Regelmäßigkeit, auch wenn die Begründungsmuster sich am Ende vermutlich unterscheiden.

@Conni : Sehr schöne, sehr sachliche Darstellung der argumentativen Schwachstellen des TE.

Ich finde gut, @nico_97, dass du dich der Kritik stellst und nicht einfach verschwindest.

Mir geht es wie anderen Lehrkräften, die schon viele dieser Studien beantwortet haben.
Auch ich sehe Unterschiede in den Studien, seis drum. Ich hatte am Anfang schon mal geschrieben, dass eine Umfrage m.E. nicht zu einer Bachelor-Arbeit gehören sollte, gerade weil es schwierig ist, eine saubere Erhebung auszuarbeiten - ganz unabhängig vom Thema. In meiner Studienzeit gab es auch solche Seminare. Geplant war zuerst, innerhalb 1 Semesters eine Studie zu planen, durchzuführen und auszuwerten. Am Ende dauerte es mehr als 3 Semester mit durchgägnigen Sitzungen und am Ende des 1. Semesters war gerade einmal die Themenstellung klar.

Obwohl ich um die Schwierigkeiten weiß, bin ich gerne - und auch weiterhin noch - Bereit, an diesen Erhebungen teilzunehmen, gearde weil die Studierenden auf Ergebnisse angewiesen sind.
Das mag inkonsequent sein, aber die Studien selbst interessieren mich oft.

Zitat von nico_97

Viel eher ist die Haltung: Es lässt sich (noch) nicht vermeiden, daher wollen wir es empirisch nachweisen und verstehen.

Wenn es um die Beurteilung von Kindern mit Migrationshintergrund geht, interessiert mich eher:
WARUM entsteht der Eindruck, dass es so sein soll?
Welche Kriterien werden zur Leistungserhebung genutzt und an welcher Stelle können diese subjektiv ausgelegt werden?

Auch in meinem Studium war es Thema, auch in vielen Foren war das Thema, auch ich kenne die früheren Studien ... immer wieder wird der Vorwurf erhoben, dass em so sei: Woher kommt das? Ist das wirklich gerechtfertigt?

Aber kann man das mit einer solchen Erhebung herausfinden?
Eigentlich müsste man den Lernstand der SuS mit gleichen Kriterien aber unabhängig erfassen und mit der Einschätzung der Lehrkraft abgleichen.

Bei dieser Umfrage ist sehr schnell bei mehreren der Eindruck entstanden, dass man nicht "empirisch nachweisen" will, OB es zu einer Verzerrung kommt, sondern DASS es zu einer Verzerrung kommt. Den Lehrkräften wird also unterstellt, dass dem so ist und sie werden dazu gezwungen oder manipuliert, sich entsprechend zu verhalten, damit man im Nachhinein sagen kann, dasss dem so sei und dass man es empirisch nachgewiesen hätte.
Unter welchen Umständen dies zu Stande gekommen ist, fragt bei solchen Aussagen dann keiner mehr, es ist schließlich "empirisch".

Zitat von nico_97

Ich habe auch den Eindruck, dass hier ganz stark vermutet wird, man versuche, Lehrer schlecht dastehen zu lassen (welcher vor allem wegen der Kommentare bzgl. einer möglichen Publikation der Bachelorarbeit entstanden ist...ich kann Entwarnung geben, es ist eine Bachelorarbeit, wer soll die publizieren???).

Zitat von nico_97

In der Forschung zu Beurteilungsverzerrungen geht man ja gerade davon aus, dass solche Prozesse unwillkürlich ablaufen. Somit wird auch keine Schuldzuweisung impliziert.

Zitat von Conni

Das Problem ist, dass die Forschungsarbeiten dann durch die Medien gehen und es dort doch zu Schuldzuweisungen kommt. Egal, wie es von der Forschung gemeint war. Und da haben eben schon viele vor dir geforscht, sodass du da ein wenig auf verbrannter Erde rumläufst.

Ich weiß, dass ich an ebensolchen Umfragen teilgenommen habe und später in den Medien stand: Lehrer verhalten sich zu soundsoviel Prozent auf diese oder jene Weise.
Keine Erläuterung, kein Hinweis darauf, wie das entstanden ist, keine Berücksichtigung der Hintergründe oder Beweggründe,
ABER in den Medien ist es dann immer eine Studie der Uni DaundDa und wird als wissenschaftliches Ergebnis weitergetragen.
Vorwürfe sind schnell erhoben, werden noch schneller verbreitet ... und im Anschluss darf man sich als Lehrkraft unter Generalverdacht stellen lassen und für jede (schlechte) Note zusätzlich rechtfertigen.
Mit den Erfahrungen werden Lehrkräfte eben noch vorsichtiger und äußern ihren Unmut schon zu Beginn der Studie, damit sie hinterher nicht einmal mehr im Regen stehen.
Da hat Conni schon recht, dass du auf verbrannter Erde läufst, was du vermutlich nicht wissen konntest.

Wo sind eigentlich die Studien, die Lehrkräften nicht den Schwarzen Peter zuschieben, sondern sich mit Bedingungen im Schulsystem, in den Schulbauten, durch Schulpolitik beschäftigen und zum Ausdruck bringen, dass diese die Leistungen der SuS erheblich mit beeinflussen und ein angemessenes Lernen verhindern?

Zitat von Palim

Ich finde gut, @nico_97, dass du dich der Kritik stellst und nicht einfach verschwindest.

Das möchte ich einfach unterschreiben, denn es ist nicht selbstverständlich sich solchem Gegenwind zu stellen und damit auseinanderzusetzen, das spricht für dich @nico_97 .

Übrigens finde ich es besonders bezeichnend, dass diejenigen, die die Verantwortung für solche realiter feststellbaren Verzerrungen tragen, nämlich die betreuenden Hochschullehrer, sich aus diesen Auseinandersetzungen über die verbreitete Methodik fein heraushalten.

Zitat von nico_97

Das kann ich nicht nachvollziehen.

Das liegt u.U. daran, dass du bei weitem noch nicht so viel Erfahrung mit pädagogisch/didaktischen Studien gemacht hast, wie die meisten von uns hier, die schon viele Jahre im Beruf stehen und im Gegensatz zu dir auch mehr Routine mit wissenschaftlichen Erhebungen haben.

Bei Bachelor-Kandidaten und ihrer nun doch sehr kurzen Studienzeit kann das wissenschaftliche Handwerkszeug aufgrund mangelnder Erfahrung noch nicht so gesichert sein, dass sie sich über die Implikationen ihrer Untersuchungsansätze tatsächlich im klaren sind.

Zitat von nico_97

Die Manipulation der Nationalität über den Namen wurde in verschiedenen Forschungsarbeiten eingesetzt, daher habe ich diese Idee übernommen.

...und genau deshalb versteht jeder hier direkt, worum es geht, weil alle diese Art von Studienansatz bereits x-mal gelesen haben. Das ist spätestens seit PISA 2000 - und damit seit fast 20 Jahren- ein ebenso konstantes, wie präsentes Thema mit dutzenden Studien, die es seitdem dazu gegeben hat. Die gab es auch schon vorher, aber eben nicht als "Dauerbrenner".

Zitat von nico_97

Es gibt auch Studien, die untersuchen, mit welcher Nationalität ein Name assoziiert wird, die als Grundlage der Namenswahl dienten.

Ja, und diese Art von Vorurteilen gibt es natürlich gesellschaftlich. Allerdings prüft man diese häufig indirekt und nicht im Rahmen eines derart durchschaubaren- da altbekannten- Forschungsaufbaus. Qualitative Interviews können sehr erhellend sein, aber eben auch ein Forschungsaufbau, bei dem die TN tatsächlich nicht durchschauen, worum es eigentlich geht. So gab es beispielsweise in verschiedenen Ländern im Rahmen realer Bewerbungsverfahren parallele Bewerbungen z.B. von Aishe mit Kopftuch, deutschem (oder je nach Land entsprechendem) Pass und derselbe CV von der blonden, blauäugien Julia, dem nach deutschem Stereotyp aussehenden Peter oder nach Migrationsschema klingenden Ali (die Namen habe ich jetzt willkürlich gewählt). Am Ende konnte so sehr klar dargestellt werden, dass Personaler eben signifikante Unterschiede machen die sich nicht mit der Qualifikation begründen lassen, sondern Aspekte wie Geschlecht, kultureller Hintergrund des Bewerbers, aber auch die Erwartungshaltung der eigenen Zielkundschaft und deren Stereotype eine große Rolle spielen. Neben rein empirischen Erhebungen im großen Umfang wurden die Ergebnisse abgesichert durch begleitende qualitative Interviews mit Personalern zu deren tatsächlichen Entscheidungsgründen, damit am Ende eben nicht nur plakativ herauskommt "Personaler entscheiden rassistisch/sexistisch", sondern die Ergebnisse differenziert eingeordnet werden konnten mit Blick auf gesellschaftliche Erwartungshaltungen, die sich ungeachtet persönlicher Überzeugungen auf Personalentscheidungen auswirken.

Das ist natürlich ein viel zu komplexer Aufbau für eine Studienabschlussarbeit, zeigt aber recht gut, wieviel Aufwand man bei einem derart präsenten Thema betreiben muss, um tatsächlich bestimmte Vorgänge einerseits herauszukitzeln und andererseits sauber einordnen zu können.

Zitat von nico_97

Das kann ich nicht nachvollziehen. Natürlich soll variiert werden, welche Herkunft der Schüler zu haben scheint, den man bewertet. Dem liegt die Annahme zugrunde, dass ein Stereotyp, sofern vorhanden, aktiviert wird, wenn man glaubt, einen Schüler entsprechender Herkunft zu bewerten und dass dieses Stereotyp eine Verzerrung mit sich bringt. (...)

Niemand glaubt aber bei einer Online-Studie, dass es um einen realen Schüler geht. Damit werden auch weniger unbewusste Stereotype ausgelöst also vielmehr bewusstes Antworten im Rahmen einer Studie.

Ich finde es schade, dass deine betreuenden Dozenten dich scheinbar nicht auf diese Problematik hingewiesen haben. Andererseits kann das ja jetzt auch eine Chance sein, um kritisch zu hinterfragen, was du hättest anders anlegen müssen, um aussagekräftige Ergebnisse zu erhalten, die nicht bereits infolge des Studienaufbaus verzerrt werden.