Jüngste Erkenntnisse aus Wirtschaft und Psychologie unterstreichen die Bedeutung anderer Merkmale als der allgemeinen Intelligenz für den Erfolg in Schule und Leben. Unterschiede bei den sogenannten „nicht-kognitiven Fähigkeiten“ scheinen zur akademischen Leistungslücke beizutragen, die reiche von armen Studenten trennt. Nicht-kognitive Fähigkeiten können auch formbarer und somit interventionsfähiger sein als kognitive Fähigkeiten, insbesondere über das Säuglingsalter und die frühe Kindheit hinaus. Verständlicherweise ist das Interesse der Bevölkerung an der Messung und Entwicklung der nichtkognitiven Fähigkeiten der Schüler gestiegen.

Da Praxis und Politik jedoch voranschreiten, steckt die Forschung zu nicht-kognitiven Fähigkeiten noch in den Kinderschuhen. Es gibt wenig Übereinstimmung darüber, welche Fähigkeiten am wichtigsten sind, ihre Stabilität innerhalb desselben Individuums in verschiedenen Kontexten und, vielleicht am grundlegendsten, wie sie zuverlässig gemessen werden können. Während Leistungstests, die beurteilen, wie gut Kinder lesen, schreiben und chiffrieren können, weit verbreitet sind, werden nicht-kognitive Fähigkeiten in der Regel anhand von Fragebögen zum Selbstbericht und seltener anhand von Fragebögen zum Lehrerbericht bewertet. Wie Leistungstests haben Fragebögen den Vorteil einer schnellen, kostengünstigen und einfachen Verwaltung. Und im Gegensatz zu Verhaltens-Proxies, die verwendet werden könnten, um die allgemeine Stärke des Charakters eines Schülers zu messen, können Fragebögen erstellt werden, um spezifischere Merkmale zu erfassen, die für die Entwicklung gezielt sind.

Eine offensichtliche Einschränkung von Fragebögen besteht darin, dass sie gefälscht und damit sozial erwünscht sind. Bei der Überlegung, ob ein Punkt wie „Ich bin ein harter Arbeiter“ mit „sehr ähnlich wie ich“ gekennzeichnet werden sollte, neigt ein Kind (oder sein Lehrer oder Elternteil) möglicherweise dazu, eine höhere Bewertung zu wählen, um für sich selbst oder für andere attraktiver zu erscheinen. In dem Maße, in dem die soziale Erwünschtheit innerhalb einer untersuchten Gruppe einheitlich ist, Es wird einzelne Antworten aufblasen, aber nicht ihre Rangfolge ändern. Wenn einige Personen jedoch stärker auf sozialen Druck reagieren als andere, könnte sich ihre Platzierung innerhalb der Gesamtverteilung der Antworten ändern.Möglicherweise problematischer ist die Referenzverzerrung, die auftritt, wenn Umfrageantworten durch unterschiedliche Vergleichsstandards beeinflusst werden. Ein Kind, das entscheidet, ob es ein harter Arbeiter ist, muss sich ein geistiges Bild von harter Arbeit machen, mit dem es seine eigenen Gewohnheiten vergleichen kann. Ein Kind mit hohen Standards könnte einen harten Arbeiter als jemanden betrachten, der alle seine Hausaufgaben gut vor dem Schlafengehen macht und darüber hinaus alle seine Notizen aus dem Unterricht des Tages organisiert und überprüft. Ein anderes Kind könnte einen harten Arbeiter als jemanden betrachten, der seine Aufgaben nach Hause bringt und versucht, sie zu erledigen, auch wenn die meisten von ihnen am nächsten Morgen unvollendet bleiben.Um das Potenzial für Referenzverzerrungen bei selbstberichteten Messungen nicht-kognitiver Fähigkeiten zu veranschaulichen, stütze ich mich auf Querschnittsdaten einer Stichprobe von Bostoner Studenten, die kürzlich in einem Arbeitspapier ausführlich diskutiert wurden. Kollegen von Harvard, MIT und der University of Pennsylvania und ich verwendeten Selbstberichterhebungen, um Informationen über nicht-kognitive Fähigkeiten von mehr als 1.300 Schülern der achten Klasse in 32 öffentlichen Schulen der Stadt zu sammeln, und verknüpften diese Informationen mit Verwaltungsdaten über das Verhalten und die Testergebnisse der Schüler. Zu den nicht-kognitiven Fähigkeiten, die wir gemessen haben, gehören Gewissenhaftigkeit, Selbstbeherrschung und Grit – ein Begriff, der von unserer Mitarbeiterin Angela Duckworth geprägt wurde, um die Tendenz der Schüler zu erfassen, das Interesse an langfristigen Zielen aufrechtzuerhalten. Wichtig ist, dass die Schulen, die von Schülern in unserer Stichprobe besucht werden, sowohl öffentliche Schulen mit offener Einschreibung, die vom örtlichen Schulbezirk betrieben werden, als auch fünf überzeichnete Charterschulen umfassen, von denen gezeigt wurde, dass sie große, positive Auswirkungen auf die Schülerleistungen haben, gemessen an staatlichen Mathe- und Englisch-Sprachtests. Diese Charterschulen haben eine „No Excuses“ -Orientierung und einen expliziten Fokus auf die Kultivierung nicht-kognitiver Fähigkeiten als Mittel zur Förderung akademischer Leistungen und postsekundärer Erfolge.Unsere Ergebnisse bestätigen, dass die von uns durchgeführten Umfragen Unterschiede in nicht-kognitiven Fähigkeiten erfassen, die mit wichtigen Verhaltens- und akademischen Ergebnissen zusammenhängen. Die Abbildungen 1a, 1b und 1c vergleichen die durchschnittliche Anzahl der Abwesenheiten, den Anteil der suspendierten Schüler und die durchschnittlichen Testergebnisse zwischen der vierten und achten Klasse der Schüler, die bei jeder Fertigkeit im unteren und oberen Quartil rangierten. Es zeigt, beispielsweise, dass Studenten, die sich in Bezug auf die Selbstkontrolle im unteren Quartil bewerteten, abwesend waren 2.9 mehr Tage als Schüler im obersten Quartil, und waren fast dreimal so häufig suspendiert worden wie Achtklässler; Ähnliche Unterschiede in Abwesenheiten und Suspendierungsraten sind für Gewissenhaftigkeit und Körnung offensichtlich. Darüber hinaus belaufen sich die Unterschiede in den Testpunktzahlen zwischen Schülern des unteren und oberen Quartils für jede nicht-kognitive Fähigkeit auf fast ein ganzes Jahr Lernen in Mathematik in den Mittelschuljahren.

Abbildung 1a. Durchschnittliche Abwesenheitstage nach nicht-kognitivem Fähigkeitsquartil

Abbildung 1b. Prozent suspendiert nach nicht-kognitivem Fähigkeitsquartil

Abbildung 1c. Math Test-Score Gewinne zwischen der 4. und 8. Klasse, von nicht-kognitiven Fähigkeiten Quartil

Hinweis: * zeigt an, dass der Unterschied zwischen Bottom- und Top-Quartil Studenten statistisch signifikant auf dem 95-Prozent-Konfidenzniveau ist.Paradoxerweise lösen sich jedoch die positiven Beziehungen zwischen diesen selbstberichteten Maßen nicht-kognitiver Fähigkeiten und dem Wachstum akademischer Leistungen auf, wenn die Maßen auf Schulebene aggregiert werden. Mit anderen Worten, Schulen, in denen der durchschnittliche Schüler ein höheres Maß an Gewissenhaftigkeit, Selbstbeherrschung und Grit meldet, weisen keine höheren Testergebnisse auf als andere Schulen. Tatsächlich scheinen die Schüler an diesen Schulen etwas weniger zu lernen.

Dieses Paradoxon wird am deutlichsten, wenn man Schüler vergleicht, die Charterschulen „ohne Ausreden“ besuchen, und diejenigen, die Distriktschulen mit offener Einschreibung besuchen. Obwohl sie weitaus größere Testergebnisse erzielen als Schüler, die Distriktschulen mit offener Einschreibung besuchen, und trotz der Betonung, die ihre Schulen auf die Kultivierung nicht kognitiver Fähigkeiten legen, weisen Charterschüler ein deutlich niedrigeres durchschnittliches Maß an Selbstkontrolle auf, gemessen an den Selbstberichten der Schüler (siehe Abbildung 2). Dieser statistisch signifikante Unterschied von -0,23 Standardabweichungen ist in die entgegengesetzte Richtung der erwarteten, basierend auf den Beziehungen auf Schülerebene zwischen Selbstkontrolle und Test-Score-Gewinnen, die oben angezeigt wurden. Die durchschnittlichen Unterschiede zwischen den Charter- und Distriktstudenten in Gewissenhaftigkeit und Körnung, obwohl statistisch unbedeutend, laufen in die gleiche kontraintuitive Richtung.

Abbildung 2. Durchschnittliche Mathe-Test-Score-Gewinne und „nicht-kognitive Fähigkeiten“, nach Schultyp

Hinweis: * zeigt an, dass der Unterschied zwischen Distrikt- und Charterschulen bei einem Konfidenzniveau von 95 Prozent statistisch signifikant ist.

Zwei konkurrierende Hypothesen könnten dieses Paradoxon erklären. Zum einen sind die Maßnahmen genau und die Charterschulen schwächen trotz ihres Erfolgs bei der Erhöhung der Testergebnisse und im Gegensatz zu ihren pädagogischen Zielen die nichtkognitiven Fähigkeiten der Schüler in entscheidenden Dimensionen wie Gewissenhaftigkeit, Selbstbeherrschung und Mut. Die alternative und aus meiner Sicht plausiblere Hypothese ist, dass die Maßnahmen aufgrund von Referenzverzerrungen irreführend sind, die sich aus Unterschieden im Schulklima zwischen Distrikt- und Charterschulen ergeben. Abbildung 3 bestätigt, dass sich das akademische und disziplinäre Klima der Charterschulen in unserer Stichprobe, wie von ihren Schülern wahrgenommen, tatsächlich von dem der offenen Bezirksschulen unterscheidet. Charter-Studenten bewerten die Strenge der Lehrer, die Klarheit der Regeln und die von ihnen erwartete Arbeitsmoral wesentlich höher als Schüler in Bezirksschulen. Beispielsweise übertreffen die Erwartungen der Charter-Schüler an das Verhalten der Schüler die ihrer Distriktkollegen um 0,57 auf der für diese Elemente verwendeten 5-Punkte-Skala. Studenten, die Charterschulen besuchen, berichten auch von wesentlich geringeren negativen Peer-Effekten und einem moderat niedrigeren Schüler-Input in ihren Schulen. Natürlich stammen diese Daten auch aus Selbstberichterhebungen und können selbst Referenzverzerrungen unterliegen. Nichtsdestotrotz schlagen sie vor, dass sich das akademische und disziplinäre Klima der Charterschulen in einer Weise unterscheidet, die ihre Schüler dazu bringen könnte, eine höhere Messlatte bei der Beurteilung ihrer Gewissenhaftigkeit, Selbstbeherrschung und ihres Grit zu setzen.

Abbildung 3. Akademisches und disziplinäres Klima, wie es von Schülern nach Schultyp wahrgenommen wird

Hinweis: * gibt an, dass der Unterschied zwischen Distrikt- und Charterschulen statistisch signifikant ist, wenn das Konfidenzniveau bei 95 Prozent liegt.Andere neuere Studien von „no Excuses“ Charter Schools verstärken die Plausibilität der Referenz-Bias-Hypothese. Eine Mathematica-Auswertung von KIPP Middle Schools aus dem Jahr 2013 zeigt beispielsweise große positive Auswirkungen auf die Testergebnisse der Schüler und die für Hausaufgaben aufgewendete Zeit, jedoch keine Auswirkungen auf die von den Schülern gemeldeten Maßnahmen zur Selbstkontrolle und Beharrlichkeit in der Schule. In ähnlicher Weise finden Will Dobbie und Roland Fryer, dass die Teilnahme an der Harlem Promise Academy die von Studenten gemeldete Grit reduzierte, obwohl sie positive Auswirkungen auf Testergebnisse und College-Einschreibung und negative Auswirkungen auf Teenager-Schwangerschaft (für Frauen) und Inhaftierung (für Männer) hatte. Diese parallelen Beweise aus der Forschung in ähnlichen Umgebungen bestätigen, dass Referenzverzerrungen aufgrund von Unterschieden im Schulklima die wahrscheinlichste Erklärung für diese paradoxen Ergebnisse sind. Wenn die offensichtlichen negativen Auswirkungen des Besuchs einer „No Excuses“ -Charterschule auf Gewissenhaftigkeit, Selbstkontrolle und Grit tatsächlich eine Referenzverzerrung widerspiegeln, dann zeigen unsere Daten, dass diese Schulen die Standards beeinflussen, an die sich die Schüler halten, wenn sie ihre eigenen nicht-kognitiven Fähigkeiten bewerten. Die Konsequenzen dieser Verschiebung normativer Standards für ihr tatsächliches Verhalten innerhalb und außerhalb der Schule sind natürlich unbekannt – und verdienen weitere Untersuchungen. Ebenso wichtig ist, dass die bestehenden umfragebasierten Messungen nicht-kognitiver Fähigkeiten, obwohl sie vielleicht nützlich sind, um Vergleiche zwischen Schülern innerhalb desselben Bildungsumfelds anzustellen, unzureichend sind, um die Wirksamkeit von Schulen, Lehrern oder Interventionen bei der Förderung der Entwicklung dieser Fähigkeiten zu messen. Bewertungen der Auswirkungen von Lehrer-, Schul- und Familieneinflüssen auf die Entwicklung nicht-kognitiver Fähigkeiten können zu falschen Schlussfolgerungen führen, wenn die verwendeten Bewertungen durch unterschiedliche Referenzrahmen verzerrt sind. In der Eile, nicht-kognitive Fähigkeiten als das fehlende Stück in der amerikanischen Bildung zu umarmen, können die politischen Entscheidungsträger die Grenzen der bestehenden Maßnahmen übersehen. Es ist daher wichtig, dass Forscher und Pädagogen, die die nicht-kognitiven Fähigkeiten der Schüler verbessern möchten, alternative Maßnahmen entwickeln, die in einem breiten Spektrum von Schulumgebungen gültig sind. In der Zwischenzeit sollten sich die politischen Entscheidungsträger gegen Vorschläge wehren, umfragebasierte Messungen nicht-kognitiver Fähigkeiten in Rechenschaftspflichtsysteme mit hohem Einsatz zu integrieren.