recente gegevens uit de economie en de psychologie wijzen op het belang van andere eigenschappen dan algemene intelligentie voor succes op school en in het leven. Verschillen in zogenaamde “niet-cognitieve vaardigheden” lijken bij te dragen aan de academische prestatiekloof tussen rijke en arme studenten. Niet-cognitieve vaardigheden kunnen ook kneedbaarder en dus vatbaar zijn voor interventie dan cognitieve vaardigheden, met name voorbij de kindertijd en vroege kinderjaren. Begrijpelijkerwijs is de belangstelling van de bevolking voor het meten en ontwikkelen van niet-cognitieve vaardigheden van studenten toegenomen.naarmate de praktijk en het beleid vooruitlopen, staat het onderzoek naar niet-cognitieve vaardigheden echter nog in de kinderschoenen. Er is weinig overeenstemming over welke vaardigheden het belangrijkst zijn, over hun stabiliteit binnen hetzelfde individu in verschillende contexten en, misschien het meest fundamenteel, over hoe ze betrouwbaar kunnen worden gemeten. Terwijl prestatietests die beoordelen hoe goed kinderen kunnen lezen, schrijven en versleutelen op grote schaal beschikbaar zijn, worden niet-cognitieve vaardigheden meestal beoordeeld met behulp van zelfrapportage en, minder vaak, leerkrachtrapport vragenlijsten. Net als prestatietests hebben vragenlijsten het voordeel van snel, goedkoop en eenvoudig beheer. En in tegenstelling tot gedragsproxy ‘ s die gebruikt kunnen worden om de algehele sterkte van het karakter van een student te meten, kunnen vragenlijsten worden gemaakt om meer specifieke kenmerken vast te leggen die gericht zijn op ontwikkeling.

een duidelijke beperking van vragenlijsten is dat ze onderhevig zijn aan faken, en dus aan sociale wenselijkheid bias. Bij het overwegen of een item als “ik ben een harde werker” moet worden gemarkeerd “heel veel zoals ik,” een kind (of haar leraar of ouder) kan geneigd zijn om een hogere rating te kiezen om aantrekkelijker te lijken voor zichzelf of voor anderen. In de mate dat de sociale wenselijkheid vooringenomenheid uniform is binnen een groep in studie, zal het individuele reacties opblazen, maar hun rangorde niet veranderen. Als sommige mensen echter meer op sociale druk reageren dan anderen, kan hun plaatsing binnen de algemene verdeling van de reacties veranderen.

mogelijk lastiger is referentie bias, die optreedt wanneer survey reacties worden beïnvloed door verschillende normen van vergelijking. Een kind dat beslist of het een harde werker is, moet een mentaal beeld van hard werken oproepen waarmee ze haar eigen gewoontes kan vergelijken. Een kind met hoge normen zou een harde werker kunnen beschouwen als iemand die al haar huiswerk goed voor het slapen gaan doet en bovendien al haar notities van de lessen van de dag organiseert en beoordeelt. Een ander kind zou een harde werker kunnen beschouwen als iemand die haar opdrachten mee naar huis neemt en probeert ze af te maken, zelfs als de meeste van hen de volgende ochtend onvoltooid blijven.

om het potentieel voor referentiebias in zelfgerapporteerde metingen van niet-cognitieve vaardigheden te illustreren, gebruik ik transversale gegevens van een steekproef van Boston-studenten die in een recent werkdocument uitvoerig zijn besproken. Collega’ s van Harvard, MIT en de Universiteit van Pennsylvania en ik gebruikten zelfrapportage-enquêtes om informatie te verzamelen over niet-cognitieve vaardigheden van meer dan 1.300 leerlingen van de achtste klas in 32 van de openbare scholen van de stad, en koppelden deze informatie aan administratieve gegevens over het gedrag en de testscores van de studenten. De niet-cognitieve vaardigheden die we gemeten hebben, zijn onder meer gewetensvolheid, zelfbeheersing en grit-een term bedacht door onze medewerker Angela Duckworth om de neiging van studenten om interesse in en inspanning in de richting van langetermijndoelen vast te leggen.

belangrijk is dat de scholen die door studenten in onze steekproef worden bezocht, zowel openbare scholen voor open inschrijving die door het lokale schooldistrict worden beheerd als vijf over-geabonneerde charterscholen omvatten, waarvan is aangetoond dat ze grote, positieve effecten hebben op de prestaties van studenten, zoals gemeten door staatsexamens wiskunde en Engelse taalkunsten. Deze charterscholen hebben een” geen excuses ” -oriëntatie en een expliciete focus op het cultiveren van niet-cognitieve vaardigheden als middel om academische prestaties en postsecundair succes te bevorderen.

onze resultaten bevestigen dat de onderzoeken die we hebben uitgevoerd verschillen in niet-cognitieve vaardigheden vastleggen die gerelateerd zijn aan belangrijke gedragsmatige en academische resultaten. Figuren 1a, 1b en 1c vergelijken Het gemiddelde aantal afwezigheden, het aandeel van de studenten die werden geschorst, en de gemiddelde testscore winsten tussen de vierde en achtste klas van de studenten die gerangschikt in de bodem-en top – kwartiel op elke vaardigheid. Het toont bijvoorbeeld aan dat studenten die zichzelf in het onderste kwartiel beoordeelden met betrekking tot zelfbeheersing afwezig waren 2.9 meer dagen dan studenten in het bovenste kwartiel, en waren bijna drie keer zo waarschijnlijk geschorst als de achtste klassers; soortgelijke verschillen in afwezigheid en schorsing tarieven zijn duidelijk voor gewetensvolheid en grit. Bovendien, de verschillen in test-score winsten tussen bottom – en top-quartile studenten op elke niet-cognitieve vaardigheden bedragen bijna een volledig jaar van het leren in wiskunde over de middelbare school jaren.

figuur 1a. gemiddelde afwezigheidsdagen, per niet-cognitief vaardigheidskwartiel

figuur 1b. percentage opgeschort, per niet-cognitief vaardigheidskwartiel

figuur 1c. Wiskunde testscore winsten tussen 4e en 8e klas, door niet-cognitieve vaardigheden kwartiel

opmerking: * geeft aan dat het verschil tussen onderste en bovenste kwartiel studenten statistisch significant is bij het 95 procent betrouwbaarheidsniveau.

paradoxaal genoeg verdwijnen de positieve relaties tussen deze zelf gerapporteerde metingen van niet-cognitieve vaardigheden en groei in academische prestaties wanneer de metingen worden samengevoegd tot het schoolniveau. Met andere woorden, scholen waar de gemiddelde student meldt hogere niveaus van gewetensvolheid, zelfbeheersing, en grit vertonen geen hogere test-score winsten dan andere scholen. In feite lijken de studenten op deze scholen iets minder te leren.

deze paradox is het meest levendig bij het vergelijken van studenten die “geen excuses” charter scholen en degenen die deelnemen aan open-inschrijving district scholen. Ondanks het maken van veel grotere testscore winsten dan studenten die deelnemen aan open-inschrijving district scholen, en ondanks de nadruk die hun scholen leggen op het cultiveren van niet-cognitieve vaardigheden, charter school studenten vertonen aanzienlijk lagere gemiddelde niveaus van zelfbeheersing zoals gemeten door studenten zelf-rapporten (zie Figuur 2). Dit statistisch significante verschil van -0,23 standaardafwijkingen is in de tegenovergestelde richting van de verwachte, gebaseerd op de student-niveau relaties tussen zelfbeheersing en test-score winsten hierboven weergegeven. De gemiddelde verschillen tussen het Handvest en districtsstudenten in gewetensvolheid en grit, hoewel statistisch onbelangrijk, lopen in dezelfde contra-intuïtieve richting.

Figuur 2. Gemiddelde winst op de wiskundetestscore en” niet-cognitieve vaardigheden ” per schooltype

opmerking: * geeft aan dat het verschil tussen districts-en charterscholen statistisch significant is bij een betrouwbaarheidsniveau van 95 procent.

twee concurrerende hypothesen kunnen deze paradox verklaren. Een daarvan is dat de maatregelen accuraat zijn en dat de charterscholen, ondanks hun succes in het verhogen van testscores, en in tegenstelling tot hun pedagogische doelen, de niet-cognitieve vaardigheden van studenten verzwakken langs cruciale dimensies zoals gewetensvolheid, zelfbeheersing en grit.

de alternatieve en naar mijn mening meer plausibele hypothese is dat de maatregelen misleidend zijn als gevolg van referentiebias als gevolg van verschillen in schoolklimaat tussen districts-en charterscholen. Figuur 3 bevestigt dat de academische en disciplinaire klimaat van de charter scholen in onze steekproef, zoals waargenomen door hun studenten, in feite verschillen van die van de open-inschrijving district scholen. Charter studenten beoordelen leraar striktheid, de duidelijkheid van de regels, en de werkethiek verwacht van hen aanzienlijk hoger dan studenten in district scholen. Bijvoorbeeld, charter studenten ‘ ratings van verwachtingen voor student gedrag overtreffen die van hun District tegenhangers met 0,57 op de 5-punts schaal gebruikt voor deze items. Studenten die charterscholen bezoeken melden ook aanzienlijk lagere niveaus van negatieve peer-Effecten en bescheiden lagere niveaus van studenteninput in hun scholen. Natuurlijk komen deze gegevens ook uit zelfrapportageonderzoeken en kunnen zij zelf onderhevig zijn aan referentiebias. Niettemin, ze suggereren dat de academische en disciplinaire klimaat van de charter scholen verschillen in manieren die kunnen leiden tot hun studenten om een hogere lat te leggen bij het beoordelen van hun gewetensvolheid, zelfbeheersing, en grit.

Figuur 3. Academische en disciplinaire klimaten zoals waargenomen door studenten, per schooltype

opmerking: * geeft aan dat het verschil tussen districts-en charterscholen statistisch significant is bij een betrouwbaarheidsniveau van 95 procent.

andere recente studies van” geen excuses ” charterscholen versterken de plausibiliteit van de referentie bias hypothese. Bijvoorbeeld, een Mathematica evaluatie 2013 van Kipp middelbare scholen vindt grote positieve effecten op student testscores en tijd besteed aan huiswerk, maar geen effecten op student-gerapporteerde metingen van zelfbeheersing en volharding op school. Ook zullen Dobbie en Roland Fryer vinden dat het bijwonen van de Harlem Promise Academy verminderde student-gemeld grit, ondanks het hebben van positieve effecten op testscores en college inschrijving, en negatieve effecten op tienerzwangerschap (voor vrouwen) en opsluiting (voor mannen). Dit parallelle bewijs uit onderzoek in vergelijkbare omgevingen bevestigt dat referentiebias die voortvloeien uit verschillen in schoolklimaat de meest waarschijnlijke verklaring is voor deze paradoxale bevindingen.

als de schijnbare negatieve effecten van het bijwonen van een” geen excuses ” charter school op gewetensvolheid, zelfbeheersing en grit in feite een referentievooroordeel weerspiegelen, dan tonen onze gegevens aan dat deze scholen invloed hebben op de normen waaraan leerlingen zich houden bij het evalueren van hun eigen niet-cognitieve vaardigheden. De gevolgen van deze verschuiving in normatieve normen voor hun feitelijke gedrag zowel binnen als buiten de school zijn natuurlijk onbekend – en verdienen verder onderzoek.

even belangrijk blijkt dat bestaande op enquêtes gebaseerde metingen van niet-cognitieve vaardigheden, hoewel misschien nuttig voor het maken van vergelijkingen tussen studenten binnen dezelfde onderwijsomgeving, ontoereikend zijn om de effectiviteit van scholen, leraren of interventies bij het cultiveren van de ontwikkeling van deze vaardigheden te meten. Evaluaties van de effecten van leraar -, school-en gezinsinvloeden op de ontwikkeling van niet-cognitieve vaardigheden kunnen tot verkeerde conclusies leiden als de gebruikte beoordelingen worden beïnvloed door verschillende referentiekaders. in de haast om niet-cognitieve vaardigheden te omarmen als het ontbrekende stuk in het Amerikaanse onderwijs, kunnen beleidsmakers de beperkingen van bestaande maatregelen over het hoofd zien. Het is daarom van essentieel belang dat onderzoekers en opvoeders die de niet-cognitieve vaardigheden van studenten willen verbeteren, alternatieve maatregelen ontwikkelen die geldig zijn in een breed scala van schoolomgevingen. In de tussentijd moeten beleidsmakers zich verzetten tegen voorstellen om op enquêtes gebaseerde metingen van niet-cognitieve vaardigheden op te nemen in systemen met een hoge inzet voor verantwoordingsplicht.