senaste bevis från ekonomi och psykologi belyser vikten av andra egenskaper än allmän intelligens för framgång i skolan och i livet. Skillnader i så kallade ”icke-kognitiva färdigheter” verkar bidra till det akademiska prestationsgapet som skiljer rika från fattiga studenter. Icke-kognitiva färdigheter kan också vara mer formbara och därmed mottagliga för intervention än kognitiv förmåga, särskilt bortom spädbarn och tidig barndom. Förståeligt nog har det populära intresset för att mäta och utveckla elevernas icke-kognitiva färdigheter ökat.

som praxis och politik ras framåt, men forskning om icke-kognitiva färdigheter förblir i sin linda. Det finns liten överenskommelse om vilka färdigheter som är viktigast, deras stabilitet inom samma individ i olika sammanhang och, kanske mest grundläggande, hur de kan mätas på ett tillförlitligt sätt. Medan prestationstester som bedömer hur väl barn kan läsa, skriva och chiffer är allmänt tillgängliga, bedöms icke-kognitiva färdigheter vanligtvis med hjälp av självrapport och, mindre ofta, lärar-rapport frågeformulär. Liksom prestationstester har frågeformulär fördelen av snabb, billig och enkel administration. Och till skillnad från beteendeproxyservrar som kan användas för att mäta den totala styrkan hos en elevs karaktär, kan frågeformulär skapas för att fånga mer specifika egenskaper som ska riktas mot utveckling.

en uppenbar begränsning av frågeformulär är att de är föremål för faking, och därför till social önskvärdhet bias. När man överväger om ett objekt som” jag är en hård arbetare ”ska märkas” väldigt mycket som jag”, kan ett barn (eller hennes lärare eller förälder) vara benägen att välja ett högre betyg för att bli mer attraktivt för sig själv eller för andra. I den utsträckning som social önskvärdhet bias är enhetlig inom en grupp som studeras, det kommer att blåsa upp individuella svar men inte ändra deras rangordning. Om vissa individer svarar mer på socialt tryck än andra, i alla fall, deras placering inom den totala fördelningen av svar kan förändras.

möjligen mer besvärande är referens bias, som uppstår när enkätsvar påverkas av olika standarder för jämförelse. Ett barn som bestämmer om hon är en hård arbetare måste framkalla en mental bild av hårt arbete som hon kan jämföra sina egna vanor med. Ett barn med hög standard kan överväga en hård arbetare att vara någon som gör alla sina läxor långt före sänggåendet och dessutom organiserar och granskar alla sina anteckningar från dagens klasser. Ett annat barn kan betrakta en hård arbetare som någon som tar hem sina uppdrag och försöker slutföra dem, även om de flesta av dem förblir oavslutade nästa morgon.

för att illustrera potentialen för referensförskjutning i självrapporterade mått på icke-kognitiva färdigheter, drar jag på tvärsnittsdata från ett urval av Boston-studenter som diskuteras i detalj i ett nytt arbetsdokument. Kollegor från Harvard, MIT och University of Pennsylvania och jag använde självrapporteringsundersökningar för att samla information om icke-kognitiva färdigheter från mer än 1300 åttonde klassstudenter över 32 av stadens offentliga skolor och kopplade denna information till administrativa uppgifter om elevernas beteende och testresultat. De icke-kognitiva färdigheterna vi mätte inkluderar samvetsgrannhet, självkontroll och grit-en term som myntades av vår samarbetspartner Angela Duckworth för att fånga elevernas tendens att upprätthålla intresse för och ansträngning mot långsiktiga mål.

det är viktigt att de skolor som eleverna deltar i vårt urval inkluderar både offentliga skolor med öppen registrering som drivs av det lokala skolområdet och fem övertecknade charterskolor som har visat sig ha stora positiva effekter på elevernas prestationer mätt med statliga matematik-och engelskspråkiga tester. Dessa charterskolor har en” inga ursäkter ” -orientering och ett uttryckligt fokus på att odla icke-kognitiva färdigheter som ett sätt att främja akademisk prestation och eftergymnasial framgång.

våra resultat bekräftar att de undersökningar vi administrerade fångar skillnader i icke-kognitiva färdigheter som är relaterade till viktiga beteendemässiga och akademiska resultat. Figurerna 1a, 1b och 1C jämför det genomsnittliga antalet frånvaro, andelen studenter som avbröts och de genomsnittliga testpoängvinsterna mellan fjärde och åttonde klass av studenter som rankades i botten-och toppkvartilen på varje färdighet. Det visar till exempel att studenter som betygsatte sig i bottenkvartilen med avseende på självkontroll var frånvarande 2.9 fler dagar än studenter i toppkvartilen, och var nästan tre gånger så troliga att de hade avbrutits som åttonde klassare; liknande skillnader i frånvaro och upphängningshastigheter är uppenbara för samvetsgrannhet och grus. För övrigt, skillnaderna i test-poäng vinster mellan botten-och topp-kvartil studenter på varje icke-kognitiv färdighet uppgår till nästan ett helt år till ett värde av lärande i matematik under mellanstadiet år.

Figur 1a. genomsnittliga dagar frånvarande, av icke-kognitiv skicklighet kvartil

Figur 1b. procent suspenderad, av icke-kognitiv skicklighet kvartil

figur 1C. Math test-poäng vinster mellan 4: e och 8: e klass, av icke-kognitiv skicklighet kvartil

OBS: * indikerar att skillnaden mellan botten-och toppkvartilstudenter är statistiskt signifikant vid 95 procent konfidensnivå.paradoxalt nog försvinner emellertid de positiva relationerna mellan dessa självrapporterade mått på icke-kognitiva färdigheter och tillväxt i akademisk prestation när åtgärderna aggregeras till skolnivå. Med andra ord, skolor där den genomsnittliga studenten rapporterar högre nivåer av samvetsgrannhet, självkontroll och grit uppvisar inte högre testresultat än andra skolor. Faktum är att elever i dessa skolor verkar lära sig lite mindre.

denna paradox är mest levande när man jämför elever som går på ”inga ursäkter” charterskolor och de som går på öppna skolor. Trots att de gör mycket större test-poängvinster än studenter som går på öppna skolor, och trots att deras skolor lägger tonvikten på att odla icke-kognitiva färdigheter, uppvisar charterskolelever markant lägre genomsnittliga nivåer av självkontroll mätt med studentens självrapporter (se Figur 2). Denna statistiskt signifikanta skillnad på -0.23 standardavvikelser ligger i motsatt riktning av det förväntade, baserat på studentnivåförhållandena mellan självkontroll och test-poängvinster som visas ovan. De genomsnittliga skillnaderna mellan charter-och distriktsstudenterna i samvetsgrannhet och grus, även om de är statistiskt obetydliga, går i samma kontraintuitiva riktning.

Figur 2. Genomsnittliga matteprov-poängvinster och ”icke-kognitiva färdigheter” efter skoltyp

OBS: * indikerar att skillnaden mellan distrikts-och charterskolor är statistiskt signifikant vid 95 procent konfidensnivå.

två konkurrerande hypoteser kan förklara denna paradox. En är att åtgärderna är korrekta och charterskolorna, trots deras framgång med att höja testresultat, och i motsats till deras pedagogiska mål, försvagar elevernas icke-kognitiva färdigheter längs viktiga dimensioner som samvetsgrannhet, självkontroll och grit.

alternativet och, enligt min åsikt, mer trovärdig hypotes är att åtgärderna är vilseledande på grund av referensförspänning som härrör från skillnader i skolklimat mellan distrikts-och charterskolor. Figur 3 bekräftar att de akademiska och disciplinära klimat charter skolor i vårt urval, som uppfattas av sina elever, gör i själva verket skiljer sig från de öppna inskrivning distrikts skolor. Charterstudenter betygsätter lärarens stränghet, tydligheten i reglerna och den arbetsetik som förväntas av dem väsentligt högre än elever i distriktsskolor. Till exempel överstiger charterstudenternas betyg av förväntningar på studentbeteende de hos deras distrikts motsvarigheter med 0,57 på den 5-punkts skala som används för dessa objekt. Studenter som går på charterskolor rapporterar också väsentligt lägre nivåer av negativa peer-effekter och blygsamt lägre nivåer av studentinsatser i sina skolor. Naturligtvis kommer dessa data också från självrapporteringsundersökningar och kan själva bli föremål för referensförspänning. Ändå föreslår de att de akademiska och disciplinära klimaten i charterskolorna skiljer sig åt på sätt som kan leda sina elever att sätta en högre bar när de bedömer deras samvetsgrannhet, självkontroll och grit.

Figur 3. Akademiska och disciplinära klimat som uppfattas av studenter, efter skoltyp

OBS: * indikerar att skillnaden mellan distrikts-och charterskolor är statistiskt signifikant vid 95 procent konfidensnivå.

andra nya studier av” inga ursäkter ” charterskolor förstärker rimligheten i referensbiashypotesen. Till exempel finner en 2013 Mathematica utvärdering av Kipp middle schools stora positiva effekter på studentprovresultat och tid på läxor, men inga effekter på studentrapporterade mått på självkontroll och uthållighet i skolan. På samma sätt kommer Dobbie och Roland Fryer att finna att delta i Harlem Promise Academy minskade studentrapporterade grit, trots att de har positiva effekter på testresultat och högskoleregistrering och negativa effekter på tonårsgraviditet (för kvinnor) och fängelse (för män). Detta parallella bevis från forskning i liknande inställningar bekräftar att referensförskjutning som härrör från skillnader i skolklimat är den mest troliga förklaringen till dessa paradoxala resultat.

om de uppenbara negativa effekterna av att delta i en” inga ursäkter ” charterskola på samvetsgrannhet, självkontroll och grit faktiskt återspeglar referensförskjutning, så visar våra data att dessa skolor påverkar de standarder som eleverna håller sig vid utvärdering av sina egna icke-kognitiva färdigheter. Konsekvenserna av denna förändring i normativa standarder för deras faktiska beteende både inom och utanför skolan är naturligtvis okända – och förtjänar ytterligare forskning.

som viktigt verkar det som om befintliga undersökningsbaserade mått på icke-kognitiva färdigheter, även om de kanske är användbara för att göra jämförelser mellan studenter inom samma utbildningsmiljö, är otillräckliga för att mäta effektiviteten hos skolor, lärare eller insatser för att odla utvecklingen av dessa färdigheter. Utvärderingar av effekterna av lärare, skola och familj påverkan på utvecklingen av icke-kognitiva färdigheter kan leda till falska slutsatser om de bedömningar som används är partiska av olika referensramar.

i brådskan att omfamna icke-kognitiva färdigheter som den saknade delen i amerikansk utbildning kan beslutsfattare förbise begränsningarna av befintliga åtgärder. Det är därför viktigt att forskare och lärare som vill förbättra elevernas icke-kognitiva färdigheter utvecklar alternativa åtgärder som är giltiga inom ett brett spektrum av skolmiljöer. Under tiden bör policymakers motstå förslag om att införliva undersökningsbaserade åtgärder av icke-kognitiva färdigheter i system för ansvarsskyldighet med höga insatser.