Limitările măsurilor de auto-raportare a abilităților non-cognitive

dovezile recente din economie și psihologie evidențiază importanța altor trăsături decât inteligența generală pentru succesul în școală și în viață. Disparitățile în așa-numitele „abilități non-cognitive” par să contribuie la decalajul de realizare academică care separă elevii bogați de cei săraci. Abilitățile non-cognitive pot fi, de asemenea, mai maleabile și astfel pot fi supuse intervenției decât capacitatea cognitivă, în special dincolo de copilărie și de copilăria timpurie. În mod evident, interesul popular pentru măsurarea și dezvoltarea abilităților non-cognitive ale elevilor a crescut.cu toate acestea, pe măsură ce practica și Politica avansează, cercetările privind abilitățile non-cognitive rămân în fază incipientă. Există un acord redus cu privire la abilitățile care sunt cele mai importante, stabilitatea lor în cadrul aceluiași individ în contexte diferite și, poate cel mai fundamental, modul în care acestea pot fi măsurate în mod fiabil. În timp ce testele de realizare care evaluează cât de bine pot citi, scrie și cifra copiii sunt disponibile pe scară largă, abilitățile non-cognitive sunt de obicei evaluate folosind auto-raportare și, mai rar, chestionare de raport profesor. La fel ca testele de realizare, chestionarele au avantajul unei administrări rapide, ieftine și ușoare. Și spre deosebire de proxy-urile comportamentale care ar putea fi folosite pentru a evalua puterea generală a caracterului unui student, chestionarele pot fi create pentru a capta trăsături mai specifice care trebuie vizate pentru dezvoltare.

o limitare evidentă a chestionarelor este că acestea sunt supuse falsificării și, prin urmare, prejudecății de dezirabilitate socială. Când se analizează dacă un element precum „sunt muncitor” ar trebui să fie marcat „foarte asemănător cu mine”, un copil (sau profesorul sau părintele său) poate fi înclinat să aleagă un rating mai mare pentru a părea mai atractiv pentru sine sau pentru alții. În măsura în care tendința de dezirabilitate socială este uniformă în cadrul unui grup studiat, aceasta va umfla răspunsurile individuale, dar nu le va modifica ordinea de rang. Cu toate acestea, dacă unii indivizi răspund mai mult la presiunea socială decât alții, plasarea lor în distribuția generală a răspunsurilor s-ar putea schimba.

posibil mai supărătoare este prejudecata de referință, care apare atunci când răspunsurile sondajului sunt influențate de standarde diferite de comparație. Un copil care decide dacă este muncitor trebuie să-și creeze o imagine mentală a muncii grele cu care să-și poată compara propriile obiceiuri. Un copil cu standarde ridicate ar putea considera un muncitor greu să fie cineva care își face toate temele bine înainte de culcare și, în plus, organizează și revizuiește toate notele sale de la orele zilei. Un alt copil ar putea considera că un muncitor greu este cineva care își aduce acasă sarcinile și încearcă să le îndeplinească, chiar dacă majoritatea rămân neterminate a doua zi dimineață.

pentru a ilustra potențialul de părtinire de referință în măsurile auto-raportate ale abilităților non-cognitive, mă bazez pe date transversale dintr-un eșantion de studenți din Boston discutate în detaliu într-un document de lucru recent. Colegii de la Harvard, MIT și Universitatea din Pennsylvania și cu mine am folosit sondaje de auto-raportare pentru a aduna informații despre abilitățile non-cognitive de la mai mult de 1.300 de elevi din clasa a opta din 32 de școli publice ale orașului și am legat aceste informații de datele administrative privind comportamentul elevilor și scorurile testelor. Abilitățile non-cognitive pe care le-am măsurat includ conștiinciozitatea, autocontrolul și curajul – un termen inventat de colaboratoarea noastră Angela Duckworth pentru a surprinde tendința elevilor de a susține interesul și efortul pentru obiectivele pe termen lung.

important, școlile la care au participat elevii din eșantionul nostru includ atât școlile publice cu înscriere deschisă operate de districtul școlar local, cât și cinci școli charter supra-abonate, care s-au dovedit a avea un impact mare și pozitiv asupra realizării elevilor, măsurat prin teste de matematică de stat și Arte de limbă engleză. Aceste școli charter au o orientare „fără scuze” și un accent explicit pe cultivarea abilităților non-cognitive ca mijloc de promovare a realizării academice și a succesului post-secundar.

rezultatele noastre confirmă faptul că sondajele pe care le-am administrat surprind diferențe în abilitățile non-cognitive care sunt legate de rezultate comportamentale și academice importante. Figurile 1a, 1b și 1C compară numărul mediu de absențe, ponderea studenților care au fost suspendați și câștigurile medii ale scorului testului între clasele a patra și a opta ale elevilor care s-au clasat în partea de jos și de sus pe fiecare abilitate. Acesta arată, de exemplu, că studenții care s-au evaluat în quartila inferioară în ceea ce privește autocontrolul au fost absenți 2.Cu 9 zile mai mult decât elevii din quartila superioară și au fost de aproape trei ori mai susceptibili să fi fost suspendați decât elevii de clasa a opta; diferențe similare în absențe și rate de suspendare sunt evidente pentru conștiinciozitate și pietriș. În plus, diferențele în câștigurile de scor de testare între elevii de jos și cei de sus pe fiecare abilitate non-cognitivă se ridică la aproape un an întreg de învățare în matematică în anii de școală medie.

figura 1a. numărul mediu de zile absente, în funcție de quartila de abilități non-cognitive

figura 1b. procentul suspendat, în funcție de quartila de abilități non-cognitive

figura 1C. Math test-Scor câștiguri între clasa a 4-a și a 8 – a, de calificare non-cognitive quartile

NOTĂ: * indică faptul că diferența dintre elevii de jos și de sus-quartile este semnificativ statistic la nivelul de încredere de 95 la sută.

paradoxal, însă, relațiile pozitive dintre aceste măsuri auto-raportate ale abilităților non-cognitive și creșterea realizării academice se disipează atunci când măsurile sunt agregate la nivelul școlii. Cu alte cuvinte, școlile în care elevul mediu raportează niveluri mai ridicate de conștiinciozitate, autocontrol și curaj nu prezintă câștiguri mai mari la scor decât alte școli. De fapt, elevii din aceste școli par să învețe un pic mai puțin.

acest paradox este cel mai viu atunci când se compară elevii care frecventează școlile charter „fără scuze” și cei care frecventează școlile raionale cu înscriere deschisă. În ciuda câștigurilor mult mai mari ale scorului de testare decât studenții care frecventează școlile raionale cu înscriere deschisă și în ciuda accentului pe care școlile lor îl pun pe cultivarea abilităților non-cognitive, elevii școlii charter prezintă niveluri medii semnificativ mai mici de autocontrol, măsurate prin auto-rapoartele elevilor (vezi Figura 2). Această diferență semnificativă statistic de -0,23 deviații standard este în direcția opusă celei așteptate, pe baza relațiilor la nivel de elev dintre auto-control și câștigurile de scor la test afișate mai sus. Diferențele medii dintre studenții charter și district în conștiinciozitate și pietriș, deși nesemnificative statistic, se desfășoară în aceeași direcție contra-intuitivă.

Figura 2. Câștigurile medii la testele de matematică și „abilitățile non-cognitive”, în funcție de tipul de școală

NOTĂ: * indică faptul că diferența dintre școlile districtuale și cele charter este semnificativă statistic la nivelul de încredere de 95%.

două ipoteze concurente ar putea explica acest paradox. Una este că măsurile sunt corecte, iar școlile charter, în ciuda succesului lor în creșterea scorurilor la teste și contrar obiectivelor lor pedagogice, slăbesc abilitățile non-cognitive ale elevilor de-a lungul unor dimensiuni cruciale, cum ar fi conștiinciozitatea, autocontrolul și curajul.

ipoteza alternativă și, în opinia mea, mai plauzibilă este că măsurile sunt înșelătoare din cauza prejudecăților de referință care decurg din diferențele de climat școlar dintre școlile raionale și școlile charter. Figura 3 confirmă faptul că climatele academice și disciplinare ale școlilor charter din eșantionul nostru, așa cum sunt percepute de elevii lor, diferă de fapt de cele ale școlilor raionale cu înscriere deschisă. Elevii Charter evaluează strictețea profesorilor, claritatea regulilor și etica muncii așteptate de la ei substanțial mai mare decât elevii din școlile raionale. De exemplu, evaluările studenților charter ale așteptărilor pentru comportamentul elevilor le depășesc pe cele ale omologilor lor de district cu 0,57 pe scara de 5 puncte utilizată pentru aceste articole. Elevii care frecventează școlile charter raportează, de asemenea, niveluri substanțial mai scăzute de efecte negative de la egal la egal și niveluri modest mai scăzute de intrare a elevilor în școlile lor. Desigur, aceste date provin și din sondaje de auto-raportare și pot fi ele însele supuse părtinirii de referință. Cu toate acestea, ei sugerează că climatul academic și disciplinar al școlilor charter diferă în moduri care i-ar putea determina pe elevii lor să stabilească un bar mai înalt atunci când își evaluează conștiinciozitatea, autocontrolul și curajul.

Figura 3. Climatul Academic și disciplinar perceput de elevi, în funcție de tipul școlii

NOTĂ: * indică faptul că diferența dintre școlile raionale și cele charter este semnificativă statistic la nivelul de încredere de 95%.

alte studii recente ale școlilor charter „fără scuze” întăresc plauzibilitatea ipotezei prejudecății de referință. De exemplu, o evaluare Mathematica din 2013 a școlilor medii KIPP găsește efecte pozitive mari asupra scorurilor testelor elevilor și a timpului petrecut la teme, dar nu are efecte asupra măsurilor de autocontrol și persistență raportate de elevi în școală. În mod similar, will Dobbie și Roland Fryer constată că participarea la Harlem Promise Academy a redus gradul raportat de studenți, în ciuda faptului că a avut efecte pozitive asupra scorurilor testelor și înscrierii la facultate și efecte negative asupra sarcinii adolescente (pentru femei) și încarcerarea (pentru bărbați). Aceste dovezi paralele din cercetări în situații similare confirmă faptul că prejudecățile de referință care decurg din diferențele în climatul școlar sunt explicația cea mai probabilă pentru aceste descoperiri paradoxale.

dacă efectele negative aparente ale participării la o școală charter „fără scuze” asupra conștiinciozității, autocontrolului și gritului reflectă de fapt prejudecățile de referință, atunci ceea ce arată datele noastre este că aceste școli influențează standardele la care se mențin elevii atunci când își evaluează propriile abilități non-cognitive. Consecințele acestei schimbări a standardelor normative pentru comportamentul lor real, atât în interiorul, cât și în afara școlii, sunt desigur necunoscute – și merită cercetări suplimentare. la fel de important, se pare că măsurile existente bazate pe sondaje ale abilităților non-cognitive, deși poate utile pentru a face comparații între elevii din același mediu educațional, sunt inadecvate pentru a evalua eficacitatea școlilor, profesorilor sau intervențiilor în cultivarea dezvoltării acestor abilități. Evaluările efectelor influențelor profesorului, școlii și familiei asupra dezvoltării abilităților non-cognitive ar putea duce la concluzii false dacă evaluările utilizate sunt părtinitoare de cadre de referință distincte.

în graba de a îmbrățișa abilitățile non-cognitive ca piesă lipsă în educația Americană, factorii de decizie politică pot trece cu vederea limitările măsurilor existente. Prin urmare, este esențial ca cercetătorii și educatorii care doresc să îmbunătățească abilitățile non-cognitive ale elevilor să dezvolte măsuri alternative care sunt valabile într-o gamă largă de setări școlare. Între timp, factorii de decizie politică ar trebui să se opună propunerilor de a încorpora măsuri bazate pe sondaje ale abilităților non-cognitive în sistemele de responsabilitate cu miză mare.

pentru a măsura câștigurile la testul de matematică, am regresat scorurile testelor de clasa a 8-a pe un polinom cubic de scoruri de clasa a 4-a atât în artele de matematică, cât și în limba engleză și am folosit reziduurile din această regresie ca măsură a performanței elevilor în raport cu așteptările bazate pe realizările lor înainte de a intra în școala medie.

estimările impactului participării la o școală charter bazată pe loterii de admitere confirmă faptul că aceste modele nu se datorează selecției elevilor cu abilități non-cognitive slabe în școlile charter; mai degrabă, participarea în fiecare an la o cartă are un impact negativ semnificativ statistic asupra conștiinței auto-raportate, autocontrolului și gritului.

imprimare

Lasă un răspuns

Adresa ta de email nu va fi publicată.