The Limitations of Self-Report Measures of Non-cognitive Skills

taloustieteen ja psykologian viimeaikaiset todisteet korostavat muiden ominaisuuksien kuin yleisen älykkyyden merkitystä koulussa ja elämässä menestymiselle. Erot niin sanotuissa” ei-kognitiivisissa taidoissa ” näyttävät osaltaan aiheuttavan rikkaiden ja köyhien opiskelijoiden välistä akateemista saavutuskuilua. Ei-kognitiiviset taidot voivat myös olla muokattavampia ja siten mukautuvampia kuin kognitiiviset kyvyt, erityisesti varhaislapsuuden ja varhaislapsuuden ulkopuolella. Kansalaisten kiinnostus oppilaiden ei-kognitiivisten taitojen mittaamiseen ja kehittämiseen on ymmärrettävästi lisääntynyt.

käytännön ja politiikan kilpajuoksun edetessä ei-kognitiivisten taitojen tutkimus on kuitenkin vielä lapsenkengissään. On vain vähän yksimielisyyttä siitä, mitkä taidot ovat tärkeimpiä, niiden pysyvyys saman yksilön sisällä eri yhteyksissä ja ehkä olennaisinta se, miten niitä voidaan luotettavasti mitata. Siinä missä saavutustestejä, joissa arvioidaan, miten hyvin lapset osaavat lukea, kirjoittaa ja salata, on laajalti saatavilla, ei-kognitiivisia taitoja arvioidaan tyypillisesti omailmoituskyselyillä ja harvemmin opettaja-report-kyselyillä. Kuten saavutustesteissä, kyselylomakkeiden etuna on nopea, halpa ja helppo hallinto. Ja toisin kuin käyttäytymiseen välityspalvelimia, joita voidaan käyttää mittaamaan yleistä vahvuus opiskelijan luonnetta, kyselylomakkeet voidaan muotoillun kaapata erityispiirteitä kohdennetaan kehittämiseen.

yksi ilmeinen kyselylomakkeiden rajoitus on se, että ne ovat alttiita väärennöksille ja siten sosiaaliselle toivottavuusharhalle. Harkitessaan, pitäisikö esimerkiksi ” Olen ahkera työntekijä ”merkitä” hyvin paljon minun kaltaiseni”, lapsi (tai hänen opettajansa tai vanhempansa) saattaa olla taipuvainen valitsemaan korkeamman arvosanan näyttääkseen viehättävämmältä itselleen tai toisille. Siinä määrin kuin sosiaalinen toiveaistimus on yhtenäinen tutkittavan ryhmän sisällä, se paisuttaa yksittäisiä vastauksia, mutta ei muuta niiden arvojärjestystä. Jos jotkut yksilöt reagoivat enemmän sosiaaliseen paineeseen kuin toiset, heidän sijoituksensa vasteiden kokonaisjakaumassa voi kuitenkin muuttua.

mahdollisesti hankalampi on vertailuharha, joka syntyy, kun erilaiset vertailustandardit vaikuttavat kyselyvastauksiin. Lapsen, joka päättää, onko hän ahkera työntekijä, täytyy luoda mielikuva kovasta työstä, johon hän voi verrata omia tapojaan. Lapsi, jolla on korkeat normit, voisi pitää ahkerana työntekijänä sellaista, joka tekee kaikki läksynsä hyvissä ajoin ennen nukkumaanmenoa ja lisäksi järjestää ja käy läpi kaikki päivän tunneilta tulleet muistiinpanonsa. Joku toinen lapsi voisi pitää kovaa työtä tekevää ihmisenä, joka tuo työtehtävänsä kotiin ja yrittää suorittaa ne loppuun, vaikka suurin osa niistä jäisi seuraavana aamuna kesken.

havainnollistaakseni viittausharhojen mahdollisuutta itse ilmoitetuissa ei-kognitiivisten taitojen mittauksissa, hyödynnän Poikkileikkaustietoja bostonilaisten opiskelijoiden otoksesta, jota käsiteltiin yksityiskohtaisesti tuoreessa työpaperissa. Kollegani Harvardista, MIT: stä ja Pennsylvanian yliopistosta ja minä käytimme self-report-tutkimuksia kerätäksemme tietoa ei-kognitiivisista taidoista yli 1300: lta kahdeksannen luokan oppilaalta 32: ssa kaupungin julkisessa koulussa, ja yhdistimme nämä tiedot hallinnollisiin tietoihin oppilaiden käyttäytymisestä ja testituloksista. Mitattuihin ei-kognitiivisiin taitoihin kuuluvat tunnollisuus, itsehillintä ja sora – termi, jonka yhteistyökumppanimme Angela Duckworth keksi kuvaamaan opiskelijoiden taipumusta ylläpitää kiinnostusta ja pyrkimystä kohti pitkän aikavälin tavoitteita.

tärkeää on, että otoksessamme opiskelijoidemme kouluihin kuuluu sekä paikallisen koulupiirin ylläpitämiä avoimen ilmoittautumisen julkisia kouluja että viisi ylitilattua charter-koulua, joilla on osoitettu olevan suuria, positiivisia vaikutuksia oppilassaavutukseen mitattuna valtion matematiikan ja englannin kielen taidetesteillä. Nämä charter kouluissa on ”ei tekosyitä” suuntautuminen ja nimenomaisesti keskittyä viljelemään ei-kognitiivisia taitoja keinona edistää akateemisia saavutuksia ja jälkeisen menestyksen.

tuloksemme vahvistavat, että tutkimuksissamme havaitaan eroja ei-kognitiivisissa taidoissa, jotka liittyvät tärkeisiin käyttäytymiseen ja akateemisiin tuloksiin. Kuvioissa 1a, 1b ja 1c verrataan poissaolojen keskiarvoa, keskeytettyjen opiskelijoiden osuutta ja kunkin taidon ala-ja yläkvartiiliin sijoittuneiden opiskelijoiden keskimääräisiä testituloksia neljännen ja kahdeksannen luokan välillä. Se osoittaa esimerkiksi, että opiskelijat, jotka arvioivat itsensä alakvartiiliin itsehillinnän suhteen, puuttuivat 2.9 enemmän päivää kuin opiskelijat yläkvartiilissa, ja olivat lähes kolme kertaa todennäköisemmin keskeytetty kuin kahdeksasluokkalaiset; samanlaisia eroja poissaolojen ja keskeyttäminen hinnat ovat ilmeisiä tunnollisuus ja soraa. Lisäksi erot koepisteissä ala – ja yläkvartiiliopiskelijoiden välillä kussakin ei-kognitiivisessa taidossa ovat lähes koko vuoden mittaiset matematiikan opiskelut yläkouluvuosina.

kuva 1a. poissaolopäivien keskiarvo ei-kognitiivisen taidon kvartiilin mukaan

kuva 1b. keskeytetty prosenttiosuus ei-kognitiivisen taidon kvartiilin mukaan

kuva 1c. Math test-score voitot välillä 4. ja 8. Luokka, by non-cognitive skill quartiil

Huomautus: * osoittaa, että ero ala – ja yläkvartiiliopiskelijoiden välillä on tilastollisesti merkitsevä 95 prosentin luottamustasolla.

paradoksaalisesti näiden itse ilmoitettujen ei-kognitiivisten taitojen mittareiden ja koulumenestyksen kasvun väliset positiiviset suhteet kuitenkin hälvenevät, kun mittarit yhdistetään koulun tasolle. Toisin sanoen ne koulut, joissa keskivertoopiskelija ilmoittaa omantuntonsa, itsehillintänsä ja sisunsa olevan korkeammalla tasolla, eivät tuota suurempia pistemääriä kuin muut koulut. Itse asiassa näiden koulujen oppilaat näyttävät oppivan hieman vähemmän.

tämä paradoksi on selvin verrattaessa ”no excuses”-charter-kouluja käyviä ja avoimen ilmoittautumisen piirikouluja käyviä. Huolimatta tehdä paljon suurempi testi-pisteet voitot kuin opiskelijat osallistuvat avoimen ilmoittautuminen piirin kouluissa, ja huolimatta painotetaan niiden kouluissa viljellä ei-kognitiivisia taitoja, charter koulun opiskelijat näytteille selvästi alhaisempi keskimääräinen taso itsehillinnän mitattuna opiskelijan itse-raportit (KS.kuva 2). Tämä tilastollisesti merkitsevä ero, -0,23 keskihajonta, on päinvastaiseen suuntaan kuin odotettiin, perustuen edellä esitettyihin itsekontrollin ja koepistevoittojen välisiin opiskelijatason suhteisiin. Keskimääräiset erot peruskirjan ja piirin opiskelijoiden tunnollisuudessa ja sorassa, vaikkakin tilastollisesti merkityksettömiä, kulkevat samaan vastavaikutteiseen suuntaan.

kuva 2. Keskimääräiset matematiikan koevoitot ja” ei-kognitiiviset taidot ” koulutyypeittäin

Huomautus: * osoittaa, että ero piiri-ja charter-koulujen välillä on tilastollisesti merkittävä 95 prosentin luottamustasolla.

kaksi kilpailevaa hypoteesia voisi selittää tämän paradoksin. Yksi on se, että toimenpiteet ovat tarkkoja ja charter-koulut, huolimatta menestyksestään koepisteiden nostamisessa ja vastoin pedagogisia tavoitteitaan, heikentävät oppilaiden ei-kognitiivisia taitoja tärkeillä ulottuvuuksilla, kuten tunnollisuudella, itsehillinnällä ja sisulla.

Vaihtoehtoinen ja mielestäni uskottavampi hypoteesi on, että toimenpiteet ovat harhaanjohtavia, koska viitekehys on seurausta piirikoulujen ja charter-koulujen välisistä kouluilmaston eroista. Kuva 3 vahvistaa, että akateeminen ja kurinpidollinen ilmasto charter koulujen meidän otoksessa, sellaisena kuin se nähdään niiden opiskelijoiden, itse asiassa eroavat avoimen ilmoittautuminen piirin kouluissa. Charter opiskelijat arvostella opettaja tiukkuutta, selkeyttä sääntöjä, ja työmoraali odotetaan niistä huomattavasti korkeampi kuin opiskelijat piirin kouluissa. Esimerkiksi charter opiskelijoiden luokitukset odotukset opiskelijoiden käyttäytymistä ylittää niiden piirin kollegansa 0,57 on 5-pisteasteikolla käytetään näitä kohteita. Charter-kouluja käyvät opiskelijat raportoivat myös huomattavasti pienemmistä kielteisistä vertaisvaikutuksista ja vaatimattomasti alhaisemmista oppilaspanostasoista kouluissaan. Nämä tiedot ovat tietenkin peräisin myös omailmoituskyselyistä, ja ne saattavat itsessään olla viitekehyksen alaisia. He kuitenkin ehdottavat, että charter-koulujen akateeminen ja kurinpidollinen ilmapiiri eroavat toisistaan tavoilla, jotka voisivat saada oppilaat asettamaan korkeamman riman arvioidessaan omantuntonsa, itsehillintänsä ja sisunsa.

kuva 3. Akateeminen ja kurinpidollinen ilmasto opiskelijoiden kokemana, koulutyypeittäin

Huomautus: * osoittaa, että ero piiri-ja charter-koulujen välillä on tilastollisesti merkittävä 95 prosentin luottamustasolla.

muut viimeaikaiset tutkimukset ”no excuses” charter-kouluista vahvistavat referenssiharhahypoteesin uskottavuutta. Esimerkiksi KIPP-yläkoulujen vuoden 2013 Mathematica-arviossa todetaan suuria positiivisia vaikutuksia oppilaiden koetuloksiin ja läksyihin käytettyyn aikaan, mutta ei vaikutuksia oppilaiden ilmoittamiin itsekontrollin ja sinnikkyyden mittoihin koulussa. Samoin, will Dobbie ja Roland Fryer toteavat, että osallistuminen Harlem Promise Academy vähentää opiskelija-raportoitu soraa, vaikka on myönteisiä vaikutuksia testitulokset ja college ilmoittautuminen, ja kielteisiä vaikutuksia teiniraskauden (naisilla) ja vangitseminen (miehillä). Tämä samansuuntainen tutkimusaineisto vastaavassa ympäristössä vahvistaa, että kouluilmaston eroista johtuva vertailuharha on todennäköisin selitys näille paradoksaalisille havainnoille.

Jos ”ei tekosyitä”-charter-kouluun osallistumisen näennäiset kielteiset vaikutukset tunnollisuuteen, itsehillintään ja soraan itse asiassa heijastavat viitekehystä, niin meidän tietomme osoittavat, että nämä koulut vaikuttavat standardeihin, joita oppilaat pitävät itseään arvioidessaan omia ei-kognitiivisia taitojaan. Tämän normatiivisten normien muutoksen seurauksia heidän todelliseen käyttäytymiseensä sekä koulun sisällä että sen ulkopuolella ei tietenkään tunneta – ja ne ansaitsevat lisätutkimusta.

yhtä tärkeää on, että nykyiset kyselyihin perustuvat ei-kognitiivisia taitoja koskevat toimenpiteet, jotka saattavat olla hyödyllisiä vertailtaessa opiskelijoita samassa koulutusympäristössä, eivät riitä arvioimaan koulujen, opettajien tai näiden taitojen kehittämiseen liittyvien interventioiden tehokkuutta. Arvioinnit opettajan, koulun ja perheen vaikutuksesta ei-kognitiivisten taitojen kehittymiseen voivat johtaa vääriin johtopäätöksiin, jos käytetyt arvioinnit ovat yksipuolisia erillisten viitekehysten vuoksi.

kiirehtiessään omaksumaan ei-kognitiiviset taidot puuttuvana palana amerikkalaisessa koulutuksessa päättäjät saattavat sivuuttaa voimassa olevien toimenpiteiden rajoitukset. Siksi on olennaisen tärkeää, että tutkijat ja kasvattajat, jotka pyrkivät parantamaan oppilaiden ei-kognitiivisia taitoja, kehittävät vaihtoehtoisia toimenpiteitä, jotka ovat voimassa monissa kouluympäristöissä. Tällä välin poliittisten päättäjien olisi vastustettava ehdotuksia, joiden mukaan tutkimukseen perustuvat ei-kognitiivisia taitoja koskevat toimenpiteet sisällytetään korkean panoksen vastuujärjestelmiin.

mitataksemme matematiikan koepistevoittoja, taantuimme 8.luokan koepisteiden kuutiollisella polynomilla 4. luokan pisteistä sekä matematiikassa että englanninkielisissä taiteissa ja käytimme tämän regression jäännöksiä oppilaiden suorituksen mittana suhteessa odotuksiin, jotka perustuvat heidän saavutuksiinsa ennen yläasteelle astumista.

arviot charter-kouluun osallistumisen vaikutuksista, jotka perustuvat sisäänottoihin arpajaiset vahvistavat, että nämä kuviot eivät johdu heikkojen ei-kognitiivisten taitojen opiskelijoiden valinnasta charter-kouluihin; sen sijaan jokavuotisella osallistumisella peruskirjaan on tilastollisesti merkitsevä kielteinen vaikutus itse ilmoitettuun tunnollisuuteen, itsehillintään ja sisuun.

Print

Vastaa

Sähköpostiosoitettasi ei julkaista.