As limitações das medidas de auto-relato de habilidades não cognitivas

evidência recente da economia e psicologia destaca a importância de traços que não a inteligência geral para o sucesso na escola e na vida. As disparidades nas chamadas “competências não cognitivas” parecem contribuir para a diferença de desempenho académico que separa os estudantes ricos dos pobres. As competências não cognitivas podem também ser mais maleáveis e, portanto, passíveis de intervenção do que a capacidade cognitiva, particularmente para além da infância e da primeira infância. Compreensivelmente, o interesse popular em medir e desenvolver as habilidades não cognitivas dos alunos aumentou.no entanto, a investigação sobre as competências não cognitivas permanece na sua infância. Há pouco consenso sobre quais as competências mais importantes, a sua estabilidade dentro do mesmo indivíduo em diferentes contextos e, talvez mais fundamentalmente, sobre a forma como podem ser avaliadas de forma fiável. Enquanto os testes de desempenho que avaliam como as crianças podem ler, escrever e cifrar são amplamente disponíveis, as habilidades não cognitivas são geralmente avaliadas usando auto-relatório e, menos frequentemente, questionários de relatório de professores. Como os testes de realização, os questionários têm a vantagem de uma administração rápida, barata e fácil. E ao contrário de proxies comportamentais que podem ser usados para medir a força geral do caráter de um estudante, questionários podem ser criados para capturar traços mais específicos a serem direcionados para o desenvolvimento.

uma limitação óbvia dos questionários é que eles estão sujeitos a fingir, e, portanto, a viés de conveniência social. Ao considerar se um item como ” eu sou um trabalhador duro “deve ser marcado” muito parecido comigo”, uma criança (ou seu professor ou pai) pode estar inclinado a escolher uma classificação mais elevada, a fim de parecer mais atraente para si mesma ou para os outros. Na medida em que o viés social desejável é uniforme dentro de um grupo em estudo, ele vai inflacionar as respostas individuais, mas não alterar a sua ordem de classificação. Se alguns indivíduos responderem mais à pressão social do que outros, entretanto, sua colocação dentro da distribuição global das respostas poderia mudar.

possivelmente mais problemático é o viés de referência, que ocorre quando as respostas de pesquisa são influenciadas por diferentes padrões de comparação. Uma criança que decida se é trabalhadora deve evocar uma imagem mental de trabalho duro com a qual possa comparar seus próprios hábitos. Uma criança com altos padrões pode considerar um trabalhador duro para ser alguém que faz todos os seus trabalhos de casa bem antes de Dormir e, além disso, organiza e analisa todas as suas notas das aulas do dia. Outra criança pode considerar um trabalhador duro para ser alguém que traz para casa suas tarefas e tentativas de completá-los, mesmo se a maioria deles permanecem inacabados na manhã seguinte.

para ilustrar o potencial de viés de referência em medidas auto-relatadas de habilidades não cognitivas, recorro a dados transversais de uma amostra de estudantes de Boston discutidos em detalhe num recente trabalho. Colegas de Harvard, MIT, e da Universidade da Pensilvânia e eu usamos pesquisas de auto-relatório para coletar informações sobre habilidades não cognitivas de mais de 1.300 alunos do oitavo ano em 32 das escolas públicas da cidade, e conectou essa informação a dados administrativos sobre o comportamento dos alunos e resultados de testes. As habilidades não cognitivas que medimos incluem consciência, autocontrolo, e coragem – um termo cunhado por nossa colaboradora Angela Duckworth para capturar a tendência dos alunos para manter o interesse e esforço em metas de longo prazo.

mportante, as escolas atendidas por alunos em nossa amostra incluem tanto escolas públicas de inscrição aberta operado pelo distrito escolar local e cinco escolas charter sobre-subscritas que têm mostrado ter grandes impactos positivos na realização do estudante, como medido por matemática do estado e testes de artes de língua inglesa. Estas escolas charter têm uma orientação “sem desculpas” e um foco explícito no cultivo de habilidades não cognitivas como um meio de promover a realização acadêmica e sucesso pós-secundário.os nossos resultados confirmam que as pesquisas que administrámos captam diferenças nas competências não cognitivas relacionadas com resultados comportamentais e académicos importantes. As figuras 1a, 1b, e 1c comparam o número médio de ausências, a proporção de estudantes que foram suspensos, e os ganhos médios de teste entre o quarto e oitavo ano de estudantes que classificaram no quarto inferior e no quarto superior em cada habilidade. Mostra, por exemplo, que os estudantes que se classificaram no quarto inferior em relação ao auto-controle estavam ausentes 2.9 mais dias do que os estudantes do quarto superior, e eram quase três vezes mais propensos a serem suspensos do que os alunos do oitavo ano; diferenças semelhantes nas ausências e taxas de suspensão são evidentes para a consciência e a coragem. Além disso, as diferenças na pontuação de teste ganhos entre os alunos de baixo e de cima-quartil em cada habilidade não cognitiva equivalem a quase um ano inteiro de aprendizagem em matemática ao longo dos anos do ensino médio.média de dias de ausência, por quartil de habilidade não cognitiva, por quartil de habilidade não cognitiva, por quartil de habilidade Não cognitiva, por percentagem suspensa, por quartil de habilidade não cognitiva, por quartil de habilidade não cognitiva, por figura 1c. NOTA: * indica que a diferença entre os alunos dos quartéis inferior e superior é estatisticamente significativa no nível de confiança de 95%.paradoxalmente, porém, as relações positivas entre estas medidas auto-relatadas de competências não cognitivas e o crescimento na realização académica dissipam-se quando as medidas são agregadas ao nível da escola. Em outras palavras, as escolas nas quais o estudante médio relata níveis mais elevados de consciência, autocontrole, e grit não exibem ganhos de teste mais elevados do que as outras escolas. Na verdade, os alunos destas escolas parecem aprender um pouco menos.

este paradoxo é mais vívido ao comparar alunos que frequentam escolas charter “sem desculpas” e aqueles que frequentam escolas distritais de inscrição aberta. Apesar de ganharem muito mais do que os estudantes que frequentam escolas distritais de inscrição aberta, e apesar da ênfase que as suas escolas colocam no cultivo de habilidades não cognitivas, os alunos das escolas charter exibem níveis médios marcadamente mais baixos de auto-controle, como medido pelos auto-relatórios dos estudantes (ver Figura 2). Esta diferença estatisticamente significativa de -0,23 desvios padrão está na direção oposta à esperada, com base nas relações de nível estudantil entre os ganhos de auto-controle e pontuação de teste mostrados acima. As diferenças médias entre a carta e os estudantes distritais em consciência e coragem, embora estatisticamente insignificantes, funcionam na mesma direção contra-intuitiva.

Figura 2. NOTA: * indica que a diferença entre as escolas distritais e charter é estatisticamente significativa no nível de confiança de 95 por cento.duas hipóteses concorrentes poderiam explicar este paradoxo. Uma delas é que as medidas são precisas e as escolas charter, apesar de seu sucesso em elevar os resultados dos testes, e ao contrário de seus objetivos pedagógicos, enfraquecem as habilidades não cognitivas dos alunos ao longo de dimensões cruciais, como a consciência, auto-controle e coragem.

a hipótese alternativa e, em minha opinião, mais plausível é que as medidas são enganosas devido ao viés de referência decorrente das diferenças no clima escolar entre as escolas distritais e charter. A figura 3 confirma que os climas acadêmicos e disciplinares das escolas charter em nossa amostra, como percebido por seus alunos, de fato diferem dos das escolas distritais de inscrição aberta. Os estudantes Charter classificam o rigor dos professores, a clareza das regras, e a ética de trabalho esperado deles substancialmente maior do que os estudantes nas escolas distritais. Por exemplo, a Classificação dos estudantes charter de expectativas para o comportamento dos estudantes supera as de seus homólogos distritais em 0,57 na escala de 5 pontos usada para estes itens. Os estudantes que frequentam escolas charter também relatam níveis substancialmente inferiores de efeitos negativos pelos pares e níveis modestamente inferiores de entrada de estudantes nas suas escolas. É claro que estes dados também vêm de pesquisas auto-relatadas e podem eles mesmos ser sujeitos a viés de referência. No entanto, eles sugerem que os climas acadêmicos e disciplinares das escolas charter diferem em maneiras que poderiam levar seus alunos a estabelecer uma barra superior ao avaliar a sua consciência, auto-controle, e coragem.

Figura 3. Climas acadêmicos e disciplinares como percebido pelos alunos, por tipo de escola

NOTA: * indica que a diferença entre o distrito e escolas charter é estatisticamente significativa no nível de confiança de 95 por cento.

outros estudos recentes de” sem desculpas ” escolas charter reforçam a plausibilidade da hipótese do viés de referência. Por exemplo, uma avaliação do Mathematica 2013 das escolas secundárias do KIPP encontra grandes efeitos positivos nas pontuações dos testes dos alunos e no tempo gasto em trabalhos de casa, mas nenhum efeito nas medidas relatadas pelos alunos de auto-controle e persistência na escola. Da mesma forma, Dobbie e Roland Fryer descobrem que freqüentar a Harlem Promise Academy reduziu a coragem relatada pelos Estudantes, apesar de ter efeitos positivos nos resultados dos testes e na matrícula da faculdade, e efeitos negativos na gravidez na adolescência (para as mulheres) e encarceramento (para os homens). Esta evidência paralela de pesquisas em ambientes semelhantes confirma que o viés de referência decorrente de diferenças no clima escolar é a explicação mais provável para estes achados paradoxais. se os efeitos negativos aparentes de frequentar uma escola” sem desculpas ” sobre consciência, autocontrolo e coragem refletem de fato viés de referência, então o que nossos dados mostram é que essas escolas influenciam os padrões a que os alunos se sustentam ao avaliar suas próprias habilidades não cognitivas. As consequências desta mudança nos padrões normativos para o seu comportamento real, tanto dentro como fora da escola, são naturalmente desconhecidas – e merecem mais investigação. como é importante, parece que as medidas existentes baseadas em inquéritos de competências não cognitivas, embora talvez úteis para fazer comparações entre os alunos dentro do mesmo ambiente educacional, são inadequadas para avaliar a eficácia das escolas, professores ou intervenções no cultivo do desenvolvimento dessas competências. As avaliações dos efeitos das influências do professor, da escola e da família no desenvolvimento das competências não cognitivas podem levar a conclusões falsas se as avaliações utilizadas forem tendenciosas por quadros de referência distintos. na corrida para abraçar as competências não cognitivas como a peça em falta na educação americana, os decisores políticos podem ignorar as limitações das medidas existentes. Por conseguinte, é essencial que os investigadores e educadores que procuram melhorar as competências não cognitivas dos alunos desenvolvam medidas alternativas válidas numa vasta gama de contextos escolares. Entretanto, os decisores políticos devem resistir a propostas para incorporar medidas baseadas em inquéritos de competências não cognitivas em sistemas de prestação de contas de alto risco.

Para medir a prova de matemática-pontuação ganhos, nós regrediu a 8ª série do pontuações do teste em um polinômio cúbico de 4ª série pontuações, tanto de matemática e língua inglesa e utilizados os resíduos desta regressão como uma medida de desempenho dos alunos em relação às expectativas com base na sua realização antes de entrar no ensino médio.

estimativas do impacto de frequentar uma escola charter com base em lotarias de admissão confirmam que estes padrões não se devem à selecção de alunos com fracas competências não cognitivas para escolas charter; em vez disso, a presença de cada ano em uma carta tem um impacto negativo estatisticamente significativo sobre a auto-consciência relatada, auto-controle, e coragem.

Imprimir

Deixe uma resposta

O seu endereço de email não será publicado.