Evidencia reciente de economía y psicología destaca la importancia de rasgos distintos de la inteligencia general para el éxito en la escuela y en la vida. Las disparidades en las llamadas «habilidades no cognitivas» parecen contribuir a la brecha de rendimiento académico que separa a los estudiantes ricos de los pobres. Las habilidades no cognitivas también pueden ser más maleables y, por lo tanto, susceptibles de intervención que la capacidad cognitiva, particularmente más allá de la infancia y la primera infancia. Comprensiblemente, el interés popular en medir y desarrollar las habilidades no cognitivas de los estudiantes ha aumentado.

A medida que la práctica y la política avanzan, sin embargo, la investigación sobre las habilidades no cognitivas sigue en su infancia. Hay poco acuerdo sobre qué habilidades son más importantes, su estabilidad dentro de la misma persona en diferentes contextos y, quizás lo más fundamental, cómo se pueden medir de manera confiable. Mientras que las pruebas de rendimiento que evalúan lo bien que los niños pueden leer, escribir y cifrar están ampliamente disponibles, las habilidades no cognitivas generalmente se evalúan utilizando cuestionarios de autoinforme y, con menos frecuencia, de informes de maestros. Al igual que las pruebas de rendimiento, los cuestionarios tienen la ventaja de una administración rápida, barata y fácil. Y, a diferencia de los proxies conductuales que se pueden usar para medir la fuerza general del carácter de un estudiante, los cuestionarios se pueden elaborar para capturar rasgos más específicos para el desarrollo.

Una limitación obvia de los cuestionarios es que están sujetos a falsedades y, por lo tanto, a sesgos de deseabilidad social. Al considerar si un elemento como » Soy un trabajador duro «debe marcarse como» muy parecido a mí», un niño (o su maestro o padre) puede inclinarse a elegir una calificación más alta para parecer más atractivo para sí mismo o para los demás. En la medida en que el sesgo de deseabilidad social sea uniforme dentro de un grupo bajo estudio, inflará las respuestas individuales pero no alterará su orden de rango. Sin embargo, si algunos individuos responden más a la presión social que otros, su ubicación dentro de la distribución general de respuestas podría cambiar.

Posiblemente más problemático es el sesgo de referencia, que ocurre cuando las respuestas de la encuesta están influenciadas por diferentes estándares de comparación. Un niño que decide si es un trabajador duro debe evocar una imagen mental del trabajo duro con la que pueda comparar sus propios hábitos. Un niño con estándares altos podría considerar que un trabajador es alguien que hace toda su tarea mucho antes de acostarse y, además, organiza y revisa todas sus notas de las clases del día. Otro niño podría considerar que un trabajador duro es alguien que lleva a casa sus tareas e intenta completarlas, incluso si la mayoría de ellas permanecen sin terminar a la mañana siguiente.

Para ilustrar el potencial de sesgo de referencia en las medidas autoinformadas de habilidades no cognitivas, me baso en datos transversales de una muestra de estudiantes de Boston discutidos en detalle en un documento de trabajo reciente. Colegas de Harvard, MIT y la Universidad de Pensilvania y yo utilizamos encuestas de autoinforme para recopilar información sobre habilidades no cognitivas de más de 1,300 estudiantes de octavo grado en 32 escuelas públicas de la ciudad, y vinculamos esta información con datos administrativos sobre el comportamiento de los estudiantes y los resultados de las pruebas. Las habilidades no cognitivas que medimos incluyen conciencia, autocontrol y determinación, un término acuñado por nuestra colaboradora Angela Duckworth para capturar la tendencia de los estudiantes a mantener el interés y el esfuerzo hacia las metas a largo plazo.

Es importante destacar que las escuelas a las que asisten los estudiantes de nuestra muestra incluyen tanto escuelas públicas de inscripción abierta operadas por el distrito escolar local como cinco escuelas chárter con sobre-suscripción que han demostrado tener un gran impacto positivo en el rendimiento estudiantil, medido por las pruebas estatales de matemáticas y artes lingüísticas en inglés. Estas escuelas chárter tienen una orientación de «sin excusas» y un enfoque explícito en cultivar habilidades no cognitivas como un medio para promover el logro académico y el éxito postsecundario.

Nuestros resultados confirman que las encuestas que administramos capturan diferencias en las habilidades no cognitivas que están relacionadas con resultados académicos y de comportamiento importantes. Las figuras 1a, 1b y 1c comparan el número promedio de ausencias, la proporción de estudiantes que fueron suspendidos y el promedio de ganancias en los exámenes entre el cuarto y octavo grado de los estudiantes que se clasificaron en el cuartil inferior y superior en cada habilidad. Muestra, por ejemplo, que los estudiantes que se calificaron a sí mismos en el cuartil inferior con respecto al autocontrol estaban ausentes 2.9 días más que los estudiantes en el cuartil superior, y tenían casi tres veces más probabilidades de haber sido suspendidos que los estudiantes de octavo grado; diferencias similares en las ausencias y las tasas de suspensión son evidentes para la conciencia y el coraje. Además, las diferencias en las ganancias de las calificaciones de los exámenes entre los estudiantes del cuartil inferior y superior en cada habilidad no cognitiva equivalen a casi un año completo de aprendizaje en matemáticas durante los años de escuela intermedia.

Figura 1a. Días promedio de ausencia, por cuartil de habilidad no cognitiva

Figura 1b. Porcentaje suspendido, por cuartil de habilidad no cognitiva

Figura 1c. Ganancias de puntaje en exámenes de matemáticas entre 4to y 8to grado, por cuartil de habilidades no cognitivas

Nota: * indica que la diferencia entre los estudiantes del cuartil inferior y superior es estadísticamente significativa en el nivel de confianza del 95 por ciento.Sin embargo, paradójicamente, las relaciones positivas entre estas medidas autoinformadas de habilidades no cognitivas y el crecimiento en el rendimiento académico se disipan cuando las medidas se agregan al nivel escolar. En otras palabras, las escuelas en las que el estudiante promedio reporta niveles más altos de conciencia, autocontrol y determinación no exhiben mayores ganancias en los exámenes que otras escuelas. De hecho, los estudiantes de estas escuelas parecen aprender un poco menos.

Esta paradoja es más vívida cuando se compara a los estudiantes que asisten a escuelas chárter «sin excusas» y aquellos que asisten a escuelas de distrito de inscripción abierta. A pesar de obtener mayores ganancias en los exámenes que los estudiantes que asisten a escuelas de distrito de inscripción abierta, y a pesar del énfasis que sus escuelas ponen en cultivar habilidades no cognitivas, los estudiantes de escuelas chárter exhiben niveles promedio de autocontrol marcadamente más bajos, medidos por los autoinformes de los estudiantes (vea la Figura 2). Esta diferencia estadísticamente significativa de -0,23 desviaciones estándar está en la dirección opuesta a la esperada, basada en las relaciones a nivel de estudiante entre el autocontrol y las ganancias en los resultados de las pruebas mostradas anteriormente. Las diferencias promedio entre los estudiantes de la carta y del distrito en conciencia y determinación, aunque estadísticamente insignificantes, van en la misma dirección contraria a la intuición.

Figura 2. Ganancias promedio de calificaciones en exámenes de matemáticas y» habilidades no cognitivas», por tipo de escuela

Nota: * indica que la diferencia entre las escuelas del distrito y las escuelas chárter es estadísticamente significativa en el nivel de confianza del 95 por ciento.

Dos hipótesis contrapuestas podrían explicar esta paradoja. Una es que las medidas son precisas y las escuelas chárter, a pesar de su éxito en elevar los puntajes de los exámenes, y contrariamente a sus objetivos pedagógicos, debilitan las habilidades no cognitivas de los estudiantes a lo largo de dimensiones cruciales como la conciencia, el autocontrol y el coraje.

La hipótesis alternativa y, en mi opinión, más plausible es que las medidas son engañosas debido al sesgo de referencia derivado de las diferencias en el clima escolar entre las escuelas del distrito y las escuelas chárter. La Figura 3 confirma que los climas académicos y disciplinarios de las escuelas chárter de nuestra muestra, tal como los perciben sus estudiantes, de hecho difieren de los de las escuelas del distrito de inscripción abierta. Los estudiantes chárter califican el rigor del maestro, la claridad de las reglas y la ética de trabajo que se espera de ellos sustancialmente más alto que los estudiantes en las escuelas del distrito. Por ejemplo, las calificaciones de las expectativas de comportamiento de los estudiantes chárter superan las de sus contrapartes del distrito en 0.57 en la escala de 5 puntos utilizada para estos elementos. Los estudiantes que asisten a escuelas chárter también reportan niveles sustancialmente más bajos de efectos negativos entre compañeros y niveles modestamente más bajos de participación de los estudiantes en sus escuelas. Por supuesto, estos datos también provienen de encuestas de autoinforme y pueden estar sujetos a sesgos de referencia. Sin embargo, sugieren que los climas académicos y disciplinarios de las escuelas chárter difieren en formas que podrían llevar a sus estudiantes a establecer un nivel más alto al evaluar su conciencia, autocontrol y determinación.

Figura 3. Climas académicos y disciplinarios percibidos por los estudiantes, por tipo de escuela

Nota: * indica que la diferencia entre las escuelas del distrito y las escuelas chárter es estadísticamente significativa en el nivel de confianza del 95 por ciento.

Otros estudios recientes de escuelas chárter» sin excusas » refuerzan la verosimilitud de la hipótesis de sesgo de referencia. Por ejemplo, una evaluación de Mathematica de 2013 de escuelas secundarias KIPP encuentra grandes efectos positivos en los puntajes de los exámenes de los estudiantes y en el tiempo dedicado a la tarea, pero no en las medidas de autocontrol y persistencia reportadas por los estudiantes en la escuela. De manera similar, Will Dobbie y Roland Fryer encuentran que asistir a la Academia Harlem Promise redujo el valor reportado por los estudiantes, a pesar de tener efectos positivos en los resultados de los exámenes y la matrícula universitaria, y efectos negativos en el embarazo adolescente (para las mujeres) y el encarcelamiento (para los hombres). Esta evidencia paralela de la investigación en entornos similares confirma que el sesgo de referencia derivado de las diferencias en el clima escolar es la explicación más probable para estos hallazgos paradójicos.

Si los efectos negativos aparentes de asistir a una escuela chárter «sin excusas» sobre la conciencia, el autocontrol y la determinación reflejan, de hecho, un sesgo de referencia, entonces lo que muestran nuestros datos es que estas escuelas influyen en los estándares a los que se sujetan los estudiantes al evaluar sus propias habilidades no cognitivas. Por supuesto, se desconocen las consecuencias de este cambio en los estándares normativos para su comportamiento real, tanto dentro como fuera de la escuela, y merecen una mayor investigación.

Igualmente importante, parece que las medidas existentes basadas en encuestas de habilidades no cognitivas, aunque quizás sean útiles para hacer comparaciones entre estudiantes dentro del mismo entorno educativo, son inadecuadas para medir la eficacia de las escuelas, los maestros o las intervenciones para cultivar el desarrollo de esas habilidades. Las evaluaciones de los efectos de las influencias del maestro, la escuela y la familia en el desarrollo de habilidades no cognitivas podrían llevar a conclusiones falsas si las evaluaciones utilizadas están sesgadas por marcos de referencia distintos.

En la prisa por adoptar las habilidades no cognitivas como la pieza faltante en la educación estadounidense, los legisladores pueden pasar por alto las limitaciones de las medidas existentes. Por lo tanto, es esencial que los investigadores y educadores que buscan mejorar las habilidades no cognitivas de los estudiantes desarrollen medidas alternativas que sean válidas en una amplia gama de entornos escolares. Mientras tanto, los responsables de la formulación de políticas deberían resistirse a las propuestas de incorporar mediciones basadas en encuestas de las habilidades no cognitivas en los sistemas de rendición de cuentas de alto riesgo.