Des données récentes en économie et en psychologie soulignent l’importance des traits autres que l’intelligence générale pour réussir à l’école et dans la vie. Les disparités dans les soi-disant ”compétences non cognitives » semblent contribuer à l’écart de réussite scolaire séparant les élèves riches des élèves pauvres. Les compétences non cognitives peuvent également être plus malléables et donc plus susceptibles d’intervention que les capacités cognitives, en particulier au-delà de la petite enfance et de la petite enfance. Naturellement, l’intérêt populaire pour la mesure et le développement des compétences non cognitives des élèves a augmenté.

Au fur et à mesure que la pratique et les politiques progressent, cependant, la recherche sur les compétences non cognitives n’en est qu’à ses balbutiements. Il y a peu d’accord sur les compétences les plus importantes, leur stabilité au sein d’un même individu dans différents contextes et, peut-être plus fondamentalement, sur la manière dont elles peuvent être mesurées de manière fiable. Alors que les tests de réussite qui évaluent la capacité des enfants à lire, à écrire et à chiffrer sont largement disponibles, les compétences non cognitives sont généralement évaluées à l’aide de questionnaires d’auto-évaluation et, moins fréquemment, de questionnaires de rapport des enseignants. Comme les tests de réussite, les questionnaires ont l’avantage d’une administration rapide, bon marché et facile. Et contrairement aux proxys comportementaux qui pourraient être utilisés pour évaluer la force globale du caractère d’un élève, les questionnaires peuvent être conçus pour capturer des traits plus spécifiques à cibler pour le développement.

Une limitation évidente des questionnaires est qu’ils sont sujets à la contrefaçon et, par conséquent, à un biais de désirabilité sociale. Lorsqu’on considère si un élément tel que « Je suis un travailleur acharné » doit être marqué « très semblable à moi », un enfant (ou son enseignant ou ses parents) peut être enclin à choisir une note plus élevée afin de paraître plus attrayant pour lui-même ou pour les autres. Dans la mesure où le biais de désirabilité sociale est uniforme au sein d’un groupe à l’étude, il gonflera les réponses individuelles mais ne modifiera pas leur ordre de rang. Cependant, si certaines personnes réagissent davantage à la pression sociale que d’autres, leur place dans la distribution globale des réponses pourrait changer.

Le biais de référence, qui se produit lorsque les réponses aux enquêtes sont influencées par des normes de comparaison différentes, est peut-être plus gênant. Un enfant qui décide s’il est un travailleur acharné doit évoquer une image mentale du travail acharné à laquelle il peut comparer ses propres habitudes. Un enfant ayant des normes élevées peut considérer qu’un travailleur acharné est quelqu’un qui fait tous ses devoirs bien avant le coucher et, en outre, organise et examine toutes ses notes des cours de la journée. Un autre enfant pourrait considérer un travailleur acharné comme quelqu’un qui ramène à la maison ses tâches et tente de les terminer, même si la plupart d’entre elles restent inachevées le lendemain matin.

Pour illustrer le potentiel de biais de référence dans les mesures autodéclarées des compétences non cognitives, je m’appuie sur des données transversales d’un échantillon d’étudiants de Boston discutées en détail dans un document de travail récent. Des collègues de Harvard, du MIT et de l’Université de Pennsylvanie et moi-même avons utilisé des enquêtes d’auto-évaluation pour recueillir des informations sur les compétences non cognitives de plus de 1 300 élèves de huitième année dans 32 des écoles publiques de la ville, et avons lié ces informations à des données administratives sur le comportement des élèves et les résultats des tests. Les compétences non cognitives que nous avons mesurées comprennent la conscience, la maîtrise de soi et le courage – un terme inventé par notre collaboratrice Angela Duckworth pour saisir la tendance des élèves à maintenir leur intérêt et leurs efforts pour atteindre des objectifs à long terme.

Il est important de noter que les écoles fréquentées par les élèves de notre échantillon comprennent à la fois des écoles publiques à inscription ouverte gérées par le district scolaire local et cinq écoles à charte surabonnées qui se sont avérées avoir des impacts positifs importants sur le rendement des élèves, mesurés par les tests nationaux de mathématiques et d’arts de la langue anglaise. Ces écoles à charte ont une orientation « sans excuses » et mettent explicitement l’accent sur la culture des compétences non cognitives comme moyen de promouvoir la réussite scolaire et la réussite postsecondaire.

Nos résultats confirment que les enquêtes que nous avons administrées capturent des différences dans les compétences non cognitives qui sont liées à des résultats comportementaux et académiques importants. Les figures 1a, 1b et 1c comparent le nombre moyen d’absences, la part des élèves qui ont été suspendus et les gains moyens au test entre la quatrième et la huitième année des élèves qui se classaient dans le quartile inférieur et supérieur pour chaque compétence. Il montre, par exemple, que les étudiants qui se sont classés dans le quartile inférieur en ce qui concerne la maîtrise de soi étaient absents 2.9 jours de plus que les élèves du quartile supérieur et étaient près de trois fois plus susceptibles d’avoir été suspendus que les élèves de huitième année; des différences similaires dans les absences et les taux de suspension sont évidentes pour la conscience et le courage. De plus, les différences dans les gains de score aux tests entre les élèves du quartile inférieur et supérieur pour chaque compétence non cognitive représentent presque une année complète d’apprentissage en mathématiques au cours des années de collège.

Figure 1a. Jours d’absence moyens, selon le quartile de compétences non cognitives

Figure 1b. Pourcentage de suspension, selon le quartile de compétences non cognitives

Figure 1c. Gains de score au test de mathématiques entre la 4e et la 8e année, par quartile de compétences non cognitives

Remarque: * indique que la différence entre les élèves du quartile inférieur et du quartile supérieur est statistiquement significative au niveau de confiance de 95%.

Paradoxalement, cependant, les relations positives entre ces mesures autodéclarées des compétences non cognitives et la croissance du rendement scolaire se dissipent lorsque les mesures sont agrégées au niveau de l’école. En d’autres termes, les écoles dans lesquelles l’élève moyen déclare des niveaux de conscience, de maîtrise de soi et de courage plus élevés ne présentent pas de gains de score aux tests plus élevés que les autres écoles. En fait, les élèves de ces écoles semblent apprendre un peu moins.

Ce paradoxe est plus frappant lorsque l’on compare les élèves qui fréquentent des écoles à charte « sans excuses” et ceux qui fréquentent des écoles de district à inscription ouverte. Malgré des gains de score aux tests beaucoup plus importants que les élèves fréquentant des écoles de district à inscription ouverte, et malgré l’accent mis par leurs écoles sur le développement de compétences non cognitives, les élèves des écoles à charte affichent des niveaux moyens de maîtrise de soi nettement inférieurs, mesurés par les auto-déclarations des élèves (voir Figure 2). Cette différence statistiquement significative de -0,23 écarts types est dans la direction opposée à celle attendue, sur la base des relations au niveau de l’élève entre la maîtrise de soi et les gains de score au test affichés ci-dessus. Les différences moyennes entre les étudiants de la charte et du district en matière de conscience et de courage, bien que statistiquement insignifiantes, vont dans la même direction contre-intuitive.

Figure 2. Gains moyens aux tests de mathématiques et ”compétences non cognitives », par type d’école

Remarque: * indique que la différence entre les écoles de district et les écoles à charte est statistiquement significative au niveau de confiance de 95%.

Deux hypothèses concurrentes pourraient expliquer ce paradoxe. La première est que les mesures sont exactes et que les écoles à charte, malgré leur succès dans l’augmentation des scores aux tests, et contrairement à leurs objectifs pédagogiques, affaiblissent les compétences non cognitives des élèves dans des dimensions cruciales telles que la conscience, la maîtrise de soi et le courage.

L’hypothèse alternative et, à mon avis, plus plausible est que les mesures sont trompeuses en raison du biais de référence découlant des différences de climat scolaire entre les écoles de district et les écoles à charte. La figure 3 confirme que les climats académiques et disciplinaires des écoles à charte de notre échantillon, tels que perçus par leurs élèves, diffèrent en fait de ceux des écoles de district à inscription ouverte. Les étudiants à charte évaluent la rigueur des enseignants, la clarté des règles et l’éthique de travail que l’on attend d’eux beaucoup plus que les élèves des écoles de district. Par exemple, les notes des étudiants à charte sur les attentes en matière de comportement des élèves dépassent de 0,57 celles de leurs homologues de district sur l’échelle de 5 points utilisée pour ces éléments. Les élèves qui fréquentent des écoles à charte signalent également des niveaux nettement inférieurs d’effets négatifs sur les pairs et des niveaux légèrement inférieurs d’apport des élèves dans leurs écoles. Bien entendu, ces données proviennent également d’enquêtes d’auto-évaluation et peuvent elles-mêmes faire l’objet d’un biais de référence. Néanmoins, ils suggèrent que les climats académiques et disciplinaires des écoles à charte diffèrent de manière à amener leurs élèves à fixer une barre plus élevée lors de l’évaluation de leur conscience, de leur maîtrise de soi et de leur courage.

Figure 3. Les climats académiques et disciplinaires perçus par les élèves, par type d’école

Remarque: * indique que la différence entre les écoles de district et les écoles à charte est statistiquement significative au niveau de confiance de 95%.

D’autres études récentes sur les écoles à charte « sans excuses » renforcent la plausibilité de l’hypothèse du biais de référence. Par exemple, une évaluation Mathematica de 2013 des écoles secondaires KIPP constate des effets positifs importants sur les résultats des tests des élèves et le temps consacré aux devoirs, mais aucun effet sur les mesures de maîtrise de soi et de persistance à l’école rapportées par les élèves. De même, Dobbie et Roland Fryer constateront-ils que la fréquentation de la Harlem Promise Academy a réduit le grain déclaré par les étudiants, malgré des effets positifs sur les résultats aux tests et les inscriptions au collège, et des effets négatifs sur la grossesse chez les adolescentes (pour les femmes) et l’incarcération (pour les hommes). Cette preuve parallèle de la recherche dans des contextes similaires confirme que le biais de référence découlant des différences dans le climat scolaire est l’explication la plus probable de ces résultats paradoxaux.

Si les effets négatifs apparents de la fréquentation d’une école à charte « sans excuses” sur la conscience, la maîtrise de soi et le courage reflètent en fait un biais de référence, nos données montrent que ces écoles influencent les normes auxquelles les élèves se tiennent lorsqu’ils évaluent leurs propres compétences non cognitives. Les conséquences de ce changement de normes normatives sur leur comportement réel à l’intérieur et à l’extérieur de l’école sont bien sûr inconnues – et méritent d’être étudiées plus avant.

Tout aussi important, il semble que les mesures existantes basées sur des enquêtes des compétences non cognitives, bien que peut-être utiles pour faire des comparaisons entre les élèves dans le même environnement éducatif, ne permettent pas d’évaluer l’efficacité des écoles, des enseignants ou des interventions pour cultiver le développement de ces compétences. Les évaluations des effets des influences de l’enseignant, de l’école et de la famille sur le développement des compétences non cognitives pourraient conduire à de fausses conclusions si les évaluations utilisées sont biaisées par des cadres de référence distincts.

Pressés de considérer les compétences non cognitives comme la pièce manquante de l’éducation américaine, les décideurs pourraient ignorer les limites des mesures existantes. Il est donc essentiel que les chercheurs et les éducateurs qui cherchent à améliorer les compétences non cognitives des élèves développent des mesures alternatives valables dans un large éventail de milieux scolaires. En attendant, les décideurs politiques devraient résister aux propositions visant à intégrer des mesures basées sur des enquêtes des compétences non cognitives dans des systèmes de responsabilisation à fort enjeu.