Analyse de la qualité psychométrique des items issus des questionnaires contextuels de la teims - Plouffe, Sarah (University of Ottawa (Canada), 2007)
De nos jours, les dirigeants consultent les résultats de programmes nationaux et internationaux d'évaluation des apprentissages afin de se renseigner au sujet de la qualité de l'enseignement dispensé dans les salles de classe. Cependant, des études ont remis en question la qualité des données issues de ces questionnaires contextuels au sujet des pratiques et croyances pédagogiques (Clare, 2000; Bali & Rowan, 2004, Hill, 2002; Mayer 1999, Mullens & Kasprzvk, 1999; Mullis, 2002; NCES, 1999; NCES, 2002; Porter & Smithson, 2001; Rogers et al., 2004; Rowan, Correnti & Miller, 2002; Stecher et al. 2002; Stigler & Hiebert, 1996). La présente recherche procède à l'évaluation de la qualité psychométrique des items issus des questionnaires contextuels de la Troisième enquête sur les mathématiques et les sciences (TEIMS) portant sur les pratiques pédagogiques recommandées par les réformes scolaires. L'étude cible la population des enseignants francophones de mathématiques oeuvrant en Ontario. Une méthodologie mixte est employée pour mesurer divers concepts de validité et de fidélité des items de la TEIMS. Les lacunes relevées au niveau de la validité proviennent principalement de la conception des items (formulation de la question, vocabulaire utilisé, période de référence de l'item, pertinence du sujet et des choix de réponse). La concordance entre élève et enseignant démontre que les items simples produisent des résultats davantage comparables que les items complexes faisant appel à des concepts vagues ou trop nombreux. La validité théorique n'a pu être établie en fonction des regroupements conceptuels inspirés par le curriculum de l'Ontario (1997). Les propriétés métriques des items s'avèrent également problématiques compte tenu du type de données générées et des lacunes distributives des items. Toutefois, les analyses n'ont pas permis de déceler la présence d'un biais de réponse systématique en fonction du phénomène de désirabilité sociale. Les analyses de cohérence interne démontrent une faible cohésion entre les items des questionnaires qui traitent des nouvelles pratiques et croyances pédagogiques. Ces résultats indiquent en grande partie que les données provenant de questionnaires contextuels des programmes à grande échelle n'arrivent pas à dresser un portrait valide ni fidèle des nouvelles pratiques pédagogiques chez les enseignants. Les résultats de cette étude doivent cependant, être interprétés avec discernement à cause de certaines faiblesses méthodologiques, dont les données non-representatives de la population ciblée et le choix limite des méthodologies.
Keywords: Education, Tests and Measurements.; Psychology, Psychometrics.