La multidimensionnalité dans l’évaluation PISA 2003 : la place d’une dimension générale

Le Programme International de Suivi des Acquis des élèves (PISA) évalue les compétences en
littéracie des élèves de 15 ans principalement dans trois domaines (lecture, sciences et
mathématiques) par le biais d’un test cognitif. Chacun de ses items est supposé ne cibler que la
compétence du domaine qu’il est sensé mesurer (hypothèse de multidimensionnalité between-item). En d’autres termes, tous les items ne contribuent qu’à mesurer une seule compétence. Or, les performances des élèves dans les trois domaines évalués corrèlent fortement entre elles, traduisant un recouvrement important entre les différentes dimensions, ce qui questionne cette hypothèse de multidimensionnalité between-item.
Cet article présente trois structures latentes sous-jacentes à l’évaluation PISA 2003: un modèle unidimensionnel, un modèle multidimensionnel between-item et un modèle multidimensionnel within-item où chaque item mesure à la fois une dimension spécifique et une dimension générale. Ces modèles sont testés par le biais de modèles de réponse à l’item dans 17 pays.
Les résultats indiquent que les modèles multidimensionnels s’ajustent mieux aux données que le
modèle unidimensionnel, avec, dans la majorité des pays, un léger avantage pour le modèle
within-item. Ce modèle within-item révèle qu’en moyenne, les items ont une meilleure discrimination de la dimension générale que des dimensions spécifiques ; ces compétences spécifiques doivent cependant être inclues dans le modèle, le modèle unidimensionnel ayant le moins bon ajustement statistique aux données.
Cette structure complexe pourrait avoir des conséquences notamment sur les associations entre les estimations de la performance et les variables contextuelles telles que décrites dans les rapports de l’OCDE.