Analyse du fonctionnement différentiel des items des versions papier et informatisée d'un test de classement en anglais, langue seconde, en présence de patrons de réponses inappropriés

On utilise traditionnellement des tests de type papier-crayon lors des épreuves d’évaluation en éducation. Leur format de passation simple, et peu dispendieux, en a favorisé leur diffusion au sein des établissements de tous les cycles d’étude. Les administrateurs de tests ont aussi commencé à dispenser ces épreuves à l’aide d’outils informatiques. Toutefois, l’équivalence des résultats obtenus entre les tests administrés sous forme papier-crayon ou informatisée n’est pas toujours assurée. De plus, la fonction de l’évaluation peut avoir un impact sur cette équivalence. Dans le contexte de tests à fonction certificative en mathématiques, par exemple, on a noté que dans les versions informatisées le niveau de difficulté des items pouvait être plus élevé.Un élément supplémentaire vient complexifier la situation, soit la présence d’individus qui tentent de
manipuler leur résultat au test et ainsi produire des patrons de réponses inappropriés. Nous nous intéressons ici à vérifier cette équivalence au regard d’un test à fonction de classement en anglais, langue seconde, au niveau collégial au Québec.
Dans le cadre de cette étude, nous avons élaboré une démarche en trois étapes. Premièrement, nous réaliserons séparément une première estimation des paramètres d’items, selon le modèle de Rasch pour la version papier-crayon (N=1709) administrée en 2009 et la version informatisée (N=13278) administrée en 2011. Deuxièmement, nous détecterons les patrons de réponse inappropriés à l’aide de l’indice lz* (Snijders, 2001). Troisièmement, les patrons de réponses inappropriés ayant été retirés, nous procéderons à l’analyse du fonctionnement différentiel des items. Dans ce cas-ci, nous utiliserons la version papier-crayon de l’épreuve d’évaluation comme source de données pour le groupe de référence et la version informatisée comme source de données pour le groupe focal. Cette dernière étape nous permettra de vérifier si les items sont équivalents quel que soit la version administrée.