Quel outil d’entrainement pour des étudiants en médecine évalués par QCM en physique ?

La réforme des études de médecine mise en application dès la rentrée académique de septembre 2012 en Fédération Wallonie-Bruxelles a introduit une liste abondante de prérequis dans les cours dits de « sciences fondamentales » (physique, chimie, biologie) et favorisé l’évaluation sous forme de questions à choix multiples en première année de bachelier. Or, les étudiants sortant de l’enseignement secondaire maitrisent rarement, pour de multiples raisons, l’ensemble des prérequis. Par ailleurs, ils sont très peu entrainés à ce mode d’évaluation et n’en maitrisent donc pas les spécificités.
Lors de leur arrivée à l’université, les causes d’échec des étudiants sont multiples. Parmi celles-ci, nous pouvons citer le temps d’adaptation de l’étudiant au système d'enseignement supérieur, la difficulté d’apprendre la nouvelle matière vue au cours (problèmes de méthode de travail, quantité de matière plus importante, laps de temps plus court pour l’assimiler, …) et, éventuellement, une mauvaise maitrise des prérequis. Cela nous a poussé à développer un outil de soutien à l'apprentissage pour le cours de physique. Nous avons opté pour une plate-forme en ligne afin qu’elle soit accessible à chaque instant et de n’importe quel endroit, moyennant une connexion internet. L’étudiant peut notamment y travailler la nouvelle matière ou les prérequis via une série de tests formatifs présentés sous forme de QCM. L’étudiant peut à tout moment générer un test selon trois paramètres : la(les) matière(s) qu’il souhaite travailler, le temps qu’il désire y consacrer et le niveau de maitrise qu’il souhaite atteindre à ce moment-là.
La matière vue au cours a préalablement été décomposée en cinq grands thèmes. L’étudiant peut, lors de l’ouverture d’une session, choisir un ou plusieurs de ces thèmes. Le nombre de questions figurant dans son test formatif dépendra de la durée qu’il aura préalablement sélectionnée (30, 60, 90 ou 120 minutes). Un barème de 10 questions par heure, identique aux conditions d’examens, est appliqué. L’étudiant pourra, en outre, choisir un niveau parmi trois échelons de difficulté.
Les questions portant sur chacune des cinq matières, issues notamment des examens des années antérieures, ont été évaluées par plusieurs membres de l’équipe pédagogique et un niveau de difficulté de 1 à 4 leur a été attribué. Le niveau de la question est établi sur la base de 4 critères : abstraction, réflexion, mixité et niveau mathématique. Chaque évaluateur de questions donne un score de 1 à 3 à chacun des critères et ce, pour chaque question. Le total sur l’ensemble des critères fixera le niveau général de la question. Le critère d’abstraction est lié à l’abstraction de l’énoncé et de la réponse attendue. Le deuxième critère évalue la réflexion développée par l’étudiant pour répondre à la question qui lui est posée, et donc notamment le nombre d’étapes de résolution. Le critère de mixité est lié à la diversité des sujets intervenant dans un problème. Le dernier critère est lié au niveau de mathématique que requiert la résolution de la question ou du problème de physique. La moyenne des différentes évaluations fournit alors le niveau de la question. Afin de vérifier la concordance des évaluations, le Kappa de Fleiss a été mesuré et nous indique une concordance moyenne.
Vingt ensembles de questions ont été créés, soit un par niveau de difficulté de question et par matière. Une attention particulière est apportée à la rédaction des questions, notamment afin de respecter les règles de conception développées par Leclercq (Leclercq, 1986) et sériant les niveaux d’abstraction des questions selon les taxonomies de Bloom (Bloom, 1956).
Une fois les trois paramètres sélectionnés par l’étudiant, un test formatif est généré automatiquement. Un nombre de questions, fixé par la durée choisie par l’étudiant, est tiré aléatoirement en respectant le niveau de difficulté (du test) que l’étudiant a choisi. Le niveau « faible » de test proposera uniquement des questions de niveaux 1 et 2, le niveau « moyen », des questions de niveaux 1, 2 et 3 et le niveau « fort » des questions de niveaux 2, 3 et 4.
L’étudiant pourra visualiser son état d’avancement dans la maitrise de chacun des thèmes grâce à un rapport qu’il pourra à tout moment générer. Dans le futur, ce rapport détaillera également quel type (théorie, application directe de formule, problèmes, …) de questions l’étudiant a tendance à réussir ou rater. Une vue simplifiée et ludique, à l’aide de médailles à gagner sera également proposée à l’étudiant.
A l’aide de cette vue simplifiée et du rapport complet, l’équipe pédagogique pourra travailler plus efficacement avec l’étudiant si ce dernier demande un rendez-vous de remédiation. En effet, sur la base des rapports, les membres de l’équipe pédagogique pourront facilement et rapidement cibler les difficultés précises rencontrées par l’apprenant et lui proposer des pistes concrètes de travail pour y remédier.
Outre cet outil, la plate-forme propose le travail des prérequis et de la nouvelle matière sous différentes formes (vidéos d’expérience à commenter, résolution guidée de problèmes, forums, questions débats, …). Cette diversité d’outils proposés a pour but d’augmenter la motivation des étudiants selon la théorie de Viau (Viau, 1994). Ces outils ont été présentés précédemment (Marique, 2014).