INFOX#4 : “Avec le e-learning on peut effectuer un contrôle très précis sur les apprentissages” 

Mis en ligne le 28 mars 2020

Par Matthieu Cisel

S’il est une affirmation qui revient de manière récurrente dans les discours sur le e-learning, c’est qu’il permet d’avoir un contrôle précis sur les apprentissages, notamment grâce aux learning analytics (LA). L’analytique de l’apprentissage s’appuie sur le recueil et l’analyse de « traces d’interaction » laissées par les utilisateurs de plateformes d’enseignement en ligne : navigation au sein d’un cours, visionnage de vidéos, réalisation d’exercices, etc. Il y a néanmoins un hic : on ne passe pas si facilement que cela de la trace d’interaction au diagnostic de compétences ou de connaissances, n’en déplaise aux promoteurs de l’usage des LA. Tout en étant enthousiaste quant aux potentialités qu’elles offrent dans la mesure où elles alimentent une large partie de mes travaux depuis une demi-douzaine d’années (Cisel, 2017), je pense qu’il est souhaitable de rappeler les limites d’une telle approche.

Les traces ne montrent, dans le meilleur des cas, que ce que l’apprenant à fait, non pas ce qu’il a appris. C’est la raison pour laquelle de nombreux auteurs préfèrent l’expression « trace d’interaction » ou « trace d’activité » à celle de « trace d’apprentissage », qui peut laisser croire que l’apprentissage est directement traçable. Pour prendre un exemple précis, ce n’est pas parce que nous savons quelles vidéos ont été visionnées par un apprenant, dans quel ordre, que nous pouvons en déduire ce qu’il a retenu. Certes, on peut raisonner dans le sens inverse, et dire que si la vidéo n’a même pas été regardée, le contenu a peu de chance d’avoir été compris et/ou mémorisé, mais il serait hasardeux d’aller plus loin. En effet, même si la vidéo a été lancée, il est facile de duper les systèmes de collecte de traces, et d’appuyer sur le bouton lecture tout en allant préparer le déjeuner. Ainsi, la trace indique que la vidéo a été diffusée mais ne permet pas d’attester qu’elle a été visionnée.

Les traces issues de tests autocorrectifs (QCM, etc.) apportent des informations a priori plus intéressantes, mais leur usage présente aussi des limites sérieuses. D’une part, il faut s’assurer qu’elles ont été récoltées dans un contexte propice, et que les réponses données au hasard ne brouillent pas le signal. Ensuite, il faut que l’on puisse identifier facilement quelles sont les connaissances/habiletés/concepts (le choix du terme est épineux) mobilisés pour répondre aux questions. C’est d’ailleurs la fonction de ce que l’on appelle les Q-matrices (De la Torre et Chiu 2016), dont le concept a été popularisé dans les recherches nombreuses consacrées aux systèmes tuteurs intelligents (une des principales applications de l’intelligence artificielle en éducation). Dans une Q-matrice, on établit une correspondance entre des lignes, qui représentent des exercices, et des colonnes, qui représentent les connaissances, ou habiletés, etc. Par exemple, pour résoudre telle équation, il faut maîtriser l’addition et la soustraction (et il est possible d’être plus précis). Si une Q-matrice ou son équivalent a été réalisée, alors oui on peut commencer à procéder à un certain nombre d’inférences.

Plus généralement, il peut être utile, pour comprendre ce débat, de reprendre les concepts de modèle comportemental et de modèle épistémique – le lecteur qui souhaite approfondir la question pourra lire les écrits de Nicolas Balacheff (1992) sur la question. En produisant un modèle comportemental à partir de traces d’interaction, l’analyste effectue déjà un premier tri, qui permet d’éliminer toutes les traces qui constituent des bruits parasites, qui n’ont que peu de sens en termes d’apprentissage. Rafraîchir une page est une action qui peut par exemple découler d’un simple ralentissement de la connexion internet. Nul besoin de la sur-interpréter en termes de connaissance ou de compétence. Ensuite seulement, on peut passer du modèle comportemental au modèle épistémique, qui vise à caractériser les connaissances et les compétences des apprenants.

Dans les modélisations les plus simples, fondées par exemple sur la théorie de la réponse à l’item, on assigne un score à un apprenant, qui s’accroît ou qui décroit, selon le taux de succès aux exercices proposés. De nombreuses IA en éducation, comme Knewton, reposent sur ce principe, estiment automatiquement le niveau de l’apprenant selon cette méthode psychométrique, et proposent des séquences d’exercices personnalisées en sélectionnant des exercices correspondant au niveau estimé de l’apprenant. En revanche, les produits grand public qui intègrent ces approches sont rarissimes, et les LMS (Learning Management System) tels que Moodle, largement utilisés par les institutions, ne disposent pas encore de ce type de fonctionnalité.

Les outils grands public permettent tout au plus de visualiser la progression d’un étudiant dans un scénario d’apprentissage donné, le score évoluant avec le nombre d’exercices réalisés. C’est par exemple le cas de la plateforme SIDES, basée sur Moodle, et utilisée par l’université numérique des études de santé. On peut y voir que tel ou tel étudiant (préalablement anonymisé) a progressé en dermatologie ou en cardiologie. En revanche, les résultats apportent peu d’informations  quant à ses connaissances ou ses compétences car les sources d’erreur sont diverses et seuls des logiciels très spécifiques et ayant nécessité des années de recherche autorisent à faire des tentatives en la matière.

Reste une dernière option, qui a le vent en poupe depuis quelques années : l’aide au diagnostic humain. Les traces, modélisées via des indicateurs affichés dans des tableaux de bord conçus spécifiquement pour l’évaluation, sont alors présentées à des humains qui sont en charge, de les interpréter et d’effectuer le diagnostic final. Pour en savoir plus, on pourra lire certaines recherches francophones sur Pepidiag, pour l’algèbre (Delozanne et al., 2003), ou les travaux sur le développement de tableaux de bord associés à la création de cartes mentales (Carrillo, Prié, Guillaume et Lavoué, 2018). Les plateformes sont aveugles à ce qui se passe dans la salle de classe, et ne connaissent de leurs apprenants que les traces qu’ils laissent. L’enseignant ou le formateur, mieux armés en la matière, peuvent ainsi compléter les informations fournies par la machine. Néanmoins, il ne faut pas sous-estimer le temps que nécessite une telle démarche pour obtenir un résultat fiable, et notamment si l’on veut prendre en compte tous les éléments susceptibles de biaiser le diagnostic. Ce n’est pas encore pour tout de suite qu’enseignants et formateurs utiliseront cette approche de manière routinière.

Du coup, nous voyons se distinguer plusieurs stratégies possibles pour passer de la trace au « suivi précis des apprentissages », mais les configurations qui permettent ces inférences sont très rarement réunies, et les environnements informatiques de e-learning utilisés globalement ne remplissent presque jamais cette fonction. Il ne faut pas confondre des avancées prometteuses et encore cantonnées à quelques niches, et la réalité des usages et des outils du quotidien. En d’autres termes, gardons espoir que l’on progresse vers cette direction, mais restons prudents pour le moment.

Et même si l’on parvenait à réaliser des progrès significatifs dans l’établissement de correspondances entre traces et diagnostics de connaissance, il faudrait se pencher sur les questions éthiques que soulève une telle démarche. Nous avons déjà pu être témoin que des établissements se servaient de diagnostics fondés sur des traces pour estimer les chances qu’un étudiant donné avait de parvenir à réussir une épreuve nationale. Qu’adviendra-il le jour où un établissement voudra améliorer le taux de réussite de ses formations en empêchant à des étudiants au diagnostic peu prometteur de se présenter à l’examen ? C’est un exemple parmi d’autres, mais très représentatif des situations auxquelles nous risquons d’être confrontés à l’avenir.

>>>>>>>>>>12 INFOX SUR LE E-LEARNING<<<<<<<<