15 Jun 2023

“L’évaluation à l’ère du Chat GPT” (bilan de l’atelier)

Le 8 juin dernier, la Cellule IPN a organisé un atelier de formation d’1h30 intitulé “L’évaluation à l’ère du Chat GPT”. Rapide retour sur les points forts de la rencontre.

Les objectifs de l’atelier étaient les suivants :

  • Définir ce qu’est une bonne évaluation en fonction des intentions pédagogiques 
  • Construire des activités d’évaluation résistantes au IA génératives
  • Échanger entre pairs

D’après le sondage fait au début de l’atelier, la plupart des participant-es utilisaient déjà les IA génératives régulièrement ou occasionnellement, mais un tiers l’avaient juste testé une ou deux fois. Iels ont donc eu l’occasion de tester les capacités du Chat GPT sur leurs sujets d’examens et contrôles continus. Nous avons constaté que lorsqu’il s’agissait des questions de rédaction ou de calcul simple, les résultats étaient assez impressionnants mais dès que les questions montaient en complexité, les réponses étaient souvent fausses et le raisonnement illogique.

Petit exemple :

“je viens de demander : why 2+ 3 =5 et j’ai : 2 + 3 can be thought of as adding two groups of three objects together. This can be visualized as two rows of three objects each, which when combined, form a total of five objects” 

Nous nous sommes ensuite interrogé-es sur ce qu’était une bonne évaluation mais non en absolu mais par rapport aux intentions pédagogiques (ce que l’on souhaite contrôler). Nous nous sommes mis d’accord sur le fait que l’évaluation visant la validation des connaissances et la compréhension des concepts induits par l’enseignement demandait l’interdiction de tout outil externe comme les IA génératives. En revanche, lorsqu’il s’agit de déterminer les compétences de l’étudiant-e en situation professionnelle, l’utilisation du Chat GPT ou d’autres outils du même genre a une plus-value. Aucun-e enseignant-e ne s’est prononcé-e en faveur de l’interdiction totale des IA, on préconise d’adopter une posture différente (interdiction, contournement ou adoption) dans différentes situations.

Nous avons aussi cherché des pistes pour construire des activités d’évaluation résistantes aux IA. Voici les solutions qui en sont ressorties :

  • Arrêter les évaluations
  • Faire des entretiens individuels, poser des questions à l’oral
  • Faire référence à des expériences vécues dans le cours, à des notions, concepts ou émotions vues/partagées durant les enseignements
  • Pratiquer l’auto-évaluation ou l’évaluation par les pairs dans des groupes de travail

Voici enfin quelques ressources complémentaires sur le sujet :

https://www.conseils-redaction-web.fr/chatgpt

Education & Chat-GPT: feed your thoughts with academic experts (ou toute la vidéo si le sujet vous passionne)

https://aunege.fr/webinaire-chatgpt-ennemi-ou-allie-pour-lenseignement-superieur/ 

https://buff.ly/3Kj2W70