Recherche sur les utilisations du CNEC en classe en 2019

Charlotte Barbier, Matthieu Cisel, Georges-Louis Baron, 12/06/19

Choix fondamentaux

Pour des raisons liées au développement du logiciel, larecherche sur le terrain, lancée n’a pu commencer que début 2019, lorsque des versions suffisamment stables del’application ont été disponibles. 

Nous avions envisagé un moment nous inscrire dans une perspective fondée sur une approche expérimentale, mais une série de considérations nous ont conduit à un autre choix.

La principale est que les résultats auraient été rapidement obsolètes. Une simple modification des interfaces peut en effet suffire à faire varier considérablement les résultats d’une expérimentation. Les protocoles expérimentaux n’auraient eu de sens que si l’application avait été stabilisée techniquement et sur le point d’être industrialisée.

Au-delà du fait que le CNEC évoluait encore trop rapidement pour être testé de cette manière en classe, les retards pris dans le développement ont affecté le calendrier initial des tests utilisateurs.

Pour conclure, une telle démarche imposait de décider en lieu et place des enseignants le déroulé des séances durant lesquelles le CNEC était utilisé, ce qui était contradictoire avec l’un des principaux objectifs de ces tests : appréhender la manière dont les artefacts produits seraient utilisés en classe. Nous avons préféré laisser aux enseignants le plus possible d’agentivité dans l’organisation des séances mobilisant le CNEC, afin d’éviter de produire des conditions d’utilisation artificielles.

L’utilisation d’approches qualitatives nous a permis de contourner en partie les problèmes qu’aurait posés la mise en place d’approches expérimentales plus quantitatives. Cependant, les résultats du travail de recherche ont été dans une large mesure perturbés par les retards pris dans le développement du code et par les problèmes d’utilisabilité.

Ces derniers ont interféré dans le processus de collecte de données, notamment car des enseignants ont été réticents à utiliser le CNEC lorsqu’ils faisaient face à plus de problèmes techniques qu’ils n’en pouvaient gérer. Des modifications techniques ont été apportées en fin de projet, il reste à prouver que celles-ci sont suffisantes pour permettre une utilisation effective de cet environnement en classe

Pour faciliter le processus de recrutement de testeurs, le programme Savanturiers, dans son formulaire d’inscription à destination de tous les enseignants français et diffusé en mai, a rajouté une question invitant ceux qui souhaitent participer aux tests utilisateurs à se signaler, indépendamment de la thématique dans laquelle ils désirent s’inscrire. Pour les enseignants partenaires, les thématiques traitées ne se cantonnent par conséquent plus désormais à la seule climatologie.

Des enseignants relevant de thématiques comme l’urbanisme, ou la création de jeux vidéos, sont venus s’ajouter au groupe initial de partenaires. Le nombre d’établissements concernés s’est sensiblement accru, les chercheurs ont multiplié les observations dans les classes. D’autres observations ont également été effectuées par des responsables du programme Savanturiers lors de certains tests utilisateurs où les chercheurs n’ont pas été présents.

La méthodologie d’observation mobilisée lors de la phase de mise à l’épreuve des différentes versions du prototype est sensiblement la même que celle qui avait été adoptée lors de l’observation de projets non instrumentés par les prototypes du CNEC. Une grille thématique a été élaborée pour rendre compte des différents pôles du système d’activité, qui correspondait à une forme plus avancée du système d’activité que nous avons étudié au cours des observations préliminaires à tout développement. L’observation a principalement eu un caractère ethnographiquesur une durée longue (plusieurs mois).

En début de projet, avant une séance de test du CNEC impliquant un chercheur, un entretien téléphonique était généralement réalisé, au cours duquel l’enseignant informait de l’organisation de la séance qu’il avait envisagée, de la nature de l’activité que les élèves seraient invités à réaliser, et les modules de l’application mobilisés. Au cours de la première année du consortium, lorsqu’un seul module avait été développé (le mur d’idées), le choix s’imposait de lui-même.

Durant la troisième année du projet, au cours de laquelle l’essentiel des tests utilisateurs ont été menés, une demi-douzaine de modules étaient utilisables en classe, de sorte que les enseignants pouvaient décider de tous les mobiliser pour leur projet Savanturiers, ou de n’en mobiliser qu’une partie. Des réunions ont été organisées à intervalles réguliers au sein du laboratoire pour discuter deséléments saillants de ces observations.

Le tableau ci-dessous présente la liste desétablissements où se sont déroulées les observations. Pour permettre de prendre la mesure de l’investissement dans le travail de terrain au cours des trois années du projet, nous y incluons les observations réalisées dans des établissements qui n’ont pas pris part aux tests utilisateurs de la troisième année du projet. Dans ce dernier cas, la période d’observation est précisée.

Code établ.NiveauAcadémieNb. classesNb. ensNombre de séances observées
AÉlémentaire (CM1)Paris111
B)Élémentaire (CE2)Paris227
CCollège (5ème)Paris123
DÉlémentaire (CM1)Paris118
ECollège (3ème)Créteil121
FBTSParis113
GCollège (5ème)Créteil133






A0CollègeParis1312 (2016-2018)
B0Élémentaire (CE2)Créteil118 (2016-2017)
C0CollègeParis119 (2016-2017)

Tableau 1 : Détail des observations de tests utilisateurs réalisées par les chercheurs lors de la dernière année du projet. Les trois dernières lignes incluent des classes observées au cours des années précédentes.

Modalités d’observation et de suivi des tests utilisateurs

Quatre chercheurs (G-L Baron, M. Cisel, P. Kummer, E. Voulgre) et une stagiaire en Master 2 (C. Barbier) se sont investis dans les observations de classe. Après les séances, les chercheurs ont tenu des périodes de débriefing avec les enseignants et des réunions hebdomadaires ont permis de faire le point et d’harmoniser les procédures suivies.

De la même manière qu’au cours des deux premières années, les instruments mobilisés par les élèves et les enseignants, en dehors du seul CNEC, ont été observés selon la même approche que pour les projets Savanturiers non instrumentés. La seule addition vis-à-vis de la collecte des productions d’élèves réside dans le fait que nous collections des productions réalisées au sein du CNEC. Nous avions les identifiants et mot de passe de l’ensemble des enseignants partenaires, de sorte que nous pouvions visualiser et agréger dans un document unique les écrits que leurs élèves avaient réalisés sur les modules utilisés, comme le Mur d’idées, ou la Fiche-Recherche, ainsi que les commentaires écrits éventuellement laissés par les enseignants.

Enfin, lors de plusieurs comités de conception, des retours ont été faits aux enseignants et plusieurs entretiens de groupe focalisés ont été réalisés.

Jusqu’à quatre chercheur.e.s sont venus réaliser des observations de manière simultanée dans une classe, auxquels se sont parfois ajoutés des représentants du programme Savanturiers, ou des académies impliquées.

Leur intervention s’est avant tout centrée sur l’observation, prolongeant en classe l’accompagnement commencé lors des Comités de Conception. Il a fallu parfois également aider les enseignants en cas de problèmes de fonctionnement du CNEC, ainsi que les groupes d’élèves ne parvenant pas à se connecter à l’application, quelle qu’en soit la raison.

Le choix de venir en nombre a donc permis d’aider dans la résolution des problèmes techniques rencontrés tant par les enseignants que par les élèves, contribuant ainsi à l’amélioration du déroulement des tests utilisateurs.

Nous avons cependant conscience du fait que nous avons introduit une source de biais potentielle, dans la mesure où les conditions de passation des tests ne sont donc pas exactement celles auxquelles feraient face des enseignants non accompagnés. Mais l’état encore quelque peu instable de l’application et les problèmes de connexion qui n’étaient pas liés à l’application mais dus à une couverture wifi faible imposaient de procéder de la sorte. Au demeurant, le nombre d’observateurs ne semble pas avoir perturbé outre mesure les élèves qui, généralement concentrés sur leur projet, ont rapidement ignoré les chercheurs.

Résultats relatifs aux utilisations du CNEC en classe

Nous disposons d’un vaste ensemble de données, que nous n’avons pas encore toutes analysées à cette date. Nous présentons ici ce qui nous semble le plus significatif.

Comme nous l’avons expliqué plut tôt dans le document, une partie des enseignants engagés dans le projet de conception ont ouvert leurs classes pour accueillir des chercheurs au cours de la première année du projet, en 2016 et nous les en remercions sincèrement. Un certain nombre d’entre eux ont par ailleurs participé à des ateliers visant à exprimer des besoins en termes d’instrumentation, et à ouvrir leurs classes pour tester les prototypes une fois ceux-ci suffisamment avancés pour être mis à l’épreuve d’une utilisation en classe.

Identification et correction des bugs

Les observations ont bien sûr été l’occasion d’identifier des bugs. Dans la mesure où l’industriel ne venait qu’exceptionnellement dans les salles de classe pendant ces tests, une médiation de ce travail a été organisée pour que lui soient communiqués les problèmes qui relevaient de sa responsabilité.

Des comptes-rendus relatifs aux dysfonctionnements constatés ont été périodiquement envoyés au programme Savanturiers, qui se chargeait alors de convertir ce travail en tickets dans le logiciel Youtrack, permettant de faire l’interface avec les développeurs et de suivre de manière individuelle le devenir de chaque remarque effectuée.

Les dysfonctionnements observés ont été répartis en problèmes techniques (comme un bouton n’apparaissant pas en mode portrait dans l’interface de tablettes à la résolution faible) et ergonomiques. L’industriel a également proposé un « formulaire de bugs » que les enseignants devaient remplir lorsqu’ils constataient des dysfonctionnements. L’expérience a montré que cet outil n’a que peu servi, tant les enseignants manquaient de temps pour suivre cette démarche.

De nouveaux focus groupesont été réalisés lors de deux réunions faisant suite à l’utilisation du CNEC en classe. Les enseignants ont notamment été invités à identifier quels étaient les obstacles à l’utilisation des différents modules des prototypes utilisés, ainsi que leur valeur ajoutée par rapport aux instruments qu’ils mobilisaient en amont, et sur les fonctionnalités qu’ils estimaient manquer.

Les entretiens ont été structurés de sorte à éviter de s’attarder sur les remarques triviales – difficultés de connexion et problèmes d’ergonomie en premier lieu. Ces remarques étaient en effet transmises au cours des cocons dans des temps d’échange avec l’industriel, mais non pas au cours des focus-groupes, dont la fonction était avant tout de répondre à des enjeux épistémiques, i.e. répondre à des questions de recherche qui dépassent le seul contexte du cas d’étude qu’est le CNEC.

Les serveurs de l’industriel ont collecté un certain nombre de traces lors des tests utilisateurs. Ces traces nous ont été transmises après anonymisation, sous la forme d’une base SQL. Nous sommes actuellement en train d’analyser ces traces pour identifier la manière dont elles peuvent être croisées avec les approches plus qualitatives que nous avons menées par ailleurs. En addition des observations menées en classe, nous avons participé aux comités de conception qui ont ponctué l’année.

Un large spectre d’utilisations en fonction des niveaux et des établissements

Un large spectre de situations et utilisations ont été observées dans les classes et les difficultés rencontrées par les enseignants étaient en partie dépendantes du contexte spécifique de leur projet et de l’infrastructure informatique de leur établissement. Par exemple, dans plusieurs écoles, des problèmes de connexion au réseau internet de l’établissement ont demandé la mise en place de stratégies de contournement telle que l’utilisation du partage de connexion du smartphone de l’enseignant.

Le plus souvent, un module ou deux tout au plus du CNEC étaient utilisés au cours d’une séance donnée, en cohérence avec la logique dans lequel le CNEC a été pensé. Il est néanmoins arrivé qu’un enseignant décide d’utiliser jusqu’à trois modules dans un même cours ; il déclarait vouloir réduire au minimum le nombre de séances durant lesquelles le CNEC, considéré comme perturbateur de l’activité, serait utilisé.

Le CNEC a surtout été utilisé durant les premières étapes des projets : pour le recueil des questions ou propositions des élèves et pour consulter, partager et sauvegarder des documents relatifs au projet de la classe. Le CNEC a aussi été utilisé par une partie des enseignants pour la formulation d’une problématique, d’hypothèses et d’un protocole. Néanmoins, nous n’avons pas observé d’enseignant utiliser le CNEC à d’autres étapes de leur projet telle que la rédaction des résultats de la recherche menée. De plus, le CNEC était essentiellement utilisé à la discrétion de l’enseignant et très rarement suite à l’initiative des élèves.

Lors des échanges que nous avons conduits avec eux, les enseignants nous ont fait part des apports du CNEC pour leur pratique. De façon générale, ils et elles considèrent que l’un des avantages du CNEC est de pouvoir garder des traces du travail réalisé tout au long du projet et de visualiser, grâce à la fiche recherche, où les élèves en sont dans l’avancement de leur recherche et ainsi les aider à structurer leur démarche.

Nos interlocuteurs de primaire ont évoqué le fait le CNEC offre la possibilité de familiariser leurs élèves à l’utilisation du numérique dans une logique de travail scolaire et à apprendre à manipuler une application. Ils ont également souligné que le CNEC permet de montrer aux élèves qu’un travail de recherche ne signifie pas un travail bâclé et que même un brouillon peut être structuré.

Des enseignants du secondaire ont plébiscité le fait que le CNEC facilite la gestion du travail en classe en rassemblant en un seul instrument différents outils en classe et parce qu’ils pouvaient accéder aux productions des élèves et passer rapidement de l’une à l’autre depuis leur compte au lieu d’aller voir physiquement chaque groupe.