Archives mensuelles : juin 2019

Participation au processus de conception du CNEC en 2018 – 2019

Matthieu Cisel, Georges-Louis Baron

Création d’un prototype

Une nouvelle version du Cahier numérique de l’élève chercheur (CNEC) a été développée au cours de l’été 2018, peu avant le début de la troisième année du projet. L’architecture logicielle a changé, dans la mesure où elle se fonde désormais sur une technologie de type Content Management System(en l’occurrence DRUPAL). De nouveaux modules sont apparus, tandis que les anciens ont sensiblement évolué.

La recherche a continué à s’investir dans la construction d’une analyse réflexive sur le processus de conception lancée dès le début du projet (Cisel et al., 2017 ; Cisel et Baron, 2018). De la mise au point du cahier des charges aux modalités de prise en compte des tests utilisateurs, certaines divergences sont apparues entre acteurs du consortium quant à la marche à suivre (Cisel, 2019). Pour mettre en évidence les contradictions (Engeström, 1987) que faisaient apparaître certains choix méthodologiques, nous nous sommes attachés à documenter et analyser le processus de conception, avec des focales sur des moments pivots.

L’un des problèmes classiques d’une telle démarche réside dans le fait que, temporalité de la recherche oblige, les résultats ne sont souvent communicables qu’après que les décisions qu’elle visait à éclairer aient été prises. Pour cette raison, cette réflexion sur le processus de conception a été considérée également comme l’un des produits de la recherche, et valorisée comme telle sous forme de productions scientifiques (Cisel, 2019).

Les réflexions méthodologiques qui ont accompagné notre participation au processus de conception de l’environnement nous ont amenés à nous intéresser de près à la manière dont ont été déterminées les grandes orientations technologiques du projet.

Au fil des trois années qu’a duré le consortium, les points de vue des chercheurs, des enseignants, et des industriels ont été articulés pour déboucher sur la version finale du prototype.

Nous nous sommes penchés sur les questions suivantes : comment les acteurs impliqués ont-ils pesé dans le processus de conception ? Quels ont été les moments les plus décisifs, les pivots de ce processus ? Comment les modalités de prise de décisions lors de ces moments pivot ont-elles influé sur la forme finale de l’artefact ?

Le processus de conception a été considéré dans son ensemble, en portant une attention particulière au choix des orientations technologiques, et aux déterminants de ces choix. Au moment du lancement du projet, le cahier des charges n’était pas défini, la consigne directrice était d’instrumenter les projets Savanturiers. Deux éléments sont revenus régulièrement dans les discussions : l’affirmation selon laquelle l’enquête de terrain va permettre d’identifier des besoins, et le leitmotiv selon lequel celui qui décide est l’utilisateur final.

Nous nous sommes situés, tout au long du processus de conception, dans une logique de participation observante. Si nous intervenions dans les réunions, notamment pour mobiliser les travaux issus de nos revues de littérature, nous observions également le déroulé des réunions au prisme d’une grille thématique fondée sur la théorie de l’activité.

Nous n’avons en général pas enregistré les interactions verbales dans les moments de travail réunissant les différents acteurs du consortium, sauf durant lesComités de Conception(Cocons), durant lesquels des groupes focalisés étaient régulièrement organisés et enregistrés. En effet, cette modalité de travail aurait interféré, pour les acteurs concernés, avec la spontanéité nécessaire pour les échanges. Nous avons systématiquement pris des notes sur les réunions afin de documenter les nombreuses décisions qui, mises bout à bout, ont conduit à la forme finale du CNEC.

Si nous ne sommes donc pas en mesure de retracer finement les conditions d’émergence de chaque fonctionnalité du produit, nous disposons en revanche d’une description consistante de l’activité de conception et des relations entre les différents acteurs.

La rédaction incrémentale et les étayages

Dans le domaine de l’instrumentation de l’enseignement de la démarche d’investigation, de nombreux environnements visent à faciliter la production d’écrits par les élèves (Linn, 2010 ; Laferrière et Lamon, 2010). Ces environnements reposent dans une large mesure sur ce que l’on nomme les étayages, ou scaffoldsdans la littérature anglo-saxonne, permettant de simplifier des tâches de recherche d’information ou d’écriture (Quintana et al., 2005). Ces étayages visent à restreindre la complexité de la tâche afin de conduire l’enfant à résoudre des problèmes qu’il ne peut affronter seul. Ils peuvent notamment aider à formuler des questions de recherche, des hypothèses, des protocoles.

La conception de tels étayages a constitué l’une des propositions phares portées par l’application. Certains jouent le rôle d’ouvreurs de phrase et sont directement inspirés duKnowledge Forum (Scardamelia et Bereiter, 2003 ; Laferrière et Lamon, 2010), d’autres correspondent à des questions d’auto-évaluation visant à aider les élèves à réfléchir sur leurs productions écrites ; plus généralement, ils visent à structurer la démarche dans son ensemble (Quintana, 2005). L’introduction de tels étayages a engendré plusieurs formes de contradictions dans l’objet de l’activité.

Tout d’abord les projets Savanturiersne s’inscrivent pas toujours dans une logique de démarche d’investigation, qu’elle corresponde à des projets scientifiques ou technologiques.

Un tel fait tient notamment au succès du programme. Ce dernier a rapidement dépassé le cadre des sciences naturelles pour investir des champs comme l’urbanisme, la philosophie, la sociologie ou le droit. Il attire désormais des enseignants dirigés vers lui par les rectorats. Ces derniers enseignants n’ont pas encore la familiarité avec la démarche suivie et certains peuvent ne pas partager totalement les valeurs fondatrices du programme.

Nous avons mis en évidence un certain nombre de contradictions sur la base d’observations de classe, d’entretiens avec les enseignants, et de statistiques descriptives relatives au développement du programme Savanturiers.

Plurivocalité du processus de conception

La plurivocalité (Decortis, 2015) du processus de conception a posé problème en matière de cohérence globale de l’artefact. Les chercheurs ont en général tenté de réifier dans leurs EIAH leurs idées, et plus généralement les idées issues de la recherche scientifique, à travers des maquettes issues de la traduction de modèles théoriques, ou de prototypes de laboratoires.

Les Savanturiers se sont fondés sur le modèle dit “d’Éducation par la Recherche” (Ansour, 2017), dont le rôle dans le développement du projet a été substantiel malgré les problèmes de définition qui le caractérisent.

Ce « modèle en huit étapes » a eu un rôle majeur. Il suggère en effet une succession d’activités pédagogiques, inspirées de la transposition de l’activité professionnelle du chercheur, et qui peuvent donner lieu à une ou plusieurs séances. Cette approche a inspiré, ou a minimalégitimé, la création d’outils instrumentant de manière spécifique chacune des étapes.

Enfin, des compromis ont dû être recherchés en permanence par l’entreprise, notamment pour chercher à satisfaire aux demandes exprimées par les partenaires tout en ne négligeant pas sa propre stratégie. L’industriel a par exemple défendu le choix du fonctionnement par groupes aux dépens d’une logique d’appropriation individuelle, mais s’est adapté en définitive aux demandes de partenaires sur ce point précis.

En tout cas, les choix effectués sur le plan technologique ont eu des impacts substantiels sur les utilisations en classe, que nous nous attachons à analyser.Les solutions qui ont parfois emporté l’accord au sein des réunions de conception ont eu des effets quant à l’utilité et à l’utilisabilité du CNEC en classe.

Familiarisation et retours sur les prototypes

La prise en main du prototype par les enseignants représentait une étape de familiarisation indispensable pour s’assurer que l’essentiel des fonctionnalités présentes étaient connues en amont de toute utilisation en classe. Cela facilitait le choix des modules qui leur paraîtraient les plus appropriés à leurs besoins.

La nécessité de familiariser les enseignants avec le CNEC avant son utilisation en conditions écologiques a été également prise en compte en raison des problèmes d’ergonomie posés par les interfaces et par la multiplicité des bugs techniques qui n’avaient pas été réglés au moment des premiers tests. Il était problématique d’exiger de la part d’enseignants partenaires d’utiliser de tels prototypes en classe sans accompagnement préalable.

Pour faciliter la familiarisation avec la technologie, les interfaces développées ont été projetées dans un premier temps sur un tableau, les interactions possibles avec l’interface étant exposées et commentées. Après des échanges avec les enseignants, ceux-ci reproduisaient les actions présentées, le plus souvent sur leur propre appareil, et via des identifiants personnalisés conçus pour eux.

Les manipulations de l’artefact réalisées lors des cocons s’accompagnaient d’un recueil des verbalisations, consistant à demander à l’utilisateur de penser à haute voix durant la tâche proposée afin d’identifier les raisonnements qu’il mettait en œuvre pour réaliser la tâche demandée. En sus des problèmes d’ergonomie, que nous recensions et transmettions à l’industriel, nous cherchions à identifier dans quelles conditions ils utiliseraient le prototype, pour quel type d’activité, et quelles fonctionnalités supplémentaires seraient nécessaires pour les activités envisagées. Ce faisant, nous avons poursuivi le travail mené avec les maquettes au cours de l’année précédente, mais cette fois sur la base de prototypes codés.

Bibliographie

Recherche sur les utilisations du CNEC en classe en 2019

Charlotte Barbier, Matthieu Cisel, Georges-Louis Baron, 12/06/19

Choix fondamentaux

Pour des raisons liées au développement du logiciel, larecherche sur le terrain, lancée n’a pu commencer que début 2019, lorsque des versions suffisamment stables del’application ont été disponibles. 

Nous avions envisagé un moment nous inscrire dans une perspective fondée sur une approche expérimentale, mais une série de considérations nous ont conduit à un autre choix.

La principale est que les résultats auraient été rapidement obsolètes. Une simple modification des interfaces peut en effet suffire à faire varier considérablement les résultats d’une expérimentation. Les protocoles expérimentaux n’auraient eu de sens que si l’application avait été stabilisée techniquement et sur le point d’être industrialisée.

Au-delà du fait que le CNEC évoluait encore trop rapidement pour être testé de cette manière en classe, les retards pris dans le développement ont affecté le calendrier initial des tests utilisateurs.

Pour conclure, une telle démarche imposait de décider en lieu et place des enseignants le déroulé des séances durant lesquelles le CNEC était utilisé, ce qui était contradictoire avec l’un des principaux objectifs de ces tests : appréhender la manière dont les artefacts produits seraient utilisés en classe. Nous avons préféré laisser aux enseignants le plus possible d’agentivité dans l’organisation des séances mobilisant le CNEC, afin d’éviter de produire des conditions d’utilisation artificielles.

L’utilisation d’approches qualitatives nous a permis de contourner en partie les problèmes qu’aurait posés la mise en place d’approches expérimentales plus quantitatives. Cependant, les résultats du travail de recherche ont été dans une large mesure perturbés par les retards pris dans le développement du code et par les problèmes d’utilisabilité.

Ces derniers ont interféré dans le processus de collecte de données, notamment car des enseignants ont été réticents à utiliser le CNEC lorsqu’ils faisaient face à plus de problèmes techniques qu’ils n’en pouvaient gérer. Des modifications techniques ont été apportées en fin de projet, il reste à prouver que celles-ci sont suffisantes pour permettre une utilisation effective de cet environnement en classe

Pour faciliter le processus de recrutement de testeurs, le programme Savanturiers, dans son formulaire d’inscription à destination de tous les enseignants français et diffusé en mai, a rajouté une question invitant ceux qui souhaitent participer aux tests utilisateurs à se signaler, indépendamment de la thématique dans laquelle ils désirent s’inscrire. Pour les enseignants partenaires, les thématiques traitées ne se cantonnent par conséquent plus désormais à la seule climatologie.

Des enseignants relevant de thématiques comme l’urbanisme, ou la création de jeux vidéos, sont venus s’ajouter au groupe initial de partenaires. Le nombre d’établissements concernés s’est sensiblement accru, les chercheurs ont multiplié les observations dans les classes. D’autres observations ont également été effectuées par des responsables du programme Savanturiers lors de certains tests utilisateurs où les chercheurs n’ont pas été présents.

La méthodologie d’observation mobilisée lors de la phase de mise à l’épreuve des différentes versions du prototype est sensiblement la même que celle qui avait été adoptée lors de l’observation de projets non instrumentés par les prototypes du CNEC. Une grille thématique a été élaborée pour rendre compte des différents pôles du système d’activité, qui correspondait à une forme plus avancée du système d’activité que nous avons étudié au cours des observations préliminaires à tout développement. L’observation a principalement eu un caractère ethnographiquesur une durée longue (plusieurs mois).

En début de projet, avant une séance de test du CNEC impliquant un chercheur, un entretien téléphonique était généralement réalisé, au cours duquel l’enseignant informait de l’organisation de la séance qu’il avait envisagée, de la nature de l’activité que les élèves seraient invités à réaliser, et les modules de l’application mobilisés. Au cours de la première année du consortium, lorsqu’un seul module avait été développé (le mur d’idées), le choix s’imposait de lui-même.

Durant la troisième année du projet, au cours de laquelle l’essentiel des tests utilisateurs ont été menés, une demi-douzaine de modules étaient utilisables en classe, de sorte que les enseignants pouvaient décider de tous les mobiliser pour leur projet Savanturiers, ou de n’en mobiliser qu’une partie. Des réunions ont été organisées à intervalles réguliers au sein du laboratoire pour discuter deséléments saillants de ces observations.

Le tableau ci-dessous présente la liste desétablissements où se sont déroulées les observations. Pour permettre de prendre la mesure de l’investissement dans le travail de terrain au cours des trois années du projet, nous y incluons les observations réalisées dans des établissements qui n’ont pas pris part aux tests utilisateurs de la troisième année du projet. Dans ce dernier cas, la période d’observation est précisée.

Code établ.NiveauAcadémieNb. classesNb. ensNombre de séances observées
AÉlémentaire (CM1)Paris111
B)Élémentaire (CE2)Paris227
CCollège (5ème)Paris123
DÉlémentaire (CM1)Paris118
ECollège (3ème)Créteil121
FBTSParis113
GCollège (5ème)Créteil133






A0CollègeParis1312 (2016-2018)
B0Élémentaire (CE2)Créteil118 (2016-2017)
C0CollègeParis119 (2016-2017)

Tableau 1 : Détail des observations de tests utilisateurs réalisées par les chercheurs lors de la dernière année du projet. Les trois dernières lignes incluent des classes observées au cours des années précédentes.

Modalités d’observation et de suivi des tests utilisateurs

Quatre chercheurs (G-L Baron, M. Cisel, P. Kummer, E. Voulgre) et une stagiaire en Master 2 (C. Barbier) se sont investis dans les observations de classe. Après les séances, les chercheurs ont tenu des périodes de débriefing avec les enseignants et des réunions hebdomadaires ont permis de faire le point et d’harmoniser les procédures suivies.

De la même manière qu’au cours des deux premières années, les instruments mobilisés par les élèves et les enseignants, en dehors du seul CNEC, ont été observés selon la même approche que pour les projets Savanturiers non instrumentés. La seule addition vis-à-vis de la collecte des productions d’élèves réside dans le fait que nous collections des productions réalisées au sein du CNEC. Nous avions les identifiants et mot de passe de l’ensemble des enseignants partenaires, de sorte que nous pouvions visualiser et agréger dans un document unique les écrits que leurs élèves avaient réalisés sur les modules utilisés, comme le Mur d’idées, ou la Fiche-Recherche, ainsi que les commentaires écrits éventuellement laissés par les enseignants.

Enfin, lors de plusieurs comités de conception, des retours ont été faits aux enseignants et plusieurs entretiens de groupe focalisés ont été réalisés.

Jusqu’à quatre chercheur.e.s sont venus réaliser des observations de manière simultanée dans une classe, auxquels se sont parfois ajoutés des représentants du programme Savanturiers, ou des académies impliquées.

Leur intervention s’est avant tout centrée sur l’observation, prolongeant en classe l’accompagnement commencé lors des Comités de Conception. Il a fallu parfois également aider les enseignants en cas de problèmes de fonctionnement du CNEC, ainsi que les groupes d’élèves ne parvenant pas à se connecter à l’application, quelle qu’en soit la raison.

Le choix de venir en nombre a donc permis d’aider dans la résolution des problèmes techniques rencontrés tant par les enseignants que par les élèves, contribuant ainsi à l’amélioration du déroulement des tests utilisateurs.

Nous avons cependant conscience du fait que nous avons introduit une source de biais potentielle, dans la mesure où les conditions de passation des tests ne sont donc pas exactement celles auxquelles feraient face des enseignants non accompagnés. Mais l’état encore quelque peu instable de l’application et les problèmes de connexion qui n’étaient pas liés à l’application mais dus à une couverture wifi faible imposaient de procéder de la sorte. Au demeurant, le nombre d’observateurs ne semble pas avoir perturbé outre mesure les élèves qui, généralement concentrés sur leur projet, ont rapidement ignoré les chercheurs.

Résultats relatifs aux utilisations du CNEC en classe

Nous disposons d’un vaste ensemble de données, que nous n’avons pas encore toutes analysées à cette date. Nous présentons ici ce qui nous semble le plus significatif.

Comme nous l’avons expliqué plut tôt dans le document, une partie des enseignants engagés dans le projet de conception ont ouvert leurs classes pour accueillir des chercheurs au cours de la première année du projet, en 2016 et nous les en remercions sincèrement. Un certain nombre d’entre eux ont par ailleurs participé à des ateliers visant à exprimer des besoins en termes d’instrumentation, et à ouvrir leurs classes pour tester les prototypes une fois ceux-ci suffisamment avancés pour être mis à l’épreuve d’une utilisation en classe.

Identification et correction des bugs

Les observations ont bien sûr été l’occasion d’identifier des bugs. Dans la mesure où l’industriel ne venait qu’exceptionnellement dans les salles de classe pendant ces tests, une médiation de ce travail a été organisée pour que lui soient communiqués les problèmes qui relevaient de sa responsabilité.

Des comptes-rendus relatifs aux dysfonctionnements constatés ont été périodiquement envoyés au programme Savanturiers, qui se chargeait alors de convertir ce travail en tickets dans le logiciel Youtrack, permettant de faire l’interface avec les développeurs et de suivre de manière individuelle le devenir de chaque remarque effectuée.

Les dysfonctionnements observés ont été répartis en problèmes techniques (comme un bouton n’apparaissant pas en mode portrait dans l’interface de tablettes à la résolution faible) et ergonomiques. L’industriel a également proposé un « formulaire de bugs » que les enseignants devaient remplir lorsqu’ils constataient des dysfonctionnements. L’expérience a montré que cet outil n’a que peu servi, tant les enseignants manquaient de temps pour suivre cette démarche.

De nouveaux focus groupesont été réalisés lors de deux réunions faisant suite à l’utilisation du CNEC en classe. Les enseignants ont notamment été invités à identifier quels étaient les obstacles à l’utilisation des différents modules des prototypes utilisés, ainsi que leur valeur ajoutée par rapport aux instruments qu’ils mobilisaient en amont, et sur les fonctionnalités qu’ils estimaient manquer.

Les entretiens ont été structurés de sorte à éviter de s’attarder sur les remarques triviales – difficultés de connexion et problèmes d’ergonomie en premier lieu. Ces remarques étaient en effet transmises au cours des cocons dans des temps d’échange avec l’industriel, mais non pas au cours des focus-groupes, dont la fonction était avant tout de répondre à des enjeux épistémiques, i.e. répondre à des questions de recherche qui dépassent le seul contexte du cas d’étude qu’est le CNEC.

Les serveurs de l’industriel ont collecté un certain nombre de traces lors des tests utilisateurs. Ces traces nous ont été transmises après anonymisation, sous la forme d’une base SQL. Nous sommes actuellement en train d’analyser ces traces pour identifier la manière dont elles peuvent être croisées avec les approches plus qualitatives que nous avons menées par ailleurs. En addition des observations menées en classe, nous avons participé aux comités de conception qui ont ponctué l’année.

Un large spectre d’utilisations en fonction des niveaux et des établissements

Un large spectre de situations et utilisations ont été observées dans les classes et les difficultés rencontrées par les enseignants étaient en partie dépendantes du contexte spécifique de leur projet et de l’infrastructure informatique de leur établissement. Par exemple, dans plusieurs écoles, des problèmes de connexion au réseau internet de l’établissement ont demandé la mise en place de stratégies de contournement telle que l’utilisation du partage de connexion du smartphone de l’enseignant.

Le plus souvent, un module ou deux tout au plus du CNEC étaient utilisés au cours d’une séance donnée, en cohérence avec la logique dans lequel le CNEC a été pensé. Il est néanmoins arrivé qu’un enseignant décide d’utiliser jusqu’à trois modules dans un même cours ; il déclarait vouloir réduire au minimum le nombre de séances durant lesquelles le CNEC, considéré comme perturbateur de l’activité, serait utilisé.

Le CNEC a surtout été utilisé durant les premières étapes des projets : pour le recueil des questions ou propositions des élèves et pour consulter, partager et sauvegarder des documents relatifs au projet de la classe. Le CNEC a aussi été utilisé par une partie des enseignants pour la formulation d’une problématique, d’hypothèses et d’un protocole. Néanmoins, nous n’avons pas observé d’enseignant utiliser le CNEC à d’autres étapes de leur projet telle que la rédaction des résultats de la recherche menée. De plus, le CNEC était essentiellement utilisé à la discrétion de l’enseignant et très rarement suite à l’initiative des élèves.

Lors des échanges que nous avons conduits avec eux, les enseignants nous ont fait part des apports du CNEC pour leur pratique. De façon générale, ils et elles considèrent que l’un des avantages du CNEC est de pouvoir garder des traces du travail réalisé tout au long du projet et de visualiser, grâce à la fiche recherche, où les élèves en sont dans l’avancement de leur recherche et ainsi les aider à structurer leur démarche.

Nos interlocuteurs de primaire ont évoqué le fait le CNEC offre la possibilité de familiariser leurs élèves à l’utilisation du numérique dans une logique de travail scolaire et à apprendre à manipuler une application. Ils ont également souligné que le CNEC permet de montrer aux élèves qu’un travail de recherche ne signifie pas un travail bâclé et que même un brouillon peut être structuré.

Des enseignants du secondaire ont plébiscité le fait que le CNEC facilite la gestion du travail en classe en rassemblant en un seul instrument différents outils en classe et parce qu’ils pouvaient accéder aux productions des élèves et passer rapidement de l’une à l’autre depuis leur compte au lieu d’aller voir physiquement chaque groupe.