Archives de catégorie : méthodologie

Recherche sur les utilisations du CNEC en classe en 2019

Charlotte Barbier, Matthieu Cisel, Georges-Louis Baron, 12/06/19

Choix fondamentaux

Pour des raisons liées au développement du logiciel, larecherche sur le terrain, lancée n’a pu commencer que début 2019, lorsque des versions suffisamment stables del’application ont été disponibles. 

Nous avions envisagé un moment nous inscrire dans une perspective fondée sur une approche expérimentale, mais une série de considérations nous ont conduit à un autre choix.

La principale est que les résultats auraient été rapidement obsolètes. Une simple modification des interfaces peut en effet suffire à faire varier considérablement les résultats d’une expérimentation. Les protocoles expérimentaux n’auraient eu de sens que si l’application avait été stabilisée techniquement et sur le point d’être industrialisée.

Au-delà du fait que le CNEC évoluait encore trop rapidement pour être testé de cette manière en classe, les retards pris dans le développement ont affecté le calendrier initial des tests utilisateurs.

Pour conclure, une telle démarche imposait de décider en lieu et place des enseignants le déroulé des séances durant lesquelles le CNEC était utilisé, ce qui était contradictoire avec l’un des principaux objectifs de ces tests : appréhender la manière dont les artefacts produits seraient utilisés en classe. Nous avons préféré laisser aux enseignants le plus possible d’agentivité dans l’organisation des séances mobilisant le CNEC, afin d’éviter de produire des conditions d’utilisation artificielles.

L’utilisation d’approches qualitatives nous a permis de contourner en partie les problèmes qu’aurait posés la mise en place d’approches expérimentales plus quantitatives. Cependant, les résultats du travail de recherche ont été dans une large mesure perturbés par les retards pris dans le développement du code et par les problèmes d’utilisabilité.

Ces derniers ont interféré dans le processus de collecte de données, notamment car des enseignants ont été réticents à utiliser le CNEC lorsqu’ils faisaient face à plus de problèmes techniques qu’ils n’en pouvaient gérer. Des modifications techniques ont été apportées en fin de projet, il reste à prouver que celles-ci sont suffisantes pour permettre une utilisation effective de cet environnement en classe

Pour faciliter le processus de recrutement de testeurs, le programme Savanturiers, dans son formulaire d’inscription à destination de tous les enseignants français et diffusé en mai, a rajouté une question invitant ceux qui souhaitent participer aux tests utilisateurs à se signaler, indépendamment de la thématique dans laquelle ils désirent s’inscrire. Pour les enseignants partenaires, les thématiques traitées ne se cantonnent par conséquent plus désormais à la seule climatologie.

Des enseignants relevant de thématiques comme l’urbanisme, ou la création de jeux vidéos, sont venus s’ajouter au groupe initial de partenaires. Le nombre d’établissements concernés s’est sensiblement accru, les chercheurs ont multiplié les observations dans les classes. D’autres observations ont également été effectuées par des responsables du programme Savanturiers lors de certains tests utilisateurs où les chercheurs n’ont pas été présents.

La méthodologie d’observation mobilisée lors de la phase de mise à l’épreuve des différentes versions du prototype est sensiblement la même que celle qui avait été adoptée lors de l’observation de projets non instrumentés par les prototypes du CNEC. Une grille thématique a été élaborée pour rendre compte des différents pôles du système d’activité, qui correspondait à une forme plus avancée du système d’activité que nous avons étudié au cours des observations préliminaires à tout développement. L’observation a principalement eu un caractère ethnographiquesur une durée longue (plusieurs mois).

En début de projet, avant une séance de test du CNEC impliquant un chercheur, un entretien téléphonique était généralement réalisé, au cours duquel l’enseignant informait de l’organisation de la séance qu’il avait envisagée, de la nature de l’activité que les élèves seraient invités à réaliser, et les modules de l’application mobilisés. Au cours de la première année du consortium, lorsqu’un seul module avait été développé (le mur d’idées), le choix s’imposait de lui-même.

Durant la troisième année du projet, au cours de laquelle l’essentiel des tests utilisateurs ont été menés, une demi-douzaine de modules étaient utilisables en classe, de sorte que les enseignants pouvaient décider de tous les mobiliser pour leur projet Savanturiers, ou de n’en mobiliser qu’une partie. Des réunions ont été organisées à intervalles réguliers au sein du laboratoire pour discuter deséléments saillants de ces observations.

Le tableau ci-dessous présente la liste desétablissements où se sont déroulées les observations. Pour permettre de prendre la mesure de l’investissement dans le travail de terrain au cours des trois années du projet, nous y incluons les observations réalisées dans des établissements qui n’ont pas pris part aux tests utilisateurs de la troisième année du projet. Dans ce dernier cas, la période d’observation est précisée.

Code établ.NiveauAcadémieNb. classesNb. ensNombre de séances observées
AÉlémentaire (CM1)Paris111
B)Élémentaire (CE2)Paris227
CCollège (5ème)Paris123
DÉlémentaire (CM1)Paris118
ECollège (3ème)Créteil121
FBTSParis113
GCollège (5ème)Créteil133






A0CollègeParis1312 (2016-2018)
B0Élémentaire (CE2)Créteil118 (2016-2017)
C0CollègeParis119 (2016-2017)

Tableau 1 : Détail des observations de tests utilisateurs réalisées par les chercheurs lors de la dernière année du projet. Les trois dernières lignes incluent des classes observées au cours des années précédentes.

Modalités d’observation et de suivi des tests utilisateurs

Quatre chercheurs (G-L Baron, M. Cisel, P. Kummer, E. Voulgre) et une stagiaire en Master 2 (C. Barbier) se sont investis dans les observations de classe. Après les séances, les chercheurs ont tenu des périodes de débriefing avec les enseignants et des réunions hebdomadaires ont permis de faire le point et d’harmoniser les procédures suivies.

De la même manière qu’au cours des deux premières années, les instruments mobilisés par les élèves et les enseignants, en dehors du seul CNEC, ont été observés selon la même approche que pour les projets Savanturiers non instrumentés. La seule addition vis-à-vis de la collecte des productions d’élèves réside dans le fait que nous collections des productions réalisées au sein du CNEC. Nous avions les identifiants et mot de passe de l’ensemble des enseignants partenaires, de sorte que nous pouvions visualiser et agréger dans un document unique les écrits que leurs élèves avaient réalisés sur les modules utilisés, comme le Mur d’idées, ou la Fiche-Recherche, ainsi que les commentaires écrits éventuellement laissés par les enseignants.

Enfin, lors de plusieurs comités de conception, des retours ont été faits aux enseignants et plusieurs entretiens de groupe focalisés ont été réalisés.

Jusqu’à quatre chercheur.e.s sont venus réaliser des observations de manière simultanée dans une classe, auxquels se sont parfois ajoutés des représentants du programme Savanturiers, ou des académies impliquées.

Leur intervention s’est avant tout centrée sur l’observation, prolongeant en classe l’accompagnement commencé lors des Comités de Conception. Il a fallu parfois également aider les enseignants en cas de problèmes de fonctionnement du CNEC, ainsi que les groupes d’élèves ne parvenant pas à se connecter à l’application, quelle qu’en soit la raison.

Le choix de venir en nombre a donc permis d’aider dans la résolution des problèmes techniques rencontrés tant par les enseignants que par les élèves, contribuant ainsi à l’amélioration du déroulement des tests utilisateurs.

Nous avons cependant conscience du fait que nous avons introduit une source de biais potentielle, dans la mesure où les conditions de passation des tests ne sont donc pas exactement celles auxquelles feraient face des enseignants non accompagnés. Mais l’état encore quelque peu instable de l’application et les problèmes de connexion qui n’étaient pas liés à l’application mais dus à une couverture wifi faible imposaient de procéder de la sorte. Au demeurant, le nombre d’observateurs ne semble pas avoir perturbé outre mesure les élèves qui, généralement concentrés sur leur projet, ont rapidement ignoré les chercheurs.

Résultats relatifs aux utilisations du CNEC en classe

Nous disposons d’un vaste ensemble de données, que nous n’avons pas encore toutes analysées à cette date. Nous présentons ici ce qui nous semble le plus significatif.

Comme nous l’avons expliqué plut tôt dans le document, une partie des enseignants engagés dans le projet de conception ont ouvert leurs classes pour accueillir des chercheurs au cours de la première année du projet, en 2016 et nous les en remercions sincèrement. Un certain nombre d’entre eux ont par ailleurs participé à des ateliers visant à exprimer des besoins en termes d’instrumentation, et à ouvrir leurs classes pour tester les prototypes une fois ceux-ci suffisamment avancés pour être mis à l’épreuve d’une utilisation en classe.

Identification et correction des bugs

Les observations ont bien sûr été l’occasion d’identifier des bugs. Dans la mesure où l’industriel ne venait qu’exceptionnellement dans les salles de classe pendant ces tests, une médiation de ce travail a été organisée pour que lui soient communiqués les problèmes qui relevaient de sa responsabilité.

Des comptes-rendus relatifs aux dysfonctionnements constatés ont été périodiquement envoyés au programme Savanturiers, qui se chargeait alors de convertir ce travail en tickets dans le logiciel Youtrack, permettant de faire l’interface avec les développeurs et de suivre de manière individuelle le devenir de chaque remarque effectuée.

Les dysfonctionnements observés ont été répartis en problèmes techniques (comme un bouton n’apparaissant pas en mode portrait dans l’interface de tablettes à la résolution faible) et ergonomiques. L’industriel a également proposé un « formulaire de bugs » que les enseignants devaient remplir lorsqu’ils constataient des dysfonctionnements. L’expérience a montré que cet outil n’a que peu servi, tant les enseignants manquaient de temps pour suivre cette démarche.

De nouveaux focus groupesont été réalisés lors de deux réunions faisant suite à l’utilisation du CNEC en classe. Les enseignants ont notamment été invités à identifier quels étaient les obstacles à l’utilisation des différents modules des prototypes utilisés, ainsi que leur valeur ajoutée par rapport aux instruments qu’ils mobilisaient en amont, et sur les fonctionnalités qu’ils estimaient manquer.

Les entretiens ont été structurés de sorte à éviter de s’attarder sur les remarques triviales – difficultés de connexion et problèmes d’ergonomie en premier lieu. Ces remarques étaient en effet transmises au cours des cocons dans des temps d’échange avec l’industriel, mais non pas au cours des focus-groupes, dont la fonction était avant tout de répondre à des enjeux épistémiques, i.e. répondre à des questions de recherche qui dépassent le seul contexte du cas d’étude qu’est le CNEC.

Les serveurs de l’industriel ont collecté un certain nombre de traces lors des tests utilisateurs. Ces traces nous ont été transmises après anonymisation, sous la forme d’une base SQL. Nous sommes actuellement en train d’analyser ces traces pour identifier la manière dont elles peuvent être croisées avec les approches plus qualitatives que nous avons menées par ailleurs. En addition des observations menées en classe, nous avons participé aux comités de conception qui ont ponctué l’année.

Un large spectre d’utilisations en fonction des niveaux et des établissements

Un large spectre de situations et utilisations ont été observées dans les classes et les difficultés rencontrées par les enseignants étaient en partie dépendantes du contexte spécifique de leur projet et de l’infrastructure informatique de leur établissement. Par exemple, dans plusieurs écoles, des problèmes de connexion au réseau internet de l’établissement ont demandé la mise en place de stratégies de contournement telle que l’utilisation du partage de connexion du smartphone de l’enseignant.

Le plus souvent, un module ou deux tout au plus du CNEC étaient utilisés au cours d’une séance donnée, en cohérence avec la logique dans lequel le CNEC a été pensé. Il est néanmoins arrivé qu’un enseignant décide d’utiliser jusqu’à trois modules dans un même cours ; il déclarait vouloir réduire au minimum le nombre de séances durant lesquelles le CNEC, considéré comme perturbateur de l’activité, serait utilisé.

Le CNEC a surtout été utilisé durant les premières étapes des projets : pour le recueil des questions ou propositions des élèves et pour consulter, partager et sauvegarder des documents relatifs au projet de la classe. Le CNEC a aussi été utilisé par une partie des enseignants pour la formulation d’une problématique, d’hypothèses et d’un protocole. Néanmoins, nous n’avons pas observé d’enseignant utiliser le CNEC à d’autres étapes de leur projet telle que la rédaction des résultats de la recherche menée. De plus, le CNEC était essentiellement utilisé à la discrétion de l’enseignant et très rarement suite à l’initiative des élèves.

Lors des échanges que nous avons conduits avec eux, les enseignants nous ont fait part des apports du CNEC pour leur pratique. De façon générale, ils et elles considèrent que l’un des avantages du CNEC est de pouvoir garder des traces du travail réalisé tout au long du projet et de visualiser, grâce à la fiche recherche, où les élèves en sont dans l’avancement de leur recherche et ainsi les aider à structurer leur démarche.

Nos interlocuteurs de primaire ont évoqué le fait le CNEC offre la possibilité de familiariser leurs élèves à l’utilisation du numérique dans une logique de travail scolaire et à apprendre à manipuler une application. Ils ont également souligné que le CNEC permet de montrer aux élèves qu’un travail de recherche ne signifie pas un travail bâclé et que même un brouillon peut être structuré.

Des enseignants du secondaire ont plébiscité le fait que le CNEC facilite la gestion du travail en classe en rassemblant en un seul instrument différents outils en classe et parce qu’ils pouvaient accéder aux productions des élèves et passer rapidement de l’une à l’autre depuis leur compte au lieu d’aller voir physiquement chaque groupe.

Mettre en place une approche expérimentale ?

Matthieu Cisel

Etre chercheur et enseignant, une tension à gérer

Les problèmes rencontrés pour mettre en place un protocole expérimental de recherche sont de plusieurs ordres. Comment par exemple mesurer les performances des élèves de manière rigoureuse ? Il suffirait qu’ils copient les uns sur les autres pendant le test, et toute l’expérience serait mise en péril.

Il faut aussi que les tests réalisés se déroulent dans des conditions comparables. Vaste programme. De même, au nom de la comparabilité des conditions de l’expérience, on ne peut pas aider un élève davantage que les autres, même si cela a du sens sur le plan pédagogique. Enfin, il faudrait constituer un groupe témoin, c’est-à-dire un groupe avec lequel on ne testera pas l’application. Et non, on ne peut pas juste dire, cette classe sera mon groupe témoin, celle-là sera celle avec qui je testerai l’application. Problèmes de logistique en perspective. C’est sur ce point particulier que nous commencerons notre récit.

Constituer des groupes expérimentaux : un casse-tête logistique

De l’importance de la randomisation

Un protocole classique est fondé sur la constitution d’un groupe témoin et d’un groupe expérimental. L’un utiliserait l’application numérique, l’autre non. Premier problème : la constitution de ces groupes.

Utiliser une classe comme témoin, et l’autre comme groupe expérimental pose problème sur le plan scientifique : on irait à l’encontre de certains principes de base de la méthode expérimentale comme le principe de randomisation que l’on doit suivre lors de la constitution de l’échantillon ; le problème est le même si l’on a dix classes ou si l’on en a deux. Pour être rigoureux, il faudrait diviser chaque classe en deux de manière aléatoire pour produire deux sous-groupes, chacun réalisant des activités différentes. La logique sous-tendant une telle démarche est assez simple, comme nous allons le voir dans la section qui suit.

Des effets confondants qui mettent en péril la validité de l’expérience

Tout enseignant sait que les classes dont il a la charge ne sont pas de niveau équivalent, nul besoin d’une démonstration fondée sur la littérature scientifique pour étayer ce propos. Par exemple, les classes ayant pour seconde langue l’allemand rassemblent généralement les meilleurs éléments. C’était d’ailleurs la situation à laquelle je faisais face en tant qu’enseignant, avec une classe dominée par les germanistes, et une autre dont ce n’était pas le cas. Pour des contrôles équivalents, j’ai pu observer deux points de moyenne de différence entre mes deux classes au premier trimestre.

Imaginons maintenant que l’on réalise l’activité censée améliorer les performances avec la meilleure des deux classes. Les performances de la classe expérimentale seront sans doute très supérieures à celle de la classe témoin. Mais on ne pourra pas déterminer si cette différence de performance est due à la pratique mise en place, qu’elle implique ou non du numérique, ou si elle est simplement due au fait que l’expérience a été menée avec la meilleure des deux classes. C’est ce que l’on appelle un effet confondant.

Lorsque l’on modifie deux variables à la fois, une pratique pédagogique d’une part, et le niveau d’une classe d’autre part, il est impossible de déterminer lequel des deux paramètres a eu l’impact le plus important sur la performance de la classe. Une bonne classe, ce n’est pas juste une classe qui a de bonnes performances, c’est une classe qui est capable de bénéficier davantage d’une activité. Car elle est plus attentive, car on perd moins de temps à faire de la discipline, etc. Cela affecte également les gains d’apprentissage, dont l’on aura du coup bien du mal à attribuer l’origine, à la pratique instrumentée en cours d’évaluation, ou à la bonne écoute de la part des élèves.

Des obstacles pratiques à la randomisation

Comment diviser les classes ?

Il aurait donc fallu trouver un moyen de faire des demi-groupes de manière aléatoire au sein d’une classe, et non choisir une classe qui ferait l’expérience, et une autre qui ne la ferait pas. Et c’est là que les choses se sont compliquées. Un chercheur qui ne travaille pas au quotidien dans un établissement scolaire peut sous-estimer les problèmes logistiques qu’une partition aléatoire de la classe représente. Il se trouve que mon collège, comme beaucoup d’autres établissements en France, avait vu sa dotation pour les heures supplémentaires diminuer sensiblement l’année de ma prise de fonction. La quatrième était le seul niveau où nous n’avions pas les budgets en SVT pour diviser la classe ; il fallait procéder autrement. Mais quand bien même aurions-nous eu le budget pour payer des heures supplémentaires, la division aléatoire en demi-groupes n’a rien de naturel.

Comment aménager les emplois du temps ?

Les classes sont généralement divisées en deux sur la base soit du classement alphabétique, soit pour des raisons de calendrier. Cela peut poser nombre de problèmes logistiques qu’un algorithme coupe aléatoirement en deux la classe pour créer ces demi-groupes. Si pendant qu’un demi-groupe suit votre cours, l’autre moitié de la classe a un trou – comprendre chez elle ou en permanence, cela ne pose pas de problème. Mais cela fonctionne rarement ainsi. Pendant qu’un demi-groupe est en SVT, l’autre est généralement dans un autre cours. Du coup il aurait fallu que j’explique à mon collègue enseignant de physique pourquoi je coupe la classe en deux de la manière la plus étrange qui soit, et qu’on ne peut pas suivre les divisions classiques utilisées habituellement.

Par ailleurs, il eut fallu que j’intervienne plus en amont, en juin, au moment de la mise en place des emplois du temps, pour expliquer à la direction de l’établissement la démarche pour qu’elle entre dans les algorithmes de gestion des emplois du temps. Ou au moins leur demander qu’il y ait un trou pour l’autre demi-groupe, ce qui n’est pas de nature à plaire aux élèves, surtout s’ils doivent passer l’heure en permanence au nom de la rigueur expérimentale d’un protocole.

Travailler en classe entière, une solution envisageable mais compliquée

On aurait pu couper aléatoirement la classe en deux, chacune des deux moitiés se consacrant à une activité différente. C’est le principe de la différenciation pédagogique. Certes, c’est une solution, mais c’est plus facile à dire qu’à faire. Le problème réside surtout dans le fait de suivre simultanément deux activités séparées, l’une mobilisant l’application, l’autre non. Mettre en place une activité généralement réalisée en demi-groupes – utiliser un outil digital peut être chronophage – dans une classe à trente élèves constitue déjà un défi en soi. En tant qu’enseignant, gérer par-dessus le marché deux activités distinctes dans un même environnement, c’est compliqué. Mais admettons qu’avec un peu d’expérience, cela soit faisable. Le principal obstacle réside alors dans le fait que les activités des deux demi-groupes ainsi constitués doivent suivre un chronométrage précis pour que les conditions de test soient comparables – et encore le chronométrage ne constitue qu’une seule des variables.

Si un groupe peut travailler pendant 45 minutes pendant que l’autre n’a que 20 minutes, la validité de l’expérience est remise en cause. Pour le moment, nous n’avons fait qu’effleurer le problème des contraintes et des aléas de l’activité enseignantes, n’évoquant que les problèmes logistiques et les aléas des coupes budgétaires. Nous allons voir maintenant comment d’autres formes d’aléas peuvent affecter la mise en œuvre de l’expérience, mais aussi comment la conscience professionnelle de l’enseignant va entrer en contradiction avec la conscience professionnelle du chercheur. Il faut parfois déroger au protocole au nom de l’intérêt de ses élèves, mettant l’expérimentateur qui est en nous dans une position délicate.

Autres difficultés à résoudre

La conception de l’activité que doit réaliser le groupe témoin ne va pas de soi ; on ne peut pas s’en tirer en disant, on va faire quelque chose de complètement différent de l’activité du groupe expérimental. Ensuite, si l’on souhaite être rigoureux, il faut respecter scrupuleusement des questions de temporalités – durée des activités, mais aussi parfois écart temporel entre deux activités. C’est là que les aléas de la vie scolaire interviennent pour mettre en danger presque systématiquement votre protocole. Enfin, si l’on compare des performances individuelles, on ne peut pas aider un élève sans aider toute la classe. La rigueur expérimentale veut qu’on y renonce souvent, même si cela signifie renier certaines des valeurs que l’on porte en tant qu’enseignant.

La comparabilité des conditions de l’expérience à l’épreuve des aléas de la vie scolaire

Concevoir une activité pertinente pour le groupe témoin

Concentrons-nous maintenant sur la question de la pratique que l’on souhaite évaluer. Rappelons qu’il nous faut un groupe expérimental, où l’on teste l’application en question, et un groupe témoin, qui sert de comparaison. En ce qui concerne le groupe expérimental, il s’agissait de tester la technologie que nous développions, le système d’étayage. Tout le problème consiste à déterminer l’activité à réaliser avec le groupe témoin. C’est au moins aussi important que ce que l’on réalise avec le groupe expérimental, car c’est ce qui déterminera ce que l’on est en train de démontrer.

Le problème du temps de connexion à l’application

On ne teste jamais juste l’outil numérique, mais aussi toute la logistique qui va avec. A commencer par un détail pragmatique, le temps de connexion à l’application. Il faut pour se connecter des identifiants spécifiques. Cela prend généralement plus d’un quart d’heure avant que tout le monde soit connecté, et le désordre qu’impliquent les inévitables difficultés à se connecter impacte le bon déroulé de l’activité. Tous les élèves ne mettent pas le même temps, ce qui est un obstacle aigu sur le plan expérimental.

Les plus désengagés, qui prennent l’activité à la légère, mettront parfois le double du temps. On entend alors de manière récurrente : « Monsieur, j’ai oublié ma tablette chez moi », ou « ma tablette est déchargée ». J’avais la chance d’avoir une classe mobile en plus de leurs tablettes individuelles, mais cela voulait dire perdre du temps à noter à qui j’avais prêté une tablette, qu’ils se reconnectent à leur compte et tout ce qui va avec. Théoriquement, il faudrait attendre que les derniers élèves se soient connectés pour laisser les premiers commencer l’activité. Sinon les conditions dans lesquelles les élèves réalisent l’activité ne sont pas comparables. Or, 20 minutes sur une séance de 45, c’est conséquent. Les uns auront travaillé 25 minutes là où les mêmes y auront passé 45.

Les aléas de la connectivité

Avec le premier groupe expérimental, les choses se sont bien passées, et j’estime à environ 30 minutes d’activité, avec des écarts réduits au sein du groupe d’élèves, quelques minutes tout au plus. Et je commence à faire la même chose sur le deuxième groupe d’élèves. Et voilà que la connexion devient beaucoup plus lente au fil de la matinée. La bande passante de l’établissement est encore limitée. Un autre enseignant avait également décidé d’utiliser les tablettes pour l’une de ses activités, et voilà que cela affectait la capacité de mes élèves à naviguer sur Internet. Pendant 20 minutes, l’application était inutilisable et les élèves ont disposé de facto de moitié moins de temps. Alors bien sûr j’ai l’option de reporter le test, en espérant que cette fois ce type de problème n’apparaisse plus. Mais rien ne dit qu’il ne se reproduira pas.

En définitive, j’ai préféré mettre la main à la poche pour résoudre ce problème, en utilisant la connexion de mon propre téléphone portable, ou en employant un galet dédié pour ne plus avoir ce type de problème. J’ai financé une partie de ces tests avec mon forfait, pratique répandue, comme j’ai pu réaliser par la suite en échangeant avec des collègues. Néanmoins, c’est une stratégie qui ne marche que ponctuellement, il est délicat de la généraliser à plusieurs dizaines de classes.

Mesurer des performances dans des conditions comparables : un casse-tête

Le contrôle comme lieu privilégié de la mesure de la performance

Quand on est un expérimentateur extérieur, on ne s’émeut pas de demander à un enseignant de nous prêter une ou deux séances pour réaliser des tests évaluatifs ; certains de mes collègues chercheurs, dans la même situation, ont procédé de la sorte (Savedra, 2016 ; Bonnat, 2017). Mais si ce type de démarche se répète, l’enseignant peut à juste titre arguer du fait qu’il a un curriculum à suivre, et qu’il ne peut sacrifier son programme à l’autel de la recherche. Dans la mesure où je voulais réaliser de nombreux tests pour mesurer la capacité de mes élèves à produire des hypothèses, je pris la décision de faire d’une pierre deux coups, et de me servir des contrôles comme lieu privilégié de mesure de leurs performances. Lors d’un contrôle, il y a un enjeu pour l’élève, il souhaite être au mieux de ses performances. Si l’on organise une activité qui ne pèse pas sur sa scolarité, on mesure autant sa capacité de réflexion que son sérieux à réaliser des activités non notées. Par ailleurs, pendant les contrôles, l’on arrive a priori à faire en sorte que les élèves n’interagissent pas entre eux.

Concevoir des activités équivalentes

Le premier problème auquel j’ai été confronté a été de concevoir ces contrôles comparables. Il est minime si l’on réalise des exercices nombreux et interchangeables : du calcul mental par exemple. On réalise avec les élèves une batterie de tests en septembre, puis une série équivalente en janvier, et on regarde le gain d’apprentissage selon la pratique suivie. Dans ce cas, cela ne pose aucun problème de poser, à quatre mois d’intervalle, strictement les mêmes exercices. Le fait qu’on ait posé le problème 9+5 en septembre n’empêche pas de reposer la même question quatre mois plus tard. Il est par ailleurs possible de concevoir une batterie d’une centaine d’exercices pour lisser ce type de problème.

Il n’en va pas de même pour notre cas d’étude, quand l’on s’intéresse à la rédaction d’hypothèses. Tout d’abord, la démarche n’est pas aussi binaire que le calcul mental ; la réponse n’est pas juste ou fausse. Les critères d’évaluation sont bien moins objectifs, et surtout, il n’est pas pertinent de répéter les mêmes problèmes. Si l’on pose exactement le même problème à quatre mois d’intervalle, beaucoup des élèves risquent de se souvenir des réponses, ou du moins de la réflexion, des échanges et des éventuelles recherches personnelles qui auront suivi le contrôle.

Or la nature du problème posé déterminera sensiblement les performances des élèves. Ils étaient très à l’aise lorsque les problèmes portaient sur des objets de leur quotidien. Typiquement, ils devaient réfléchir aux causes de l’érosion de la biodiversité, et proposer des mécanismes pour expliquer la disparition de telle ou telle espèce : blanchiment des coraux, raréfaction des moineaux en région parisienne, surmortalité des batraciens en Amazonie. Dès lors que l’on abordait des problèmes analogues, mais impliquant des microorganismes – abstraits pour eux, la réflexion tournait court. Leurs capacités de raisonnement ne s’étaient pas effondrées du jour au lendemain, mais les conditions d’évaluation des performances n’étaient pas comparables. Du coup, il est nécessaire que les problèmes soumis aux élèves soient équivalents d’un test sur l’autre, et, dans l’idéal, à un instant T, absolument identiques pour tous les élèves du groupe témoin et du groupe expérimental. C’est là que l’on se heurte à un nouveau problème : la taille des salles de classes.

Contraintes des établissements scolaires : l’exemple de la taille des salles de classes

Dans le collège dans lequel j’exerçais, il n’existait pas de salle destinée spécifiquement à la passation des contrôles, avec des tables suffisamment éloignées les unes pour empêcher la triche. On se heurte du coup au problème suivant : soit on leur donne le même sujet et l’on accepte que certains élèves copient sur leurs voisins, c’est inévitable. Ils se communiquent les sujets des contrôles entre classes dès qu’ils le peuvent. Si une classe passe à 9h30, et la suivante à 10h30, vous pouvez être sûr que les sujets des contrôles auront circulé entre temps et potentiellement biaisé l’expérience. Deuxième option, qui ne fait qu’atténuer le problème : on utilise la parade on ne peut plus classique qui consiste à donner des sujets sensiblement différents. Mais là on retombe sur la question de la nature des problèmes posés : un élève aura beaucoup d’idées pour expliquer pourquoi les moineaux disparaissent, mais il sera complètement démuni si on lui soumet le problème de la disparition des anguilles dans les rivières françaises.

Tiraillé entre deux consciences professionnelles

Continuons sur le problème de la similitude des conditions dans lesquelles les élèves sont amenés à réaliser leurs performances. Le problème qui suit est en théorie parfaitement évitable ; il illustre en revanche parfaitement le tiraillement qu’implique parfois la double casquette expérimentateur et enseignant : il s’agit de la question de l’aide aux élèves en difficulté. Il est magnifié par le fait que j’avais choisi de faire d’une pierre deux coups, les tests servant pour les expériences servant également de base à l’évaluation des élèves, mais concerne en pratique tout type de test où l’on mesure des performances individuelles. En principe, si l’on veut que les conditions expérimentales soient exactement les mêmes pour tous les élèves, il n’est pas question d’intervenir pendant le test pour apporter de l’aide à tel ou tel individu, sauf à donner strictement la même aide à tout le monde.

Du coup, si un élève est en véritable difficulté et qu’il a besoin d’un simple coup de pouce pour se lancer, comment lui refuser au nom du suivi strict du protocole d’évaluation ? A titre personnel, j’ai craqué, et je suis allé aider ceux qui étaient en plus grande difficulté, des coups de pouce personnalisés, fondés sur des dialogues que je ne pouvais répéter avec l’ensemble de la classe au risque de les perturber inutilement pendant le contrôle. Et j’ai réussi à faire comprendre des choses qu’ils n’avaient pas comprises pendant les travaux dirigés, et qu’ils n’ont compris que pendant le contrôle.

De petits aléas peuvent biaiser les expériences

Dernier point relatif à la question de la comparabilité des conditions de passation des tests : la question du calendrier. Il n’est guère besoin d’une longue expérience dans l’enseignement pour savoir que ce n’est pas la même chose, en termes d’attention des élèves, de faire un contrôle le lundi matin ou le vendredi après-midi, avant les vacances ou après les vacances, à 9h30 lorsqu’ils sont fraîchement débarqués, ou à 11h30, juste avant la pause déjeuner. Parfois, on n’a guère le choix, et on peut estimer que l’expérience ne sera pas totalement faussée s’il y a une heure d’écart entre le groupe témoin et le groupe expérimental. En revanche, si elle se déroule sur plusieurs semaines, le problème est tout autre, et vous avez sans doute biaisé considérablement votre expérience.

L’exemple qui suit illustrera à nouveau les aléas de la vie scolaire qui viennent fausser les résultats. J’avais fait un contrôle avec un premier groupe la veille des vacances. Lorsque vient le moment de faire passer le second groupe, je découvre que la moitié de la classe est absente car dans un atelier organisé ce jour-là. L’annonce avait peut-être circulé en amont, mais pour une raison ou pour une autre, je n’avais pas été au courant. Bien sûr, on peut reporter le contrôle du deuxième groupe – faire faire une seconde fois le contrôle au premier groupe après les vacances n’est pas envisageable. Mais cela signifie plus de temps pour réviser. Et mon expérience montre que les résultats étaient bien meilleurs quand les contrôles étaient réalisés au retour des vacances. Et je vous passe le problème des élèves qui sont absents au contrôle, et qui doivent le repasser par la suite et peuvent donc dès lors être considérés comme des cas particuliers. Ce type d’effet est peut-être lissé si l’on mobilise des dizaines de classes, mais cela reste à démontrer.

En conclusion

Des biais pas si lissés

En endossant simultanément le rôle de l’enseignant et celui du chercheur, posture assez classique au demeurant, j’avais en théorie davantage de contrôle sur les variables d’intérêt. Je pouvais en principe produire des résultats plus rigoureux que si j’avais eu à composer avec des enseignants sans doute réfractaires à appliquer un protocole contraignant et à modifier leurs pratiques habituelles au nom de la rigueur scientifique. Cette expérience m’a permis de prendre la mesure de la difficulté de la tâche. J’étais au fait des nombreuses critiques sur l’introduction des approches expérimentales en sciences humaines, mais rien de tel pour l’illustration de ces problèmes qu’une expérience de première main.

Défaut de généricité des résultats

La seconde frustration que nous avons redoutée est, en définitive, la faible généricité des résultats que nous pouvons obtenir via l’approche expérimentale, et le risque de s’être trompé d’indicateur. Suivre une telle démarche implique que les variables d’intérêt sont clairement identifiées à l’avance, et que les chercheurs savent précisément ce qu’ils souhaitent collecter. Dans le cas des étayages du CNEC, on peut vouloir changer d’indicateur de qualité des productions écrites, et regarder par exemple la richesse du vocabulaire utilisé par les élèves. Si ces productions sont bien archivées, cela ne pose pas de problème particulier. Mais s’il faut collecter les données à la volée – comme par exemple le temps que les élèves mettent à réaliser leur première production, il est trop tard pour revenir en arrière.

Par ailleurs, dans quelle mesure le résultat n’est-il pas contingent de l’application qu’on a utilisée ? Une petite modification des interfaces, et tout d’un coup, on chute brutalement. On ne peut pas affirmer de but en blanc que ce sont les étayages numérisés qui font gagner du temps, mais les étayages tels que pensés dans le cadre du CNEC. Il suffit qu’il évolue un peu et les résultats changent. On se situe alors plus dans une perspective d’évaluation d’une version éphémère d’une application que dans une logique de recherche dont les résultats sont susceptibles d’intéresser l’ensemble des praticiens et de la communauté scientifique.

Ces diverses considérations mettent à l’épreuve la pertinence de la mise en œuvre d’une approche quantitative pour l’évaluation. Nous avons écarté les approches quantitatives pour leur préférer des approches plus qualitatives : observations en classes, entretiens individuels et collectifs avec des enseignants sur la manière dont ils s’approprieraient l’application. Nous avons à bien des égards produit des résultats plus intéressants pour la communauté scientifique et éducative, pour un investissement en ressources somme toute inférieur.

Bibliographie

Quel protocole pour évaluer le CNEC ?

Matthieu Cisel

Identifier des éléments pertinents pour un protocole expérimental

Le CNEC est composé d’une multitude de modules, qui, s’ils sont certes interconnectés, ont des fonctions bien distinctes. Nous nous sommes alors posé la question : Quelle partie de l’artefact évalue-t-on précisément ?

Le « Générateur d’idées » vise à permettre d’instrumenter le travail d’idéation, et s’apparente à un padlet. Le « Corpus » vise à outiller la recherche documentaire. La « Fiche-Recherche » et les « Brouillons » afférents visent à structurer, étayer la démarche des élèves grâce à un certain nombre de consignes et d’aides comme des ouvreurs de phrase. Le « Formulaire de séance » peut jouer le rôle de fiche d’activité interactive, et être utilisé notamment pour structurer une recherche documentaire.

Il est manifeste que ces différents modules ne se prêtent pas de manière équivalente, pour l’évaluation de leur utilité, à la mise en œuvre d’une méthode expérimentale. Comme pour tout projet d’évaluation d’application numérique, il faut faire un choix des modules sur lesquels se concentrer l’évaluation.

Considérations méthodologiques

Pour saisir les raisons pour lesquelles la fiche-recherche et les brouillons de recherche ont été choisis pour le protocole expérimental, quelques éclairages méthodologiques sont nécessaires.

Premièrement, il fallait atteindre un échantillon statistiquement significatif d’élèves ou de classes, afin que les conditions de validité des tests statistiques mobilisés soient respectées. Mobiliser plusieurs centaines d’élèves pour réaliser le test d’une application est un défi en soi.

Mais c’est parfois la dynamique d’une classe dans son ensemble qui intéresse le chercheur, et non les performances individuelles d’élèves. Par exemple, dans le cas du « Générateur d’idées », on peut vouloir s’intéresser au nombre d’idées produites par la classe dans son ensemble, ou à la proportion d’élèves passifs, ne produisant pas d’idées. Dans cette configuration, l’unité d’analyse n’est plus l’individu mais la classe. Il faudrait dès lors plusieurs dizaines voire plusieurs centaines de classes pour pouvoir raisonner de manière statistique, ce qui est une tâche impossible à mener sans une armada d’expérimentateurs.

Ces considérations nous ont amené à préférer nous centrer sur les modules qui permettent de mesurer de manière pertinente des performances individuelles. Et qui dit test de performances individuelles, dit tâches individuelles. Il faut du moins se centrer sur des tâches qui ont un certain sens à être réalisées de manière individuelle. Cela donc exclut très vite un module comme le générateur d’idée, où tout l’intérêt de l’artefact est de mutualiser des idées à l’échelle du groupe puis de la classe. Avec ce genre d’artefact, les indicateurs d’intérêt sont d’un tout autre ordre. Bien sûr, on peut revenir à des indicateurs individuels, comme le nombre d’idées produites par élève, mais cela contrevient à l’esprit dans lequel l’outil a été créé.

Par ailleurs, si l’on s’intéresse à des apprentissages sur le moyen terme, il est pertinent de mettre en place un protocole de type pré-test/post-test. En d’autres termes, on mesure une performance avant l’intervention impliquant la pratique pédagogique instrumentée, et la performance après cette même intervention. On met généralement en place un groupe témoin d’élèves pour lequel il n’y a pas d’intervention de quelque nature que ce soit. Cela permet de contrôler un certain nombre de variables. Cette logique de pré-test/post-test n’est pas incontournable même si elle est souvent considérée comme la voie royale ; on peut se focaliser sur les performances immédiates d’une classe, en faisant la différence entre la pratique avec la technologie, et la pratique sans la technologie, ou avec une autre technologie.

Le choix du témoin est déterminant. Il peut être par exemple discutable de choisir comme témoin l’équivalent de l’activité réalisée avec l’application, mais avec cette fois uniquement du papier ou d’autres éléments tangibles. En effet, d’autres facteurs entrent alors dans la balance que les seules caractéristiques de l’application, comme la facilité avec laquelle les élèves utilisent l’appareil sur lequel est testée l’application.

Il peut alors être préférable de choisir une autre application numérique si l’on s’intéresse à l’impact sur les performances d’une fonctionnalité précise de l’application. Néanmoins, dans ce dernier cas on ne s’intéresse aux apprentissages des élèves, mais à l’impact de la technologie sur leurs performances. Dans un cas comme dans l’autre, il faut identifier un module où l’on peut identifier facilement ce qui relève d’une performance individuelle. Le problème du corpus comme du formulaire de séance réside dans le fait qu’ils peuvent être utilisés à des fins particulièrement variées. En un sens, il faut choisir en amont le type de scénario dans lequel on veut tester l’outil : recherche documentaire, etc. Cela peut avoir un sens, mais cela suppose de savoir en amont pour quel type de tâche l’enseignant souhaitera utiliser l’outil.

Il est un outil pour lequel ce type d’incertitude est minime : les étayages du brouillon de recherche. Ils ont été conçus pour structurer la production d’écrits scientifiques : questions, hypothèses, etc. De plus, il est aisé, avec cet outil, de définir ce qui constitue une performance individuelle ; il suffit de définir des indicateurs de qualité de la production écrite. Certes, cela demande de déterminer ce que signifie produire une bonne hypothèse, ou une bonne question de recherche, mais il existe des travaux en didactique des sciences comme en épistémologie qui peuvent nous aider à cette fin.

S’inspirer de travaux sur l’évaluation des étayages

Pour mémoire, nous nous sommes inspirés d’environnements comme le Knowledge Forum (Scardamelia et Bereiter, 2006), le LabNbook (Girault et d’Ham, 2014 ; Wajeman et al., 2015) ou l’Hypothesis Scratchpad (XX), pour produire des étayages visant à aider les élèves à formuler des hypothèses, des questions, etc. Le principe est assez simple, au lieu de laisser les élèves partir d’une page blanche, nous proposons des ouvreurs de phrase qui aident, en plus des consignes, à mieux faire comprendre ce qui est attendu. Par exemple, pour la rédaction d’une question, nous pouvons proposer un ouvreur de phrase comme : Nous cherchons à savoir pourquoi, ou Nous cherchons à savoir comment, selon le type de question que l’on se pose. Pour un protocole, on pourra proposer un étayage comme La première étape du protocole consiste à … pour indiquer qu’il s’agit de dresser une liste d’actions, comme une recette de cuisine. Lorsque l’élève clique sur l’étayage, celui-ci s’affiche alors dans le champ texte situé en-dessous, champ qu’il complète en fonction des particularités de sa propre expérience.

Derrière cette approche fondée sur les étayages numériques, il y a plusieurs théories de l’apprentissage, et notamment celle du scaffolding-fading dans la littérature anglo-saxonne. Nous nous sommes penchés de près sur les recherches françaises mettant en œuvre une évaluation de tels étayages, et en particulier sur celles menées par l’équipe qui a conçu un outil nommé le Lab Book. Deux thèses de doctorat (Savedra, 2016 ; Bonnat, 2017), ont porté précisément sur l’évaluation expérimentale de l’utilité des étayages du Lab Book (Girault et D’Ham, 2014), application étayant la conception de protocoles dans des disciplines scientifiques. Le nombre de classes mobilisées dans ces expériences est évidemment limité.

Les auteurs définissent des critères de qualité pour les productions des élèves, et s’attachent à montrer que les étayages proposés améliorent la qualité des productions écrites. Dans notre cas : les indicateurs de qualité peuvent être les suivants : est-ce qu’une hypothèse correspond effectivement à une solution à la question posée, est-ce qu’elle contient une conséquence vérifiable, c’est-à-dire une manière de la tester ? Le protocole d’évaluation de l’étayage est classique. On constitue un groupe témoin qui n’utilise pas l’application, un groupe qui l’utilise, et on compare les caractéristiques des productions des uns et des autres. Si tout se passe comme on l’espère, les élèves utilisant l’outil réalisent des productions de meilleure qualité, quels que soient les critères que l’on mobilise pour la définir.

Il y a plusieurs façons de voir la question de la performance, selon que l’on s’intéresse ou non à l’évolution des performances des élèves sur le long terme ou que l’on se contente du court terme. Le plus simple est de raisonner sur du court terme, en se concentrant sur l’impact immédiat de l’artefact sur la performance. On va tester en classe, on sollicite les enseignants volontaires un nombre limité de fois. Le problème réside dans le fait qu’on ne sait pas si l’on a induit des apprentissages sur le long terme. Et, sans aller dans les détails, selon la logique de scaffolding-fading, fading fait référence au fait que les étayages finissent par disparaître.

En somme, on veut que les élèves soient toujours capables de produire des écrits de qualité une fois les étayages disparus. Évaluer des apprentissages sur du long terme est tout de suite beaucoup plus compliqué, car il faut du suivi sur du long terme, avec des tâches équivalentes, mais cette fois-ci espacées sur plusieurs semaines souvent. Sur le plan logistique, les obstacles sont multiples, mais c’est la seule manière de faire véritablement du pré-test post-test. Soit dit en passant, une quantité considérable de la littérature anglo-saxonne repose sur ce principe (refs). Dans l’immédiat du moins, je ne souhaitais mettre en place des expériences que sur du court terme.

Maintenant que nous avons fourni une idée plus précise de l’expérience envisagée, nous allons présenter les biais contre lesquels nous avons lutté et qui ont fini par nous convaincre de l’intérêt des méthodes qualitatives.

Bibliographie

Débats scientifiques autour de l’approche expérimentale

Matthieu Cisel

L’evidence-based education redevient à la mode

Les pratiques pédagogiques ont, selon certains, vocation à être évaluées de manière aussi systématique et scientifique que possible, et celles qui mobilisent le numérique ne font pas exception. Relativement marginales dans la littérature scientifique (Cook, 2002), les expériences randomisées semblent être de plus en plus appréciées dans les instances dirigeantes de l’Éducation Nationale, en particulier dans un contexte de renforcement des protocoles d’évaluation standardisés des compétences des élèves.

Bien qu’en matière de mesure de l’efficacité des pratiques pédagogiques, l’approche française se soit longtemps distinguée de celle des chercheurs américains, notamment sur la question des technologies éducatives (Chaptal, 2003), il semble que nous rejouions maintenant en France ce qui s’est passé outre-Atlantique il y a de cela quelques décennies, quand l’administration Bush lançait le programme No Child Left Behind, en 2001 (XX). Les pratiques reconnues comme les plus efficaces étaient – et sont toujours mutualisées via des sites comme What Works Clearinghouse, qui répertorient un certain nombre de pratiques évaluées à l’échelle fédérale sur la base de ces méthodes expérimentales (Biesta, 2010). Les Britanniques, à travers l’Education Endowment Foundation, ont suivi une démarche relativement similaire.

Des expériences qui reposent sur un respect rigoureux des protocoles

Nul ne peut être contre l’application de protocoles de recherche précis. Néanmoins, ceux-ci sont difficiles à appliquer de manière suffisamment rigoureuse pour permettre de produire des résultats scientifiques dignes intéresser. Enrôler les enseignants dans de tels protocoles signifie qu’il faudra les convaincre de suivre à la lettre des séquences d’enseignement pensées par d’autres.

Si cette approche existe en France, l’ingénierie didactique (Artigue, 1992) a précédé de plusieurs décennies la vague actuelle dite de l’Evidence-Based Education, on observe actuellement un changement d’échelle conséquent. Les organismes de financement sont de plus en plus séduits par les projets qui mettent en avant des expérimentations randomisées, qui nécessitent dès lors l’implication d’un nombre croissant d’enseignants. Or les contraintes qui pèsent sur les enseignants désireux de s’investir dans des protocoles d’évaluations des pratiques sont nombreuses. Ces derniers gagneraient à mieux les appréhender avant de s’engager dans de tels dispositifs, considération qui nous a amené à proposer cette contribution fondée sur une approche personnelle, où nous nous sommes placés simultanément dans le rôle du chercheur et de l’enseignant.

Appréhender la multiplicité des biais

Les problèmes que nous avons relevés sont multiples. Parfois, pour des raisons extérieures à la volonté de l’enseignant, un événement impromptu bouleverse le calendrier de l’expérience, mettant en péril sa validité. Parfois, c’est un choix personnel, j’ai été pris en tenailles entre mon devoir d’enseignant et mon devoir de chercheur ; aider un élève, et en particulier un élève en difficulté, signifiait déroger au protocole. Nous allons tenter simplement d’illustrer, sur la base d’un exemple concret, pourquoi nous avons renoncé à la mise en œuvre d’un protocole expérimental pour adopter, en définitive, des méthodes dites qualitatives.

Défis et limites de l’expérimentation en classe

Évaluer expérimentalement l’efficacité des pratiques des enseignants : un défi délicat à relever

Matthieu Cisel

Évaluer expérimentalement le CNEC ?

On se propose ici de discuter des difficultés de la mise en place d’une approche expérimentale dans le contexte de l’évaluation du CNEC. Nous parlerons d’un double point de vue : celui du chercheur, co-concepteur d’une technologie éducative qu’il souhaite évaluer, et celui du professeur de sciences de la vie et de la terre, prenant ses premières classes spécialement pour l’occasion.

L’expérience de la classe

Commençons par préciser le contexte qui entoure la démarche. Au cours de ma seconde année dans le consortium eFRAN, je décidai de prendre deux classes de quatrième afin de tester la faisabilité de protocoles d’évaluation du CNEC fondés sur une expérimentation randomisée. L’expérience du terrain et les discussions avec les collègues m’ont permis de prendre conscience des biais induits par les contraintes imposées par l’encadrement d’une classe, qui nécessitent bien souvent que l’on déroge, parfois à son corps défendant, à certains éléments d’un protocole, quitte à mettre en péril la validité d’une expérience dans son ensemble.

Le rectorat m’a confié la charge de deux classes de quatrième d’un collège de quartier favorisé au sein de Paris. L’établissement en question faisait partie des collèges connectés. Cela signifiait a priori qu’il y avait une bonne connexion à Internet d’une part, et que les classes comme les élèves seraient relativement bien équipés d’autre part.

En effet, quelques semaines après la rentrée, chaque élève disposait de sa propre tablette. J’avais deux classes du même niveau, et pouvais donc exiger d’eux des tâches comparables. Par ailleurs, le fait de n’avoir qu’un seul niveau me permettait de mutualiser le travail de préparation des cours, particulièrement chronophage pour un enseignant novice.

J’avais donc la responsabilité d’une soixantaine d’élèves. Ce n’est probablement pas un échantillon assez important pour produire des résultats publiables, mais c’est amplement suffisant pour tester la faisabilité de certains protocoles expérimentaux.

Prendre davantage de classes aurait risqué de menacer les autres tâches à conduire. Il fallait donc composer avec les deux objectifs, faire de la recherche d’une part, et concevoir des enseignements innovants et en lien avec les programmes d’autre part. Ces deux objectifs ont été en contradiction à de multiples reprises.

Dès ma prise de fonction, je pensai à mes questions de recherche, et tenais un journal de bord. Après chaque séance, je passais environ une heure à réaliser le compte-rendu de ce qui s’était passé, et à réfléchir à la manière dont cela affecterait la mise en place d’un protocole expérimental.

Revenons sur les débats entourant l’application de l’approche expérimentale en éducation, le protocole de ce que nous envisagions, les difficultés auxquelles nous nous sommes heurtés et la méthodologie finalement employée.

Plus d’informations

Les débats scientifiques autour de l’approche expérimentale

Le protocole envisagé pour évaluer le CNEC

Les difficultés à mettre en place une approche expérimentale