Archives de catégorie : Conception

Participation au processus de conception du CNEC en 2018 – 2019

Matthieu Cisel, Georges-Louis Baron

Création d’un prototype

Une nouvelle version du Cahier numérique de l’élève chercheur (CNEC) a été développée au cours de l’été 2018, peu avant le début de la troisième année du projet. L’architecture logicielle a changé, dans la mesure où elle se fonde désormais sur une technologie de type Content Management System(en l’occurrence DRUPAL). De nouveaux modules sont apparus, tandis que les anciens ont sensiblement évolué.

La recherche a continué à s’investir dans la construction d’une analyse réflexive sur le processus de conception lancée dès le début du projet (Cisel et al., 2017 ; Cisel et Baron, 2018). De la mise au point du cahier des charges aux modalités de prise en compte des tests utilisateurs, certaines divergences sont apparues entre acteurs du consortium quant à la marche à suivre (Cisel, 2019). Pour mettre en évidence les contradictions (Engeström, 1987) que faisaient apparaître certains choix méthodologiques, nous nous sommes attachés à documenter et analyser le processus de conception, avec des focales sur des moments pivots.

L’un des problèmes classiques d’une telle démarche réside dans le fait que, temporalité de la recherche oblige, les résultats ne sont souvent communicables qu’après que les décisions qu’elle visait à éclairer aient été prises. Pour cette raison, cette réflexion sur le processus de conception a été considérée également comme l’un des produits de la recherche, et valorisée comme telle sous forme de productions scientifiques (Cisel, 2019).

Les réflexions méthodologiques qui ont accompagné notre participation au processus de conception de l’environnement nous ont amenés à nous intéresser de près à la manière dont ont été déterminées les grandes orientations technologiques du projet.

Au fil des trois années qu’a duré le consortium, les points de vue des chercheurs, des enseignants, et des industriels ont été articulés pour déboucher sur la version finale du prototype.

Nous nous sommes penchés sur les questions suivantes : comment les acteurs impliqués ont-ils pesé dans le processus de conception ? Quels ont été les moments les plus décisifs, les pivots de ce processus ? Comment les modalités de prise de décisions lors de ces moments pivot ont-elles influé sur la forme finale de l’artefact ?

Le processus de conception a été considéré dans son ensemble, en portant une attention particulière au choix des orientations technologiques, et aux déterminants de ces choix. Au moment du lancement du projet, le cahier des charges n’était pas défini, la consigne directrice était d’instrumenter les projets Savanturiers. Deux éléments sont revenus régulièrement dans les discussions : l’affirmation selon laquelle l’enquête de terrain va permettre d’identifier des besoins, et le leitmotiv selon lequel celui qui décide est l’utilisateur final.

Nous nous sommes situés, tout au long du processus de conception, dans une logique de participation observante. Si nous intervenions dans les réunions, notamment pour mobiliser les travaux issus de nos revues de littérature, nous observions également le déroulé des réunions au prisme d’une grille thématique fondée sur la théorie de l’activité.

Nous n’avons en général pas enregistré les interactions verbales dans les moments de travail réunissant les différents acteurs du consortium, sauf durant lesComités de Conception(Cocons), durant lesquels des groupes focalisés étaient régulièrement organisés et enregistrés. En effet, cette modalité de travail aurait interféré, pour les acteurs concernés, avec la spontanéité nécessaire pour les échanges. Nous avons systématiquement pris des notes sur les réunions afin de documenter les nombreuses décisions qui, mises bout à bout, ont conduit à la forme finale du CNEC.

Si nous ne sommes donc pas en mesure de retracer finement les conditions d’émergence de chaque fonctionnalité du produit, nous disposons en revanche d’une description consistante de l’activité de conception et des relations entre les différents acteurs.

La rédaction incrémentale et les étayages

Dans le domaine de l’instrumentation de l’enseignement de la démarche d’investigation, de nombreux environnements visent à faciliter la production d’écrits par les élèves (Linn, 2010 ; Laferrière et Lamon, 2010). Ces environnements reposent dans une large mesure sur ce que l’on nomme les étayages, ou scaffoldsdans la littérature anglo-saxonne, permettant de simplifier des tâches de recherche d’information ou d’écriture (Quintana et al., 2005). Ces étayages visent à restreindre la complexité de la tâche afin de conduire l’enfant à résoudre des problèmes qu’il ne peut affronter seul. Ils peuvent notamment aider à formuler des questions de recherche, des hypothèses, des protocoles.

La conception de tels étayages a constitué l’une des propositions phares portées par l’application. Certains jouent le rôle d’ouvreurs de phrase et sont directement inspirés duKnowledge Forum (Scardamelia et Bereiter, 2003 ; Laferrière et Lamon, 2010), d’autres correspondent à des questions d’auto-évaluation visant à aider les élèves à réfléchir sur leurs productions écrites ; plus généralement, ils visent à structurer la démarche dans son ensemble (Quintana, 2005). L’introduction de tels étayages a engendré plusieurs formes de contradictions dans l’objet de l’activité.

Tout d’abord les projets Savanturiersne s’inscrivent pas toujours dans une logique de démarche d’investigation, qu’elle corresponde à des projets scientifiques ou technologiques.

Un tel fait tient notamment au succès du programme. Ce dernier a rapidement dépassé le cadre des sciences naturelles pour investir des champs comme l’urbanisme, la philosophie, la sociologie ou le droit. Il attire désormais des enseignants dirigés vers lui par les rectorats. Ces derniers enseignants n’ont pas encore la familiarité avec la démarche suivie et certains peuvent ne pas partager totalement les valeurs fondatrices du programme.

Nous avons mis en évidence un certain nombre de contradictions sur la base d’observations de classe, d’entretiens avec les enseignants, et de statistiques descriptives relatives au développement du programme Savanturiers.

Plurivocalité du processus de conception

La plurivocalité (Decortis, 2015) du processus de conception a posé problème en matière de cohérence globale de l’artefact. Les chercheurs ont en général tenté de réifier dans leurs EIAH leurs idées, et plus généralement les idées issues de la recherche scientifique, à travers des maquettes issues de la traduction de modèles théoriques, ou de prototypes de laboratoires.

Les Savanturiers se sont fondés sur le modèle dit “d’Éducation par la Recherche” (Ansour, 2017), dont le rôle dans le développement du projet a été substantiel malgré les problèmes de définition qui le caractérisent.

Ce « modèle en huit étapes » a eu un rôle majeur. Il suggère en effet une succession d’activités pédagogiques, inspirées de la transposition de l’activité professionnelle du chercheur, et qui peuvent donner lieu à une ou plusieurs séances. Cette approche a inspiré, ou a minimalégitimé, la création d’outils instrumentant de manière spécifique chacune des étapes.

Enfin, des compromis ont dû être recherchés en permanence par l’entreprise, notamment pour chercher à satisfaire aux demandes exprimées par les partenaires tout en ne négligeant pas sa propre stratégie. L’industriel a par exemple défendu le choix du fonctionnement par groupes aux dépens d’une logique d’appropriation individuelle, mais s’est adapté en définitive aux demandes de partenaires sur ce point précis.

En tout cas, les choix effectués sur le plan technologique ont eu des impacts substantiels sur les utilisations en classe, que nous nous attachons à analyser.Les solutions qui ont parfois emporté l’accord au sein des réunions de conception ont eu des effets quant à l’utilité et à l’utilisabilité du CNEC en classe.

Familiarisation et retours sur les prototypes

La prise en main du prototype par les enseignants représentait une étape de familiarisation indispensable pour s’assurer que l’essentiel des fonctionnalités présentes étaient connues en amont de toute utilisation en classe. Cela facilitait le choix des modules qui leur paraîtraient les plus appropriés à leurs besoins.

La nécessité de familiariser les enseignants avec le CNEC avant son utilisation en conditions écologiques a été également prise en compte en raison des problèmes d’ergonomie posés par les interfaces et par la multiplicité des bugs techniques qui n’avaient pas été réglés au moment des premiers tests. Il était problématique d’exiger de la part d’enseignants partenaires d’utiliser de tels prototypes en classe sans accompagnement préalable.

Pour faciliter la familiarisation avec la technologie, les interfaces développées ont été projetées dans un premier temps sur un tableau, les interactions possibles avec l’interface étant exposées et commentées. Après des échanges avec les enseignants, ceux-ci reproduisaient les actions présentées, le plus souvent sur leur propre appareil, et via des identifiants personnalisés conçus pour eux.

Les manipulations de l’artefact réalisées lors des cocons s’accompagnaient d’un recueil des verbalisations, consistant à demander à l’utilisateur de penser à haute voix durant la tâche proposée afin d’identifier les raisonnements qu’il mettait en œuvre pour réaliser la tâche demandée. En sus des problèmes d’ergonomie, que nous recensions et transmettions à l’industriel, nous cherchions à identifier dans quelles conditions ils utiliseraient le prototype, pour quel type d’activité, et quelles fonctionnalités supplémentaires seraient nécessaires pour les activités envisagées. Ce faisant, nous avons poursuivi le travail mené avec les maquettes au cours de l’année précédente, mais cette fois sur la base de prototypes codés.

Bibliographie

Comment déterminer les besoins des enseignants ? Le cas de la conception du carnet numérique de l’élève-chercheur

Matthieu Cisel, Laboratoire EDA

Cet article est issu d’une communication réalisée lors du colloque éTIC3 qui s’est tenu à l’université Paris Descartes les 27, 28 et 29 juin 2018. Il ne contient que l’introduction du texte, que l’on peut retrouver en intégralité sur le site du colloque en cliquant ici.

L’État a encouragé, au travers des projets eFRAN (CDC, 2016) (espace de Formation Recherche d’Animation Numérique), la conception d’Environnements Informatiques pour l’Apprentissage Humain (EIAH) au sein de consortiums incluant notamment des laboratoires de recherche.

L’un de ces consortiums a eu pour vocation d’instrumenter les projets Savanturiers (Ansour, 2017). Les Savanturiers est un programme à destination du primaire et du secondaire créé en 2013. Celui-ci vise à développer des “projets de recherche” miniatures encadrés par des mentors généralement issus du milieu académique, afin d’initier les élèves aux méthodes de l’investigation scientifique. Ces derniers jouent une part active aux différentes étapes de la démarche, de la formulation de la question de recherche à l’interprétation des résultats.

Ce programme s’inscrit explicitement dans une logique de renouvellement des approches pédagogiques dans l’enseignement des sciences, mettant l’accent sur la dimension méthodologique de l’activité scientifique. L’objectif du consortium Les Savanturiers du Numérique réuni en 2016 autour de ce programme est de développer des artefacts numériques à destination des enseignants impliqués dans le programme.

Au début de ce projet eFRAN, d’une durée de trois ans, les chercheurs impliqués dans le consortium ont notamment eu pour rôle de contribuer à spécifier, sur la base d’une revue de la littérature et d’observations en classe les besoins auxquels l’application avait vocation à répondre.

Précisons que “le besoin peut désigner initialement les fonctions ou propriétés possibles, voire souhaitables pour l’artefact à concevoir” (Robertson, 2001). L’enjeu est de faire des préconisations aux développeurs, et d’ébaucher le modèle de la tâche future, c’est-à-dire de décrire l’activité telle qu’elle sera instrumentée par l’application. Face à la diversité des pratiques enseignantes et à l’hétérogénéité des situations d’apprentissage auxquelles le chercheur en ingénierie des EIAH peut être confronté, se pose la question de la priorisation des besoins identifiés par l’analyse des pratiques d’un panel d’enseignants.

Le problème de la spécification de besoins est d’autant plus saillant que les projets Savanturiers impliquent potentiellement une large gamme de tâches, de la formulation d’hypothèses à la rédaction d’argumentaires scientifiques.

Nous nous intéressons en particulier à la problématique suivante : Quelles sont les limites de la méthode inductive pour la spécification des besoins dans la conception d’un EIAH destiné à une utilisation en classe ? Précisons que la méthode inductive dont nous parlons ici ne désigne pas notre approche de l’enquête de terrain, avant tout exploratoire, mais les modalités d’exploitation de ces observations de terrain pour inférer les besoins à prioriser.

Concevoir et évaluer des outils et ressources numériques pour l’éducation : une synthèse

Eric Buillard et Georges-Louis Baron

29/03/19

Le présent chapitre reprend de larges extraits d’un texte publié en anglais : Bruillard, E., & Baron, G.-L. (2018). Researching the Design and Evaluation of Information Technology Tools for Education. In J. Voogt, G. Knezek, R. Christensen, & K.-W. Lai (Éd.), Second Handbook of Information Technology in Primary and Secondary Education(p. 1‑17). https://doi.org/10.1007/978-3-319-53803-7_79-1

1. Contexte

Les outils informatiques utilisés pour l’éducation peuvent être en première approximation classés en trois grandes catégories. Tout d’abord, il y a ceux qui sont prescrits par les enseignants afin d’accompagner ou de guider les progrès des élèves dans une discipline : on parle souvent à leur sujet d’environnements informatisés pour l’apprentissage humain (EIAH).

Ensuite, des ressources numériques, de granularités diverses peuvent être utilisées pour illustrer les cours ou étudier des notions. Ce type d’instruments a connu un développement considérable au cours des deux dernières décennies, sous des formes extrêmement variées : Wikipédia et Wikimédia, nouveaux manuels interactifs, capsules vidéo, programmes d’études partagés conçus par des enseignants individuels ou des associations de militants…

Enfin, de nombreuses plates-formes numériques génériques sont utiles pour l’enseignement, depuis les réseaux sociaux, soutenant des modalités de communication horizontale entre les élèves, jusqu’aux plates-formes de Mooc (Coursera, EdX, FUN, Iversity, MiriadaX, FutureLearn…) en passant par les environnements numériques du type Moodle.

Nous allons nous concentrer dans la suite sur les deux premières formes de ces outils informatiques d’apprentissage et d’enseignement en discutant leurs évolutions, leur conception, leur évaluation ;

2. Des outils logiciels inscrits dans une histoire

Pour chaque outil logiciel il existe une tension forte entre, d’une part, la volonté d’individualiser l’enseignement en mettant en place des dispositifs permettant de suivre et d’orienter l’activité de l’utilisateur et, d’autre part, l’intention de proposer une utilisation collaborativeoù les utilisateurs ont de plus une certaine marge de liberté.

Pour ces derniers, l’illusion d’avoir le contrôle est très courante : les interfaces tactiles et audio sont très conviviales. La question de l’apprentissage adaptatif et de l’équilibre entre contrôle et guidage, qui tend à revenir au premier plan, a explicitement été évoquée dès les années soixante (Pask, 1966) et au début des années 70 par Carbonnell (1970). Quelles sont les responsabilités respectives de l’utilisateur, de l’enseignant (ou du tuteur) et du système ?

2.1. Environnements informatisés pour l’apprentissage humain 

Si des logiciels d’enseignement assisté par ordinateur fondés sur les théories behavioristes existent dès la fin des années 1950, l’intelligence artificielle et en particulier les systèmes experts, depuis le début des années 70, ont proposé de nouvelles approches, posant de difficiles problèmes de modélisation, tant pour le domaine à étudier que pour l’apprenant (Bruillard, 1997).

L’un des principes clés de l’approche des systèmes tutoriels intelligents était d’avoir une représentation des connaissances du domaine à étudier et, dans la mesure du possible, des questions pédagogiques liées au domaine, afin de pouvoir offrir des explications compréhensibles aux apprenants (VanLehn, 1988, 1990 ; Bruillard, 1997). Le modèle classique, où l’on compare le cheminement d’un apprenant à un chemin idéal, défini par les concepteurs et prenant éventuellement en compte des erreurs courantes) a cependant rencontré des limites : au moins dans les matières scientifiques, les conceptions des élèves n’ont parfois rien en commun avec celles des experts (Kattmann et al., 1996 ; Niebert et Gropengiesser, 2013).

Une évolution s’est produite au début des années 2000.Avec la diffusion de formations à distance instrumentées, l’idée de guider l’élève sur une voie optimale pour résoudre les problèmes a cédé la place à l’idée de lui fournir un tableau de bord d’informations sur sa situation, à la fois dans sa progression et par rapport aux autres élèves.

Puis, vers 2010, les choses ont encore changé. Après la diffusion des MOOC et l’omniprésence de « données massives », un nouvel intérêt pour l’apprentissage adaptatif est apparu. Cette fois, le logiciel n’est plus propulsé par une intelligence artificielle symbolique, fonctionnant à partir de bases de données de faits et de règles, mais, il utilise des techniques de fouille de données comparant les traces d’activités des apprenants à celles des autres en établissant des classifications automatiques.

Une large panoplie d’outils logiciels est désormais disponible dans la plupart des domaines : logiciels de géométrie dynamique en mathématiques, SIG (système d’information géographique) en géographie et, plus généralement, applications utilisant la géolocalisation, CAeX (expérimentation assistée par ordinateur) en sciences naturelles, outils lexicographiques en littérature, bases de données en histoire etc.

La recherche a montré que ces outils permettent des expériences très intéressantes, à condition de pouvoir attirer les élèves dans des activités significatives durant assez longtemps pour qu’ils développent de nouvelles connaissances.

L’idée de faire participer les élèves à des activités stimulantes et significatives n’est pas nouvelle : elle est même au coeur des approches de l’éducation nouvelle. Cette approche a été incorporée dans les outils éducatifs depuis plus de 40 ans, notamment par la SAGSET (The Society for the Advancement of Games and Simulations in Education and Training) fondée en 1970. Leur utilisation est de plus en plus courante avec les technologies informatiques d’aujourd’hui. Ce type d’approche a reçu plus récemment le soutien de théories telles que celles exprimées par Csikszentmihályi (1990) sur l’intérêt de créer des états durables de « flux », parfois appelés « expérience optimale ». Le contexte scolaire (contraintes de temps et d’espace) rend cependant généralement difficile la pratique des jeux au sein de l’école, en dehors de situations spécifiques (maternelle, sport…).

Dans l’ensemble, le degré de guidage exercé par les environnements logiciels a eu tendance à diminuer au fil des ans. Corrélativement, on note un glissement terminologique intéressant : montée de l’intérêt pour la notion de ressource.

2.2. Ressources numériques

L’utilisation de ressources pour l’apprentissage n’est pas vraiment nouvelle, puisque J. Dewey lui-même a introduit dès le début du 20e siècle (1916) l’idée que l’apprentissage était lié à la présence de ressources.

Rappelons tout d’abord que parmi ces dernières, les manuels scolaires occupent une place éminente. Mais l’expansion d’Internet est en train de changer considérablement le paysage. De nombreuses ressources de haute qualité, à jour, précises, bien conçues, peuvent être trouvées en ligne, souvent gratuitement. Deux problèmes se posent néanmoins pour les utilisateurs : apprécier la qualité de ces ressources et leur adéquation aux objectifs visés.

Avec la mise en question en milieu éducatif du régime de vérité classique (vision post-moderniste) et la nécessité de proposer de grandes quantités d’activités aux élèves, le besoin de ressources a augmenté. Celles-ci sont de formats très différents : textes, images, vidéos, animations, etc. Elles peuvent être considérées comme éducatives par opportunité (non pas créées à des fins éducatives, mais utilisées dans un contexte éducatif) ou par destination (spécifiquement conçues pour l’éducation).

Dans le cadre d’un projet de recherche récent visant à documenter la manière dont les enseignants conçoivent, recherchent, sélectionnent, éditent et reconstruisent les ressources pédagogiques (ReVEA), nous avons identifié quatre processus clés (voir Bruillard, 2016) :

  • l’héritage (obtenir des ressources de la formation universitaire initiale ou de collègues) ;
  • la participation (partage et co-conception des ressources) ;
  • la collecte (stockage et organisation du matériel pédagogique) ;
  • l’établissement de réseaux de confiance (personnes et lieux, sous forme de sites Web).

3. Conception de ressources éducatives : un large éventail d’acteurs et d’institutions

3.1. Des modèles divers et évolutifs

L’étude des méthodes et des données de conception des outils informatiques pour l’apprentissage n’est pas une tâche aisée. La chaîne classique de conception de nouveaux produits a été profondément modifiée ces dernières années. Les étapes successives de la production, depuis les idées initiales jusqu’au produit final vendu sur le marché, en passant par les travaux d’ingénierie, ne sont plus la norme.

De fait, les situations varient énormément : qu’y a-t-il de commun entre une grande entreprise visant à vendre un jeu sérieux ciblant un large public et une petite équipe dans une entreprise de taille moyenne chargée de mettre à niveau une ressource d’apprentissage en ligne sur la vente d’un nouveau produit ?

Alors que quelques grandes entreprises dominent depuis des décennies le marché des manuels scolaires, l’explosion des ressources pédagogiques a fait entrer de nouveaux acteurs : des entreprises spécialisées dans les logiciels éducatifs, de jeunes start-up dans le domaine des Edtech, mais aussi des associations d’enseignants.

Aujourd’hui, les éditeurs scolaires traditionnels, interrogés par la diffusion de ressources en ligne, doivent traiter avec des entreprises informatiques et inventer de nouveaux processus communs. Les règles financières sont également nouvelles.

Dans ce secteur, des utilisateurs ont toujours été associés aux concepteurs dès les premières étapes de la conception. » Mais il y a une nouvelle tendance à distribuer des produits qui n’ont pas été complètement finalisés, qui sont rapidement mis sur le marché dans le but d’obtenir des retours d’utilisation rapides afin d’orienter le reste du processus. La conception ascendante, le crowd-sourcing, la boucle entre la conception et l’utilisation, la poursuite de la conception en usage, etc. sont des processus clés.

Le développement de méthodes agilesde conception de logiciels est maintenant devenu courant. Les méthodes de conception contextuelle(Beyer & Holtzblatt, 1998), prennent désormais en compte un contexte d’utilisation beaucoup plus riche et complexe, invitant les concepteurs à s’immerger dans le contexte utilisateur (Holtzblatt & Beyer, 2015, p. 74).

En dehors du secteur de l’édition professionnelle, beaucoup de choses sont improvisées. Les gens conçoivent souvent de façon progressive sans suivre des règles strictes, les enseignants apportent leur touche personnelle et continuent à affiner les ressources qu’on leur fournit et à paramétrer leurs logiciels,créant des solutions à partir d’éléments empruntés à diverses sources.

Dans cette situation, les communautés d’utilisateurs jouent un grand rôle.

3.2. L’importance nouvelle des communautés de pratique

Un phénomène intéressant est la diffusion de nouvelles ressources informatiques basées sur des valeurs non capitalistes : logiciels libres, ressources éducatives ouvertes, copyleft et biens communs créatifs, etc. L’idée est de soutenir une écologie de produits librement accessibles, réutilisables, modifiés et partagés. Ce mouvement se développe dans l’enseignement supérieur (Unesco, 2015 ; Downes, 2007 ; OCDE, 2007). Il semble également prendre de l’ampleur dans l’enseignement primaire et secondaire.

Dans un pays comme la France et très probablement dans d’autres, beaucoup d’enseignants ont une mentalité de hackers, avec des valeurs fortes concernant l’éducation, considérant que les nécessités d’adapter leur enseignement aux besoins de leurs élèves sont plus importantes que les lois du copyright. La profession de foi de l’association Sesamath est très explicite sur ce point. Elle porte un certain nombre de valeurs : la solidarité, le respect, l’ouverture (Sesamath vient de Sesame Math) et le partage.

Cette association inscrit son action dans une perspective de service public et considère les ressources éducatives qu’elle génère comme des biens communs utilisables par tous. La mise à disposition de contenus gratuits et modifiables sur Internet (sous licence libre) mais aussi le travail collaboratif entre enseignants (incluant différents cycles ou pays) sont des moyens de servir ces valeurs.

Afin de développer ses activités, Sesamath a mis en place des partenariats (par exemple avec des éditeurs) qui étendent ses activités, mais qui cherchent à rester aussi indépendants que possible, et aussi proches que possible des utilisateurs de ses ressources, qui peuvent participer à tout moment à l’Amélioration de ces biens communs.

Quentin et Bruillard (2013) ont décrit le fonctionnement de certains réseaux d’enseignants en ligne : entre intérêt personnel et production collective dépersonnalisée, entre bac à sable et ruche. La ruche, qui caractérise des collectifs très productifs soutenus par des valeurs partagées fortes, a des règles très contraignantes et explicites qui ne permettent pas à l’utilisateur de voir leurs processus de production. Le bac à sable, quant à lui, dispose de collectifs aux règles souples et implicites, publie toutes leurs interactions, permettant la diffusion et la légitimation des pratiques pédagogiques.

Le modèle des biens communs est donc un très bon cadre pour analyser ce qui se passe ici. Au-delà de la soi-disant tragédie de l’abus commun, intentionnel ou non, qui pourrait diminuer ou détruire les bénéfices communs partagés par tous les utilisateurs, des pratiques de gouvernance ouverte, répondant aux critères d’ouverture recommandés par Elinor Ostrom et ses collègues, pourraient être développées avec intérêt (Ostrom & Basurto, 2011).

On peut imaginer une profession enseignante plus collective, capable de gérer les ressources éducatives comme des « biens communs » au sens de biens communs (Buck, 1985). Une communauté d’innovation pourrait se développer comme une nouvelle façon de mettre en œuvre les innovations, dans une vision ascendante (Allen & Potts, 2016).

Une série de changements discrets se sont accumulés au cours des 20 dernières années et ont finalement produit une évolution spectaculaire qui nous oblige à reconsidérer les questions de conception et d’évaluation des logiciels.

4. Evaluer des environnements informatisés : une tâche désespérée ?

Il est tout à fait dans l’air du temps de s’intéresser à l’évaluation des environnements et à leurs effets pour l’apprentissage, en particulier en utilisant les possibilités de l’analyse automatique de grandes quantités de données. Deux types de problèmes vont être synthétiquement considérés ici : ceux qui sont liés à ce que les données représentent et à l’interprétation de résultats tels qu’ils peuvent être présentés sur des tableaux de bord.

4.1. Des possibilités spectaculaires et un côté obscur

La plupart des environnements informatiques collectent désormais de nombreuses données liées à l’activité de l’utilisateur. Beaucoup d’espoirs ont été investis dans la possibilité d’exploiter ces données afin de produire des résultats intéressants qui pourraient aider à concevoir des logiciels et à évaluer leurs effets sur les apprenants.

La diversité de ces données est énorme : fichiers journaux, interaction écrite entre les étudiants sur les plates-formes (en particulier sur les forums), performances aux tests, données provenant de dispositifs de suivi oculaire, etc. Le défi est d’extraire automatiquement des informations de ces données afin d’informer les humains (concepteurs, enseignants, élèves, décideurs) pour prendre des décisions pertinentes. La seule façon d’y parvenir est d’appliquer des algorithmes réduisant la complexité et fournissant des profils. Il n’y a pas de problèmes techniques pour obtenir des résultats presque en temps réel puisque les infrastructures permettent désormais de répartir les tâches entre des réseaux d’ordinateurs dans le nuage qui ont la capacité de traiter de très grands ensembles de données.

Les résultats sont stupéfiants, comme quiconque ayant utilisé des moteurs de recherche et des plates-formes de vente, l’a compris. Le domaine d’application le plus connu est le marketing, où les profils permettent par exemple de cibler les publicités, de proposer des achats adaptés aux besoins des clients (comme ils ont été devinés par le système). Cependant, dans d’autres secteurs comme le gouvernement, le recours à des prévisions fondées sur des statistiques soulève de nombreuses questions (voir Rouvroy, 2009 pour une analyse politique).

Nous concentrant ici sur les questions d’éducation, nous n’analyserons pas le cas général des risques pour la vie privée, c’est-à-dire le fait que dans de telles intermédiations algorithmiques, la personne tend à disparaître derrière le profil, le phénomène de « vendor lock-in » ou le fait que de nombreux dangers existent (OCDE, 2016).

Dans le secteur de l’éducation, les principaux problèmes rencontrés pour fonder des décisions sur des résultats d’algorithmes sont doubles : 1) le caractère incomplet ou inexact des données, 2) l’interprétation erronée des résultats.

Nous supposons que les algorithmes eux-mêmes sont classiques (appartenant à des classes bien documentées comme le calcul des similitudes entre les nœuds d’un graphe et autres). Mais il se peut que d’autres soient utilisés, avec l’essor continu de nouvelles formes d’intelligence artificielle.

4.2. Biais et problèmes liés aux données

Si les données sont nombreuses, comment s’assurer qu’elles sont complètes et que leur qualité est satisfaisante ? Ce qu’elles capturent généralement, c’est le comportement, ou plutôt une petite partie du comportement. Dans quelle mesure reflètent-elles correctement les activités d’apprentissage ? Et a fortiori les qualités d’une personne ? Par exemple, il est bien connu qu’en raison de problèmes matériels ou d’une volonté pédagogique, certaines activités sont menées en groupes d’élèves. Comment, alors, faire la distinction entre les différents utilisateurs ?

Il a par ailleurs été remarqué depuis très longtemps que la durée entre les différentes actions de l’utilisateur n’est pas un temps d’exécution de tâche. Dans la plupart des cas également, les données ignoreront les interventions des enseignants, qui doivent toujours être prises en compte lorsqu’il s’agit de comprendre l’effet d’un instrument. Dans certains cas, les données peuvent donc être très incomplètes.

Ces problèmes ont des conséquences non négligeables : les algorithmes réduiront toujours les données qu’ils ingèrent à un ensemble plus petit, ils les classeront et mettront en évidence certains résultats. Mais comment les interpréter ?

Il y a aussi un autre problème, très profond. Souvent, les résultats sont basés sur le calcul de corrélations. Cela peut être utile, mais la corrélation n’est en aucun cas la même chose que la causalité et les corrélations sont susceptibles d’être trompeuses. Comme l’expliquent Calude et Longo (2016), s’appuyant sur des recherches issues du monde des mathématiques : « plus la base de données que l’on exploite pour trouver des corrélations est grande, plus les chances de trouver des régularités récurrentes sont grandes et plus le risque de commettre de telles erreurs est élevé » (p. 15).

4.3. Problèmes d’interprétation des résultats

Une fois les données classées et les profils établis, et en supposant que les résultats correspondent à quelque chose de réel, comment interpréter ?

La situation n’est pas tout à fait la même si les interprétations sont faites par des humains, qui peuvent procéder à des vérifications contradictoires ou par des logiciels. Le premier cas est moins problématique, à condition que les personnes aient les moyens et le temps de mener des investigations complémentaires en cas de problème perçu.

Pour donner un exemple concernant principalement l’enseignement supérieur, les logiciels populaires qui traquent le plagiat dans le travail des étudiants (et qui fonctionnent très bien en moyenne) renvoient souvent pour chaque texte soumis un drapeau (vert, orange ou rouge) et un score de plagiat. Tous ceux qui ont dû noter des copies savent qu’il faut faire preuve de prudence et qu’une inspection minutieuse peut révéler des situations où il n’y a en fait aucun plagiat.

Ce problème existe également dans l’enseignement secondaire, mais dans ce cas, les effectifs des classes sont suffisamment réduits pour permettre aux enseignants de contrôler les productions individuelles, ce qui leur donne une bonne occasion d’intervenir dans les processus de travail plutôt que de juger un seul résultat.

5. Discussion et perspectives : favoriser l’agentivité des enseignants

La conception et l’évaluation des outils informatiques pour l’apprentissage ont beaucoup évolué au cours des dernières décennies et la recherche est confrontée à une situation nouvelle : les outils informatiques sont omniprésents dans la vie des étudiants, la plupart d’entre eux peuvent être utilisés à des fins d’apprentissage.

La perspective a changé avec la multiplication des contextes d’apprentissage en dehors de l’école : à distance (à la maison ou ailleurs), et ayant souvent un caractère non formel. La notion de ressource d’apprentissage a renouvelé la question et le learning design a tendu à remplacerl’instructional design(Baron, 2011).

En ce qui concerne l’évaluation, les recherches montrent constamment qu’il est inutile d’évaluer les outils informatiques sans tenir compte du contexte éducatif dans lequel les activités d’apprentissage se déroulent. Beaucoup dépend de qui prescrit ou suggère l’intérêt d’utiliser un outil particulier, beaucoup dépend aussi du type de conception de l’apprentissage qui a été intégré et qui est mis en œuvre dans les activités éducatives. En résumé, ce qui compte, ce sont les situations mises en place par les enseignants et même un mauvais produit peut être utile dans un contexte particulier. L’évaluation pédagogique renvoie aux situations mises en place et ne renvoie qu’indirectement aux outils utilisés.

Ce point de vue a de profondes implications, soulignant l’importance de permettre aux enseignants de développer leur agentivité dans le domaine des ressources éducatives. Cela implique de leur donner les moyens d’agir et de les accepter comme partenaires de confiance.

6. Références

Allen D., Potts J. (2016). How innovation commons contribute to discovering and developing new technologies. International Journal of the Commons, vol. 10, no 2 2016, pp. 1035–1054. Publisher: Uopen Journals.

Baron, G.-L. (2011). Autour d’un mot de la formation : Learning design.Recherche et Formation,68, 109–120. http://rechercheformation.revues.org/1565

Baron, G.-L., & Bruillard, E. (2003). Information and communication technology: Models of evaluation in France. Evaluation and Program Planning,26(2), 177‑184.

Baron, G.-L., & Bruillard, E. (2007). ICT, educational technology and educational instruments. Will what has worked work again elsewhere in the future? Education and Information Technologies,12(2), 71–81. https://doi.org/10.1007/s10639-007-9033-9

Baron, G.-L., & Zablot, S. (2015). Digital resources and sustainable communities of French teachers: From emitting resources to formal communities and back. Présenté à 13th IARTEM Conference September 2015, Berlin.

Beyer, H. & Holtzblatt, H, K (1998). Contextual Design : Defining Customer-centered Systems. Morgan Kaufman.

Bruillard É.(2016). ReVEA project: Living resources for teaching and learning. An overview. In SITE conference, 21-25 march, Savannah. Roundtable

Bruillard, E. (1997). Les machines à enseigner. Paris : Hermes. Consulté à l’adressehttp://www.stef.ens-cachan.fr/annur/bruillard/mae_somr.htm

Bruillard, E. (2017). MOOCs as contemporary forms of books: new educational services between control and conversation. IARTEM e-Journal, Vol. 9, n° 1 ,http://biriwa.com/iartem/ejournal/volume9.1/articles/article_7_bruillard_iartem_ej_2017.pdf

Calude, C. S., & Longo, G. (2016). The deluge of spurious correlations in big data. Foundations of science, 1–18. http://link.springer.com/article/10.1007/s10699-016-9489-4.

Csikszentmihályi M. (1990). Flow: The Psychology of Optimal Experience. Harper & Row.

Dewey, J. (1916). Democracy and education.https://en.wikisource.org/wiki/Democracy_and_Education.

Downes, S., (2007). « Models for Sustainable Open Educational Resources » in Interdisciplinary Journal of Knowledge and Learning Objects, vol. 3, p. 29-44. Informing Science Institute: USA. PDF: 15 p. (consulted 10/03/2017). http://ijello.org/Volume3/IJKLOv3p029-044Downes.pdf

Holtzblatt K. and Beyer H. (2015). Contextual Design: Evolved. Morgan & Claypool Publishers series, Synthesis Lectures On Human-Centered Informatics #24. http://wtf.tw/ref/holtzblatt.pdf

Kattmann, U., Duit, R., Gropengiesser, H., & Komorek, M. (1996). Educational reconstruction-bringing together issues of scientific clarification and students’ conceptions. Annual meeting of the National Association of Research in Science Teaching, St. Louis, MO.

Niebert, K., Gropengiesser, H. (2013). The model of educational reconstruction: A framework for the design of theory based content specific interventions. The example of climate change. In T. Plomp, & N. Nieveen (Eds.), Educational design research – Part B: Illustrative cases(pp. 511-531). Enschede, the Netherlands: SLO.

Ostrom, E., & Basurto, X. (2011). Crafting analytical tools to study institutional change. Journal of Institutional Economics,7(3), 317–343.

Pask, G. (1966). A brief account of work on adaptive teaching and measuring systems. Kybernetika,2(4), 287–299. http://dml.cz/bitstream/handle/10338.dmlcz/125795/Kybernetika_02-1966-4_1.pdf

Quentin, I., & Bruillard, E. (2009). Le fonctionnement de sesamath : une étude exploratoireIn EPAL 2009. Grenoble. Consulté à l’adressehttp://w3.u-grenoble3.fr/epal/dossier/06_act/pdf/epal2009-quentin-bruillard.pdf

Quentin, I., Bruillard, E. (2013). Explaining Internal Functioning of Online Teacher Networks: between personal interest and depersonalized collective production, between the sandbox and the hive. Full paper Society for Information Technology and Teacher Education (Site). New Orleans, Louisiana, 25-29 March 2013.

Rouvroy A. (2009). Gouverner : détecter et prévenir !, in Politique, issue 61, on line http://www.crid.be/pdf/public/6167.pdf

VanLehn K. (1988). Student Modeling. In Polson M. & Richardson J. (eds.), Foundations of Intelligent Tutoring Systems. Hillsdale, NJ: Erblaum, pp.55-78.

Van Lehn K.(1990). Mind Bugs. The Origins of Procedural Misconceptions. MIT Press, Cambridge, MA, 253 p.