Name of study Q

MOOCAZ (Monter un MOOC de A à Z)

Description of study Q

Formation sur la conception d'un MOOC à partir de laquelle les données produites vont être traitées et analysées pour répondre aux questions de recherche : Comment décrire le succès d'un MOOC ? Quels sont les indicateurs quantitatifs pertinents pour décrire le succès d'un MOOC selon la représentation que l'on s'en fait ?

How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q

1. Autorisation traces numériques 2. Anonymisation des données 3. Charte

Name and contact of person which can give informations about data Q

Matthieu Cisel (collecte et analyse), Tony Doat (Traitement), Matthieu Cisel - Mattias Mano - Sébastien Iksal - Serge Garlatti (Analyse)

Pour cas d'étude > à fusionner avec "Nom du(es) producteurs" Q

ENS Paris-Saclay, laboratoire STEF

Pour cas d'étude - Fields of education (mathematic, physics, litterature, ...) Q

Numérique pédagogique

Number of hours of training (number of sessions, total duration of training, number of hours, sessions, ...) Q

Number of students Q

Number of tutors

Types of activities set up (groups, distance, ...)

Problematic description Q

Cette étude s’inscrit dans le cadre général d’une réflexion sur les indicateurs de performance dans les MOOC. La gratuité et l’absence de cadre contraignant contribuent à créer un écart conséquent entre activités prescrites par l’équipe pédagogique, et activité effective des utilisateurs du cours, qui questionne l’usage d’indicateurs de performance comme les taux de certification. Nous tâchons de réfléchir à des alternatives à un tel indicateur en nous penchant sur les utilisations qui sont faites du dispositif, en particulier chez les non-certifés.

Nous nous intéressons aux modes de suivi du cours pour le MOOCAZ, un mode de suivi étant défini comme la combinaison de différentes actions (visionnage de vidéo, réalisation de quiz, rendu de devoirs) au sein d’un module du cours donné. Un mode de suivi alternatif quant à lui correspond à un mode de suivi qui, s’il est adopté pour l’ensemble des modules d’un cours, ne permet pas l’obtention du certificat.

On cherche dans un premier temps à décrire et à quantifier ces écarts, pour ensuite les interpréter par des entretiens semi-directifs, selon une logique de méthode mixte qui sort du cadre de cette étude. A bien des égards, ce mode de suivi alternatif correspond à ce que Rabardel (1995) définit comme une catachrèse. La problématique générale peut être résumée en ces termes : Quelle est la composition des différentes classes de non-certifiés ? (Scénario 2)

Creation date of problematic Q

2015

Description of research questions Q

Quels sont les modes de suivi alternatifs, c’est à dire ne débouchant pas sur l’obtention d’un certificat ? Que représentent-ils sur le plan quantitatif par rapport aux modes de suivi débouchant sur l’obtention du certificat ?

What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q

Accès à des données individuelles

References about related problematics Q

Cisel M., Mano, M., Bachelet, R., A Tale of Two MOOCs : Analysing long term dynamics (EMOOCs 2015, in Press) M. Cisel and R. Bachelet, “Understanding engagement in the First French xMOOC,” in Proc. of the First European MOOCs Stakeholders Summit, 2014

Cisel (2016). Utilisations des MOOC, éléments de typologie. Manuscrit de thèse non publié

Data location Q

Les données sont stockées sur FUN, puis après transmission au laboratoire STEF, sur les serveurs du laboratoire. Elles ont ensuite été partagées sur Assembla.

Description of the storage format of data (files, data base, ... ) Q

Deux types de données sont mobilisées pour réaliser l’analyse. Le premier jeu de données correspond aux actions des apprenants, ce sont des traces brutes séquentielles d’actions unitaires avec timestamp, id de l’apprenant, id de l’action, id de la ressource sur laquelle porte l’action (visionnage de vidéo, réponse à un quiz, participation sur un forum). Le deuxième type de données correspond à la structure du cours en chapitres. Deux sessions du cours ont été organisées (MOOCAZ V1 et V2) et analysées, avec de légers changement dans le format des traces entre ces deux sessions. Les paragraphes qui suivent donnent davantage de précision eu égard à ces questions.

Format des traces

Format des traces de MOOCAZ V1 : Il s'agit d'un fichier de logs dont la structure est composée pour chaque ligne d'une date/heure au format « Apr 22 06:49:42 », de l'adresse d'une machine « ellms22.cines.fr », du mot clé « edx_tracking: » et de la trace formatée en JSON.

Format de la structure de cours (MOOCAZ V1)

Il s'agit d'un format CSV utilisant la virgule comme séparateur. Il est composé des colonnes suivantes : p_display_name, p_start, p_url_name, p_folder, e_url_name, p_parent_url, e_id_video, e_display_name. Il dispose d'une première ligne reprenant les noms des colonnes et d'une deuxième ligne contenant uniquement « assets » dans les colonnes p_url_name et p_folder. • p_start est une date au format suivant : « 2014-05-12T12:00:00Z » • les urls sont cryptées • p_folder est un champ dont les valeurs possibles sont : chapter, course, discussion, vertical, problem, sequential et pour une ligne « MOOCAZS01_Trimestre_2_2014 » qui est probablement une erreur. • p_parent_url est vide la plupart du temps. => Le format CSV étant pris en charge par l'environnement UTL directement, il n'a pas été nécessaire de prétraiter ces données.

Format de la structure de cours (MOOCAZ V2)

Particularité par rapport à MOOCAZ V1, tous les chapitres ont la même date de démarrage et ils sont beaucoup plus nombreux. 

Description of data model used to describe analyzable data (e.g. BD, XAPI, CSV, … )

Formats natifs des bases de données de edX. Les logs sont en JSON.

Data description (e.g. contents, size, number of records, ...) Q

Nombre d’individus statistiques (nombre de lignes) : entre 3000 et 5000

Nombre de logs : plusieurs dizaines de milliers à chaque session.

Nombre de variables : 8

Legal proceedings regarding the use of data Q

L'utilisation des données est encadrée par les accords que FUN fait signer à chaque laboratoire partenaire.

Pour cas d'étude - Data properties (name, labs, universities, companies, ...) Q

FUN est propriétaire des données, ENS Cachan destinataire

Story of data production (e.g. version, ...)

Les données sont produites pendant des sessions de formation d’une durée s'étalant de cinq a sept semaines. Les sessions du "MOOCAZ"  analysées ont été organisées en juin 2014 et en novembre 2014. Les serveurs du CINES stockent en théorie tous les logs de la plate-forme, mais une perte a été constatée. Environ un log sur deux disparaît, lorsque l’on compare le nombre de messages postés dans les forums par les apprenants, et le nombre de messages présents dans les logs.

Une extraction est requise, les logs extraits par l’équipe du CINES sont envoyés à FUN qui les retransmet au laboratoire STEF.  Après avoir été envoyés au laboratoire STEF, les jeux de données ont été transmis au laboratoire LIUM dans le cadre du projet Hubble. C'est la version brute, telle qu'envoyée par le CINES, qui est envoyée.

Description of data collect method (empirical, ecological, ... )

Les données sont produites en conditions écologiques. Il s'agit des données d'une formation qui n'a pas été conçue pour tester des hypothèses.

Others informations

On peut retrouver à l'adresse suivante toutes les informations nécessaires sur les métadonnées : http://edx.readthedocs.io/projects/devdata/en/stable/internal_data_formats/tracking_logs.html

Purposes of analysis Q

Analyse diachronique de l'activité des utilisateurs de MOOC. Classification d'apprenants sur la base des learning analytics. Confrontation entre classifications issues de learning analytics, de résultats d'enquête et d'analyses d'entretiens.

Il s’agit ici de reproduire sur des données de FUN des analyses réalisées dans le cadre d’autres MOOC, organisés sur Coursera ou Unow, et dont les analyses sont accessibles dans Cisel (2016).

Person(s) in charge of the analysis (pre-processing and processing) Q

Matthieu Cisel, Mattias Mano, Sébastien Iksal, Serge Garlatti

Which actors would be interested in the analysis and why?

Enseignant-concepteur, enseignant-accompagnateur, chercheur,responsable de formation, apprenant, institution.

Objectifs et attentes du scénario d’analyse selon les acteurs : Scénario 2 : identifier les types d'apprenants

• Responsable de formation : gestion personnalisée des différents groupes d’apprenants, relance de décrocheurs, de personnes faiblement engagées, etc. Diminution du taux d’abandon en ciblant des catégories d’usagers particulières. En cours de reconception, mesure de l’usage différentiel des ressources selon les catégories d’apprenants.
• Institution, décideur : communiquer de manière précise sur l’activité globale du MOOC, évaluer le retour sur investissement (non financier) du MOOC en mesurant les différentes, du point de vue de la communication.
• Enseignant-accompagnateur : segmenter les différents types d'utilisateurs pour pouvoir éventuellement suivre des stratégies différentes selon les groupes (relances ciblées, etc).
• Chercheur : Faire le lien entre catégories d'utilisateurs sur le plan des learning analytics et des variables autodéclarées (signalétique sociologiques, motivations et intentions déclarées). Apprenant : être capable de se positionner vis-à-vis des autres inscrits (éventuellement dans une logique de gamification).

State of progress of the analysis scenario (e.g. pre-processing, processing, dashboards, ...)

Pré-traitement et traitement terminés.

Date or period of the analysis

Période de la collecte : 05/2014-11/2014 

Période de l'analyse : 01/2016 - 06/2016

Description of learning analytics goals Q

Il s’agit ici de reproduire sur des données de FUN des analyses réalisées dans le cadre d’autres MOOC, organisés sur Coursera ou Unow, et dont les analyses sont accessibles dans Cisel (2016).

How has the ethical dimension of the analysis been taken into account?

Anonymisation des données

Global description of pre-processing

Objectifs des pré-traitements : Permettre l’analyse des données brutes par les outils UTL ou R.

Deux méthodes ont été employées, seule la dernière ayant été retenue. Les logs sont composés d’une mélange de JSON et d’autres formats de données. L’objet du pré-traitement est de décomposer les logs de sorte a ce que ces différents éléments constitutifs (nature de l’action réalisée, horodatage, etc.) soient compris dans des colonnes distinctes. En première approche, une moulinette en Python mise en place par Tony décompose l’ensemble des événements de la partie GET ou POST en une série de colonne. Cela permettait de transformer un fichier de logs qui se présente comme un mélange de JSON et de formats natifs en une matrice CSV plus facilement analysable. Cette approche n'a pas été retenue.

• Transformation privilégiant les attributs (variables) pour lesquels les données étaient régulièrement fournies et un attribut « vrac » pour les informations rarement fournies : objectif, avoir une table avec un nombre raisonnable d’attributs (variables) 
• Transformation conservant toutes les colonnes, même si la plupart seront quasi vides Dans les deux cas, les transformations ont été de plusieurs types :
  • Réduction de la taille (de l’ordre du Go ou plus de données) à un taille compatible avec l’utilisation actuelle d’UnderTracks (de l’ordre de qlq dizaines de Mo). La sauvegarde de l’ensemble des données est possible, mais n’a pas été effectué à ce jour (prévu pour bientôt). o
  • Transformation du JSON en CSV o Validation/Modification du CSV pour vérifier que le nombre de colonne est constant, que le csv est « simple », que le codage des caractères est en UTF8.

Plateforms or softwares to pre-process data

Pour le MOOCAZ, l’analyse a été réalisée par la plate-forme UTL. R, UTL, divers éditeurs de texte/code acceptant les « gros fichiers », commandes shell unix, excel.

Overall description of the treatments used (e.g. make a list of the methods used)

• Agrégation des actions réalisées et construction de variables nouvelles (construction d'une séquence d'états pour chaque utilisateur)
• Représentation graphique de la séquence d'états, et de la proportion relative des différents états

Description of variables used as input for processing (e.g. name, content, modalities)

• user_id (identifier l'utilisateur)
• event_type (différents événements liés aux vidéos, aux QCM, etc.) :
  • play_video (lancer une vidéo)
  • problem_graded (soumettre un exercice automatisé)
  • openassessmentblock.peer_assess (soumettre un devoir évalué par les pairs)
• item_id (permet d'identifier l'item sur lequel l'action est réalisée)

Le détail des événements et leur signification est donné dans la documentation d'edX : http://edx.readthedocs.io/projects/devdata/en/stable/internal_data_formats/tracking_logs.html#reviewing-a-sample-event

Description of analysis results Q

On observe des fluctuations importantes des différentes catégories de participants. La catégorie "Inactifs" est la plus représentée. Pour le MOOCAZ V1, ils sont environ 70% des inscrits sur le premier module du cours, pour en représenter environ 95% sur le dernier module. Les "viewers" représentent environ 12% des inscrits sur la première semaine, puis leur proportion chute pour ne plus représenter que 2%. Cette chute avec un plateau à 2% est commune aux différentes catégories de participants, seule l'ampleur du pic lié au premier module change. Ce pic est de 9% pour les active viewers, et de 6% pour les quizzers.

Type of results produced (model, indicator, algorithms, ...) Q

1. Catégorisation en fonction de l’activité : tableau avec les effectifs des différentes catégories d’apprenants.

2. Sur la base de cette catégorisation, construction d’indicateurs comme les proportions des différentes catégories d’apprenants par rapport au nombre de non-ceritifés

Tableau de bord : 

• Enseignant : tableau de bord réunissant les différents indicateurs d’intérêt.
• Apprenant : indicateur pop-up
• Institution : tableau de bord

How are the results acceptable from an ethical point of view? Or what are the perceived ethical problems?

Tant que les données sont anonymisées, nous ne voyons pas de problèmes éthiques associés à cette analyse. Nous nous inscrivons dans un contexte d'éducation non-formelle, où les résultats issus des analyses des données ne sont pas susceptibles d'influer sur le cours de la formation, ni même d'être pris en compte pendant la durée de la formation ou pour des formations ultérieures.

Visualisation descriptions

Ethical dimension of indicators Q

Pas de problème éthique particulier à condition qu'il n'y ait pas de déanonymisation

Indicator's names

1) I_LearnersClassification 2) I_DetailedClassification

Indicators description

1) Indicateur permettant d'obtenir pour chaque chapitre le pourcentage et le nombre d'apprenants dans chaque catégorie. 2) Indicateur permettant d'obtenir les triplets (apprenant, chapitre, état) afin d’afficher les parcours.

Which actor would be interested by the indicators ?

Enseignant, décideur, apprenant

Value type (discrete, continue)

La proportion des individus se situant pour un module donné dans un état donné est une valeur continue

Mode of processing (real time, delayed)

Post session, mais pourrait être fait en temps réel

Description of all ethical or legal information about case study, analysis and data

Le contenu produit par les internautes est sous Licence restrictive. La production relève de la propriété intellectuelle des auteurs et ne peut donc pas être réutilisée, sauf si l'auteur décide lui-même d'associer, en l'indiquant explicitement, une licence libre sur sa production.

Other informations

Le seul risque que présente l’étude est l’atteinte à la vie privée qui résulterait d’un problème d’anonymisation des traces d’activité. Il serait alors possible de déterminer avec précision sur quels intervalles de temps un individu donné s’est consacré à la formation depuis la plate-forme qui l’héberge. Le deuxième risque réside dans les problèmes d’anonymisation des questionnaires remplis par les participants, qui dévoilerait des informations relatives à leurs variables sociodémographiques, dont notamment le secteur d’activité ou l’emploi occupé. Pour limiter ce risque, les plates-formes qui transmettent les données concernées se voient demander d’anonymiser au préalable toute donnée transmise. Si par accident une telle donnée n’était pas anonymisée, le chercheur se doit de réaliser le processus d’anonymisation lui-même, avant toute manipulation des jeux de données, puis de détruire le fichier contenant les données non anonymisées.

How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q

1. Autorisation traces numériques 2. Anonymisation des données 3. Charte

Legal proceedings regarding the use of data Q

L'utilisation des données est encadrée par les accords que FUN fait signer à chaque laboratoire partenaire.

How has the ethical dimension of the analysis been taken into account?

Anonymisation des données

State of progress of the analysis scenario (e.g. pre-processing, processing, dashboards, ...)

Pré-traitement et traitement terminés.

What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q

Accès à des données individuelles

How are the results acceptable from an ethical point of view? Or what are the perceived ethical problems?

Tant que les données sont anonymisées, nous ne voyons pas de problèmes éthiques associés à cette analyse. Nous nous inscrivons dans un contexte d'éducation non-formelle, où les résultats issus des analyses des données ne sont pas susceptibles d'influer sur le cours de la formation, ni même d'être pris en compte pendant la durée de la formation ou pour des formations ultérieures.

Ethical dimension of indicators Q

Pas de problème éthique particulier à condition qu'il n'y ait pas de déanonymisation

Description of all ethical or legal information about case study, analysis and data

Le contenu produit par les internautes est sous Licence restrictive. La production relève de la propriété intellectuelle des auteurs et ne peut donc pas être réutilisée, sauf si l'auteur décide lui-même d'associer, en l'indiquant explicitement, une licence libre sur sa production.