Nom de l'étude Q

LIF3-ASKER

Description de l'étude Q

ASKER est un outil de génération d'exercices pour l’auto-évaluation. Il est utilisé à l’université Lyon 1 pour la révision des acquis et l'entrainement sur les notions vues en cours magistraux (dans le cadre d'une UE de programmation récursive en 1ère année de Licence (UE LIF3)). Après chaque cours, des exercices sont mis à disposition des étudiants sur ASKER pour qu’ils s’auto-évaluent et manipulent les notions vues en cours.

Nom de l'auteur de l'analyse Q

Marie Lefevre - Laboratoire LIRIS

Comment la dimension éthique de l'étude a-t-elle été prise en compte ? Q

A. Confidentialité 1 . Procédé d’anonymisation

Les données en entrée de l’analyse ne comportent aucune information personnelle. Elles sont issues d’un export des bases de données de la plateforme Claroline Connect. Nous possédons sur l’utilisateur uniquement un identifiant et aucun moyen de retrouver les autres informations personnelles le concernant.

2. Personnes ayant accès aux données :

Ces données ont été mises à disposition des chercheurs de l’ANR Hubble et aux membres de la plateforme UnderTracks et kTBS.

B. Archivage Durée de l’archivage : minimum 4 ans (2015-2019).

Lieu de l’archivage : serveur https://liris-ktbs01.insa-lyon.fr:8000/hubble/

Personne responsable : Marie Lefevre.

Possibilité de destruction à la demande du participant : il n’y a pas de lien entre données et participants.

C. Partage Type de données partagées : Données anonymes

Conditions de partage : cf. contrat de l’ANR Hubble. http://hubblelearn.imag.fr/

Nom et contact des personnes qui peuvent donner des informations sur les données Q

Marie Lefevre (Marie.Lefevre@liris.cnrs.fr)
http://liris.cnrs.fr/marie.lefevre/
04 72 44 58 90
Maître de conférences en informatique, Université Claude Bernard Lyon 1 Laboratoire LIRIS - UMR 5205 Bureau 12.006 - Bâtiment Nautibus - 23-25 avenue Pierre de Coubertin - 69 100 Villeurbanne
Adresse postale : 43 Bd du 11 novembre 1918 - 69 622 Villeurbanne Cedex

Nathalie Guin (nathalie.guin@univ-lyon1.fr)

Nom du partenaire de l'étude du cas Q

LIRIS-Tweak- https://liris.cnrs.fr/equipes?id=75

Pour Cas d'étude - Types de méthodes et approches pédagogiques

Auto-évaluation 

Domaine d'enseignement (mathématiques, physique, litterature, ... Q

Programmation récursive et fonctionnelle : algorithmie et langage scheme

Volume horaire de la formation (Nombre de sessions, Durée globale de la formation, nombre d'heures, de séances, ...) Q

Types de ressources numériques mises à disposition des élèves

Nombre d'élèves ou d'étudiants Q

Nombre d'enseignants

Types d'activités mise en places (groupes, distance, ...)

Description de la problématique Q

Comprendre comment les étudiants utilisent la plateforme, dans quel but et connaitre le bénéfice pour les étudiants ?

Evaluer les outils de génération d'exercices pour les améliorer et assister les enseignants qui s'en servent.

Date de création de la problématique Q

Septembre 2014

Description des questions de recherche Q

Identifier l’utilisation de la plateforme par les étudiants (abandon), les types d’apprenants et leur progression au cours du temps.

– Dégager des classes d’apprenants en fonction de la manière dont ils utilisent le jeu sans typologie a priori.

– Affecter des apprenants à des types de comportement prédéfinis.

– Identifier les principaux types d’utilisateurs sur la base de l’utilisation des différents éléments proposés dans le cours.

Quels problèmes éthiques peuvent se poser avec cette problématique ? ( e.g. accès à des données individuelles, ...) Q

Accès à des données individuelles

Réferences sur des problématiques proches Q

Marie LEFEVRE, Nathalie GUIN, Article à l'atelier EAEI, EIAH 2015.

Baptiste CABLE, Nathalie GUIN, Marie LEFEVRE. An authoring tool for semi-automatic generation of self- assessment exercises. Conférence AIED 2013, Memphis, USA, pp. 679-682, 10-12 juillet 2013.

Baptiste CABLE, Nathalie GUIN, Marie LEFEVRE. Un outil auteur pour une génération semi-automatique d’exercices d’auto-évaluation. Conférence EIAH 2013, Toulouse, France, 29 - 31 mai 2013.

Baptiste CABLE, Marie LEFEVRE, Nathalie GUIN. Comment représenter et manipuler les connaissances dans un générateur semi-automatique d'exercices d'auto-évaluation ? Journée EIAH&IA 2013, Toulouse, France, 28 mai 2013.

Localisation des données Q

Les traces sont stockées dans la base de données de Claroline Connect.

Description de la structure physique de stockage des données (e.g. structure en forme de répertoire, base de données , fichiers CSV, ... ) Q

Base de données de la plateforme Claroline Connect. Les traces sont anonymes (ID user mais aucune autre info). Cette base de traces contient les informations de tous les étudiants.

Description du modèle de données utilisé sur les données analysables (BD, XAPI, CSV, … )

Pas de modèle de la BD. Une étude “manuelle” a été effectuée : 

• IMG_2376.JPG
• IMG_2377.JPG

Description des données (contenu,taille, nombre d'enregistrements...) Q

Contient les tables (entre autres) : 

Table Claire_exercise_item

- Id : de l’exercice généré dans la BD
- Exercise_id : Id de l’exo pour la plateforme ASKER
- Type : QCM, QROC, groupement… => pour QCM = multiple-choice
- Content : JSON de la forme (pour les QCM) : {“question”:”xxxx”, “proposition”:[ {“text”: “la proposition 1”, right:bool(right/false)}, …], “origin-resource”:n° de la ressource utilisée pour générer la question, “item-type”:”mutiple-choice-question”}

Table Claire_exercise_attempt
- Id : de la tentative dans la BD
- Exercise_Id : id de l'exercice auquel est associée la tentative
- User_Id : utilisateur ayant fait la tentative
- Test_attempt_id : NULL tout le temps…
- Created_at : date de la forme 20xx-xx-xx hh:mm:ss
- Position : NULL tout le temps…

Table Claire_exercise_answer ​(format pour les QCM) :
- Id : de la réponse dans la DB
- Item_Id : n° de la question dans le QCM
- Attempt_Id : n° de la tentative pour l’item
- Content : JSON de la forme {“content”:[0,1,0,...]}
- Mark : score en pourcentage

Pour cas d'étude - Propriété des données (nom, laboratoire ou entreprise propriétaire des données) Q

Laboratoire LIRIS - UMR 5205, équipe TWEAK, Marie Lefevre & Nathalie Guin

Historique sur la production des données (e.g. version, ...)

Description du mode de collecte des données (écologique, expérimentale, … )

Finalités de l'analyse Q

Scénario 2 : Identifier les "types d'apprenants" selon 4 axes :

Sc2a : Quand les apprenants utilisent-ils la plateforme ?

Sc2b : Comment les apprenants utilisent-ils la plateforme (plusieurs essais sur la même version du même exercice) ?

Sc2c : Comment les apprenants utilisent-ils la plateforme (plusieurs versions dumême exercice) ? 

Sc2d : Pourquoi du comment les apprenants utilisent la plateforme ?

Améliorer l’apprentissage, la collaboration, l’accès aux contenus (etc) grâce à une meilleure connaissance des apprenants (leurs capacités, leurs comportements…) :
- pour le concepteur qui veut faire des propositions plus pertinentes / types d'apprenants
- pour l'apprenant qui peut avoir une démarche réflexive à partir de la connaissance de son “type”

Responsable(s) de l'analyse (pre-traitement et traitement) Q

Marie Lefevre, Rémi Casado, Nathalie Guin

Acteurs susceptibles d'être intéressés par l'analyse et pourquoi ?

Enseignant-concepteur, enseignant-accompagnateur, chercheur, apprenant, tuteur, concepteur ...
Cette analyse s’effectue dans le contexte de la formation initiale universitaire en informatique, à destination des concepteurs de la plateforme Asker de genération d’exercices et à destination des enseignants rédacteurs des questions de QCM.
L’intérêt est pratique :
Pour l'enseignant-responsable de formation : voir l'utilisation réelle de l'outil par les apprenants.
Pour le chercheur : dans le cadre d'Hubble, voir si les solutions génériques permettant de décrire un scénario peuvent être appliqué à ce scénario particulier. 
Pour les étudiants : voir en quoi l'utilisation de la plateforme leur ai bénéfique, avoir une démarche réflexive à partir de la connaissance de leur “type” d'apprenant.

Etat d'avancement du scénario d'analyse (e.g.pré-traitement, traitement, tableaux de bords, ...)

Traitements terminés mais résultats pas encore mis en oeuvre

Date ou période de l'analyse

Période de la collecte : chaque semestre d’automne et de printemps depuis septembre 2014

Période de l’analyse : Avril 2015

Objectifs de l'analyse pour le "learning analytics" Q

Modèle et profils de l’apprenant, personnalisation​, de l’enseignant, scénarisation, prise de décision, rétroaction,​pédagogie, didactique, ...

Rapport de l'analyse (télécharger le rapport)

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Traces anonymes

Description globale des pre-traitements

Préparation des données : filtrage temporel, normalisation des résultats...
- Découpage des résultats par semaine d'enseignement
- Application des règles pour détecter les comportements des apprenants

Plateformes ou logiciels pour pre-traiter les données

Système de gestion de traces kTBS et/ou UnderTracks 3.
Plateforme d'analyse du stage M2 d'Alexis Lebis

Description globale des traitements mis en place (e.g. faire une liste des méthodes utilisées)

Calcul de moyenne des résultats, de taux de corrélation, etc. : sur l’ensemble des questions, par groupe de question.

Description des variables utilisées en entrée pour le traitement (e.g. nom, contenu, modalités)

Autres informations sur le traitement des données

https://docs.google.com/document/d/1yUNA147xAveKQEh7BEHtdkDaOmoE3xSK-O35aUsvhe8/edit#

Autres informations

Description des résultats de l'analyse Q

Pas encore mis en oeuvre

Nom de l'indicateur

Pour le scénario 2 : Identifier les "types" d'apprenants :
Indicateur 1 : Quand les apprenants utilisent-ils la plateforme ?
Indicateur 2 : Comment les apprenants utilisent-ils la plateforme ?
Indicateur 3 : Pourquoi du comment les apprenants utilisent la plateforme ?

Description de l'indicateur

Scénario 2 : Identifier les "types" d'apprenants
Indicateur 1 et 2 : camembert
Indicateur 3 : non mentionné

Quels acteurs peuvent être intéressés par ces indicateurs ?

Enseignant-concepteur

Description de toutes informations éthiques ou juridiques sur l'étude de cas, les analyses et les données

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...

Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).

Autres informations

Comment la dimension éthique de l'étude a-t-elle été prise en compte ? Q

A. Confidentialité 1 . Procédé d’anonymisation

Les données en entrée de l’analyse ne comportent aucune information personnelle. Elles sont issues d’un export des bases de données de la plateforme Claroline Connect. Nous possédons sur l’utilisateur uniquement un identifiant et aucun moyen de retrouver les autres informations personnelles le concernant.

2. Personnes ayant accès aux données :

Ces données ont été mises à disposition des chercheurs de l’ANR Hubble et aux membres de la plateforme UnderTracks et kTBS.

B. Archivage Durée de l’archivage : minimum 4 ans (2015-2019).

Lieu de l’archivage : serveur https://liris-ktbs01.insa-lyon.fr:8000/hubble/

Personne responsable : Marie Lefevre.

Possibilité de destruction à la demande du participant : il n’y a pas de lien entre données et participants.

C. Partage Type de données partagées : Données anonymes

Conditions de partage : cf. contrat de l’ANR Hubble. http://hubblelearn.imag.fr/

Quels problèmes éthiques peuvent se poser avec cette problématique ? ( e.g. accès à des données individuelles, ...) Q

Accès à des données individuelles

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Traces anonymes

Etat d'avancement du scénario d'analyse (e.g.pré-traitement, traitement, tableaux de bords, ...)

Traitements terminés mais résultats pas encore mis en oeuvre

Description de toutes informations éthiques ou juridiques sur l'étude de cas, les analyses et les données

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...

Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).