Name of study Q

LIF3-ASKER

Description of study Q

ASKER est un outil de génération d'exercices pour l’auto-évaluation. Il est utilisé à l’université Lyon 1 pour la révision des acquis et l'entrainement sur les notions vues en cours magistraux (dans le cadre d'une UE de programmation récursive en 1ère année de Licence (UE LIF3)). Après chaque cours, des exercices sont mis à disposition des étudiants sur ASKER pour qu’ils s’auto-évaluent et manipulent les notions vues en cours.

Name of the author of the study Q

Marie Lefevre - Laboratoire LIRIS

How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q

A. Confidentialité 1 . Procédé d’anonymisation

Les données en entrée de l’analyse ne comportent aucune information personnelle. Elles sont issues d’un export des bases de données de la plateforme Claroline Connect. Nous possédons sur l’utilisateur uniquement un identifiant et aucun moyen de retrouver les autres informations personnelles le concernant.

2. Personnes ayant accès aux données :

Ces données ont été mises à disposition des chercheurs de l’ANR Hubble et aux membres de la plateforme UnderTracks et kTBS.

B. Archivage Durée de l’archivage : minimum 4 ans (2015-2019).

Lieu de l’archivage : serveur https://liris-ktbs01.insa-lyon.fr:8000/hubble/

Personne responsable : Marie Lefevre.

Possibilité de destruction à la demande du participant : il n’y a pas de lien entre données et participants.

C. Partage Type de données partagées : Données anonymes

Conditions de partage : cf. contrat de l’ANR Hubble. http://hubblelearn.imag.fr/

Name and contact of person which can give informations about data Q

Marie Lefevre (Marie.Lefevre@liris.cnrs.fr)
http://liris.cnrs.fr/marie.lefevre/
04 72 44 58 90
Maître de conférences en informatique, Université Claude Bernard Lyon 1 Laboratoire LIRIS - UMR 5205 Bureau 12.006 - Bâtiment Nautibus - 23-25 avenue Pierre de Coubertin - 69 100 Villeurbanne
Adresse postale : 43 Bd du 11 novembre 1918 - 69 622 Villeurbanne Cedex

Nathalie Guin (nathalie.guin@univ-lyon1.fr)

Pour cas d'étude > à fusionner avec "Nom du(es) producteurs" Q

LIRIS-Tweak- https://liris.cnrs.fr/equipes?id=75

Pour Cas d'étude - Types of methods and pedagogical approaches

Auto-évaluation 

Pour cas d'étude - Fields of education (mathematic, physics, litterature, ...) Q

Programmation récursive et fonctionnelle : algorithmie et langage scheme

Number of hours of training (number of sessions, total duration of training, number of hours, sessions, ...) Q

Types of numerical resources available to students (Podcast, MCQ, text, etc.)

Number of students Q

Number of tutors

Types of activities set up (groups, distance, ...)

Problematic description Q

Comprendre comment les étudiants utilisent la plateforme, dans quel but et connaitre le bénéfice pour les étudiants ?

Evaluer les outils de génération d'exercices pour les améliorer et assister les enseignants qui s'en servent.

Creation date of problematic Q

Septembre 2014

Description of research questions Q

Identifier l’utilisation de la plateforme par les étudiants (abandon), les types d’apprenants et leur progression au cours du temps.

– Dégager des classes d’apprenants en fonction de la manière dont ils utilisent le jeu sans typologie a priori.

– Affecter des apprenants à des types de comportement prédéfinis.

– Identifier les principaux types d’utilisateurs sur la base de l’utilisation des différents éléments proposés dans le cours.

What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q

Accès à des données individuelles

References about related problematics Q

Marie LEFEVRE, Nathalie GUIN, Article à l'atelier EAEI, EIAH 2015.

Baptiste CABLE, Nathalie GUIN, Marie LEFEVRE. An authoring tool for semi-automatic generation of self- assessment exercises. Conférence AIED 2013, Memphis, USA, pp. 679-682, 10-12 juillet 2013.

Baptiste CABLE, Nathalie GUIN, Marie LEFEVRE. Un outil auteur pour une génération semi-automatique d’exercices d’auto-évaluation. Conférence EIAH 2013, Toulouse, France, 29 - 31 mai 2013.

Baptiste CABLE, Marie LEFEVRE, Nathalie GUIN. Comment représenter et manipuler les connaissances dans un générateur semi-automatique d'exercices d'auto-évaluation ? Journée EIAH&IA 2013, Toulouse, France, 28 mai 2013.

Data location Q

Les traces sont stockées dans la base de données de Claroline Connect.

Description of the storage format of data (files, data base, ... ) Q

Base de données de la plateforme Claroline Connect. Les traces sont anonymes (ID user mais aucune autre info). Cette base de traces contient les informations de tous les étudiants.

Description of data model used to describe analyzable data (e.g. BD, XAPI, CSV, … )

Pas de modèle de la BD. Une étude “manuelle” a été effectuée : 

• IMG_2376.JPG
• IMG_2377.JPG

Data description (e.g. contents, size, number of records, ...) Q

Contient les tables (entre autres) : 

Table Claire_exercise_item

- Id : de l’exercice généré dans la BD
- Exercise_id : Id de l’exo pour la plateforme ASKER
- Type : QCM, QROC, groupement… => pour QCM = multiple-choice
- Content : JSON de la forme (pour les QCM) : {“question”:”xxxx”, “proposition”:[ {“text”: “la proposition 1”, right:bool(right/false)}, …], “origin-resource”:n° de la ressource utilisée pour générer la question, “item-type”:”mutiple-choice-question”}

Table Claire_exercise_attempt
- Id : de la tentative dans la BD
- Exercise_Id : id de l'exercice auquel est associée la tentative
- User_Id : utilisateur ayant fait la tentative
- Test_attempt_id : NULL tout le temps…
- Created_at : date de la forme 20xx-xx-xx hh:mm:ss
- Position : NULL tout le temps…

Table Claire_exercise_answer ​(format pour les QCM) :
- Id : de la réponse dans la DB
- Item_Id : n° de la question dans le QCM
- Attempt_Id : n° de la tentative pour l’item
- Content : JSON de la forme {“content”:[0,1,0,...]}
- Mark : score en pourcentage

Pour cas d'étude - Data properties (name, labs, universities, companies, ...) Q

Laboratoire LIRIS - UMR 5205, équipe TWEAK, Marie Lefevre & Nathalie Guin

Story of data production (e.g. version, ...)

Description of data collect method (empirical, ecological, ... )

Purposes of analysis Q

Scénario 2 : Identifier les "types d'apprenants" selon 4 axes :

Sc2a : Quand les apprenants utilisent-ils la plateforme ?

Sc2b : Comment les apprenants utilisent-ils la plateforme (plusieurs essais sur la même version du même exercice) ?

Sc2c : Comment les apprenants utilisent-ils la plateforme (plusieurs versions dumême exercice) ? 

Sc2d : Pourquoi du comment les apprenants utilisent la plateforme ?

Améliorer l’apprentissage, la collaboration, l’accès aux contenus (etc) grâce à une meilleure connaissance des apprenants (leurs capacités, leurs comportements…) :
- pour le concepteur qui veut faire des propositions plus pertinentes / types d'apprenants
- pour l'apprenant qui peut avoir une démarche réflexive à partir de la connaissance de son “type”

Person(s) in charge of the analysis (pre-processing and processing) Q

Marie Lefevre, Rémi Casado, Nathalie Guin

Which actors would be interested in the analysis and why?

Enseignant-concepteur, enseignant-accompagnateur, chercheur, apprenant, tuteur, concepteur ...
Cette analyse s’effectue dans le contexte de la formation initiale universitaire en informatique, à destination des concepteurs de la plateforme Asker de genération d’exercices et à destination des enseignants rédacteurs des questions de QCM.
L’intérêt est pratique :
Pour l'enseignant-responsable de formation : voir l'utilisation réelle de l'outil par les apprenants.
Pour le chercheur : dans le cadre d'Hubble, voir si les solutions génériques permettant de décrire un scénario peuvent être appliqué à ce scénario particulier. 
Pour les étudiants : voir en quoi l'utilisation de la plateforme leur ai bénéfique, avoir une démarche réflexive à partir de la connaissance de leur “type” d'apprenant.

State of progress of the analysis scenario (e.g. pre-processing, processing, dashboards, ...)

Traitements terminés mais résultats pas encore mis en oeuvre

Date or period of the analysis

Période de la collecte : chaque semestre d’automne et de printemps depuis septembre 2014

Période de l’analyse : Avril 2015

Description of learning analytics goals Q

Modèle et profils de l’apprenant, personnalisation​, de l’enseignant, scénarisation, prise de décision, rétroaction,​pédagogie, didactique, ...

Report of the analysis (download the analysis report)

How has the ethical dimension of the analysis been taken into account?

Traces anonymes

Global description of pre-processing

Préparation des données : filtrage temporel, normalisation des résultats...
- Découpage des résultats par semaine d'enseignement
- Application des règles pour détecter les comportements des apprenants

Plateforms or softwares to pre-process data

Système de gestion de traces kTBS et/ou UnderTracks 3.
Plateforme d'analyse du stage M2 d'Alexis Lebis

Overall description of the treatments used (e.g. make a list of the methods used)

Calcul de moyenne des résultats, de taux de corrélation, etc. : sur l’ensemble des questions, par groupe de question.

Description of variables used as input for processing (e.g. name, content, modalities)

Other informations of treatment

https://docs.google.com/document/d/1yUNA147xAveKQEh7BEHtdkDaOmoE3xSK-O35aUsvhe8/edit#

Other informations

Description of analysis results Q

Pas encore mis en oeuvre

Indicator's names

Pour le scénario 2 : Identifier les "types" d'apprenants :
Indicateur 1 : Quand les apprenants utilisent-ils la plateforme ?
Indicateur 2 : Comment les apprenants utilisent-ils la plateforme ?
Indicateur 3 : Pourquoi du comment les apprenants utilisent la plateforme ?

Indicators description

Scénario 2 : Identifier les "types" d'apprenants
Indicateur 1 et 2 : camembert
Indicateur 3 : non mentionné

Which actor would be interested by the indicators ?

Enseignant-concepteur

Description of all ethical or legal information about case study, analysis and data

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...

Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).

Other informations

How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q

A. Confidentialité 1 . Procédé d’anonymisation

Les données en entrée de l’analyse ne comportent aucune information personnelle. Elles sont issues d’un export des bases de données de la plateforme Claroline Connect. Nous possédons sur l’utilisateur uniquement un identifiant et aucun moyen de retrouver les autres informations personnelles le concernant.

2. Personnes ayant accès aux données :

Ces données ont été mises à disposition des chercheurs de l’ANR Hubble et aux membres de la plateforme UnderTracks et kTBS.

B. Archivage Durée de l’archivage : minimum 4 ans (2015-2019).

Lieu de l’archivage : serveur https://liris-ktbs01.insa-lyon.fr:8000/hubble/

Personne responsable : Marie Lefevre.

Possibilité de destruction à la demande du participant : il n’y a pas de lien entre données et participants.

C. Partage Type de données partagées : Données anonymes

Conditions de partage : cf. contrat de l’ANR Hubble. http://hubblelearn.imag.fr/

What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q

Accès à des données individuelles

How has the ethical dimension of the analysis been taken into account?

Traces anonymes

State of progress of the analysis scenario (e.g. pre-processing, processing, dashboards, ...)

Traitements terminés mais résultats pas encore mis en oeuvre

Description of all ethical or legal information about case study, analysis and data

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...

Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).