Nom de l'étude Q

LIF3-ASKER

Description de l'étude Q

ASKER est un outil de génération d'exercices pour l’auto-évaluation visant la révision des acquis et l'entrainement sur les notions vues en amphi à l’université Lyon 1 ( dans le cadre de l'UE LIF3). Après chaque cours en amphi, des exercices sont mis à disposition des étudiants sur ASKER pour qu’ils s’auto-évaluent et qu’ils manipulent les notions vues en cours.

Comment la dimension éthique de l'étude a-t-elle été prise en compte ? Q

A. Confidentialité 1 . Procédé d’anonymisation

Les données en entrée de l’analyse ne comportent aucune information personnelle. Elles sont issues d’un export des bases de données de la plateforme Claroline Connect. Nous possédons sur l’utilisateur uniquement un identifiant et aucun moyen de retrouver les autres informations personnelles le concernant.

2. Personnes ayant accès aux données :

Ces données ont été mises à disposition des chercheurs de l’ANR Hubble et aux membres de la plateforme UnderTracks et kTBS.

B. Archivage Durée de l’archivage : minimum 4 ans (2015-2019).

Lieu de l’archivage : serveur https://liris-ktbs01.insa-lyon.fr:8000/hubble/

Personne responsable : Marie Lefevre.

Possibilité de destruction à la demande du participant : il n’y a pas de lien entre données et participants.

C. Partage Type de données partagées : Données anonymes

Conditions de partage : cf. contrat de l’ANR Hubble. http://hubblelearn.imag.fr/

Nom et contact des personnes qui peuvent donner des informations sur les données Q

Marie Lefevre (Marie.Lefevre@liris.cnrs.fr)
http://liris.cnrs.fr/marie.lefevre/
04 72 44 58 90
Maître de conférences en informatique, Université Claude Bernard Lyon 1 Laboratoire LIRIS - UMR 5205 Bureau 12.006 - Bâtiment Nautibus - 23-25 avenue Pierre de Coubertin - 69 100 Villeurbanne
Adresse postale : 43 Bd du 11 novembre 1918 - 69 622 Villeurbanne Cedex

Nathalie Guin (nathalie.guin@univ-lyon1.fr)

Nom du partenaire de l'étude du cas Q

LIRIS-Tweak

Domaine d'enseignement (mathématiques, physique, litterature, ... Q

Programmation récursive et fonctionnelle : algorithmie et langage scheme

Volume horaire de la formation (Nombre de sessions, Durée globale de la formation, nombre d'heures, de séances, ...) Q

Nombre d'élèves ou d'étudiants Q

Nombre d'enseignants

Description de la problématique Q

Evaluer les outils de génération d'exercices pour les améliorer et assister les enseignants qui s'en servent.

Date de création de la problématique Q

Septembre 2014

Description des questions de recherche Q

Identifier les modèles de questions de QCM qui ne sont pas pertinents dans le sens où elles sont soit erronées, soit inutiles à l’apprentissage (trop faciles, difficiles).
– Déterminer la difficulté des quizz pour éventuellement en modifier les modalités d’une itération sur l’autre.
– Appréhender la fonction de l’évaluation au sein de la formation à travers la mesure des caractéristiques des QCM.
– Identifier les questions discriminantes, i.e. qui permettent d’identifier les bons apprenants.

Quels problèmes éthiques peuvent se poser avec cette problématique ? ( e.g. accès à des données individuelles, ...) Q

Accès à des données individuelles

Réferences sur des problématiques proches Q

Baptiste CABLE, Nathalie GUIN, Marie LEFEVRE. An authoring tool for semi-automatic generation of self- assessment exercises. Conférence AIED 2013, Memphis, USA, pp. 679-682, 10-12 juillet 2013.

Baptiste CABLE, Nathalie GUIN, Marie LEFEVRE. Un outil auteur pour une génération semi-automatique d’exercices d’auto-évaluation. Conférence EIAH 2013, Toulouse, France, 29 - 31 mai 2013.

Baptiste CABLE, Marie LEFEVRE, Nathalie GUIN. Comment représenter et manipuler les connaissances dans un générateur semi-automatique d'exercices d'auto-évaluation ? Journée EIAH&IA 2013, Toulouse, France, 28 mai 2013.

Localisation des données Q

Les traces sont stockées dans la base de données de Claroline Connect - https://clarolineconnect.univ-lyon1.fr/ -

Description de la structure physique de stockage des données (e.g. structure en forme de répertoire, base de données , fichiers CSV, ... ) Q

Base de données de la plateforme Claroline Connect. - https://clarolineconnect.univ-lyon1.fr/ -

Description du modèle de données utilisé sur les données analysables (BD, XAPI, CSV, … )

Pas de modèle de la BD. Une étude “manuelle” a été effectuée : 

• IMG_2376.JPG
• IMG_2377.JPG

Description des données (contenu,taille, nombre d'enregistrements...) Q

Contient les tables (entre autres) : 

Table Claire_exercise_item

- Id : de l’exercice généré dans la BD
- Exercise_id : Id de l’exo pour la plateforme ASKER
- Type : QCM, QROC, groupement… => pour QCM = multiple-choice
- Content : JSON de la forme (pour les QCM) : {“question”:”xxxx”, “proposition”:[ {“text”: “la proposition 1”, right:bool(right/false)}, …], “origin-resource”:n° de la ressource utilisée pour générer la question, “item-type”:”mutiple-choice-question”}

Table Claire_exercise_attempt
- Id : de la tentative dans la BD
- Exercise_Id : id de l'exercice auquel est associée la tentative
- User_Id : utilisateur ayant fait la tentative
- Test_attempt_id : NULL tout le temps…
- Created_at : date de la forme 20xx-xx-xx hh:mm:ss
- Position : NULL tout le temps…

Table Claire_exercise_answer ​(format pour les QCM) :
- Id : de la réponse dans la DB
- Item_Id : n° de la question dans le QCM
- Attempt_Id : n° de la tentative pour l’item
- Content : JSON de la forme {“content”:[0,1,0,...]}
- Mark : score en pourcentage

Pour cas d'étude - Propriété des données (nom, laboratoire ou entreprise propriétaire des données) Q

Laboratoire LIRIS - UMR 5205, équipe TWEAK, Marie Lefevre, Nathalie Guin

Historique sur la production des données (e.g. version, ...)

Description du mode de collecte des données (écologique, expérimentale, … )

Finalités de l'analyse Q

Scénario 1 : Evaluer la pertinence des questions QCM : analyse de la qualité des questions de QCM des exercice d’auto-évaluation en informatique et les outils de génération de ces questions (ASKER) pour les améliorer et assister les enseignants qui s'en servent.

Concrétement, recherche des questions “trop” faciles/difficiles, identification du comportement d’usage de l’outil, etc.

Responsable(s) de l'analyse (pre-traitement et traitement) Q

Marie Lefevre, Alexis Lebis, Rémi Casado, Nathalie Guin

Acteurs susceptibles d'être intéressés par l'analyse et pourquoi ?

Enseignant-concepteur, enseignant-accompagnateur, chercheur, apprenant, tuteur, concepteur ...

Cette analyse s’effectue dans le contexte de la formation initiale universitaire en informatique, à destination des concepteurs de la plateforme Asker de génération d’exercices et à destination des enseignants rédacteurs des questions de QCM.

L’intérêt est pratique, il s’agit d’améliorer la qualité des exercices générés.
Pour le chercheur : Mieux évaluer les outils de génération d'exercices pour les améliorer et assister les enseignants qui s'en servent.
 

Etat d'avancement du scénario d'analyse (e.g.pré-traitement, traitement, tableaux de bords, ...)

Traitements terminés mais résultats pas encore mis en œuvre

Date ou période de l'analyse

Période de la collecte : chaque semestre d’automne et de printemps depuis septembre 2014 Période de l’analyse : Avril 2015

Objectifs de l'analyse pour le "learning analytics" Q

Modèle et profils de l’apprenant, personnalisation de l’enseignant, scénarisation, prise de décision, rétroaction,pédagogie, didactique, ...

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Les traces sont anonymes

Description globale des pre-traitements

Préparation des données : filtrage temporel, normalisation des résultats...

Plateformes ou logiciels pour pre-traiter les données

Système de gestion de traces kTBS et/ou UnderTracks 3. Plateforme d'analyse du stage M2 d'Alexis Lebis

Description globale des traitements mis en place (e.g. faire une liste des méthodes utilisées)

Calcul de moyenne des résultats, de taux de corrélation, etc. : sur l’ensemble des questions, par groupe de question.

Description des résultats de l'analyse Q

Pas encore mis en oeuvre

Nom de l'indicateur

Pour le scénario 1 : Qualité des questions QCM :
Indicateur 1 : Taux de réussite pour une question de QCM Indicateur
2 : Taux d’utilisation d’un couple question-distracteurs

Description de l'indicateur

Scénario 1 : Qualité des questions QCM
Indicateur 1 et 2 : graphique récapitulatif

Quels acteurs peuvent être intéressés par ces indicateurs ?

Enseignant-concepteur

Description de toutes informations éthiques ou juridiques sur l'étude de cas, les analyses et les données

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...
Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).

Comment la dimension éthique de l'étude a-t-elle été prise en compte ? Q

A. Confidentialité 1 . Procédé d’anonymisation

Les données en entrée de l’analyse ne comportent aucune information personnelle. Elles sont issues d’un export des bases de données de la plateforme Claroline Connect. Nous possédons sur l’utilisateur uniquement un identifiant et aucun moyen de retrouver les autres informations personnelles le concernant.

2. Personnes ayant accès aux données :

Ces données ont été mises à disposition des chercheurs de l’ANR Hubble et aux membres de la plateforme UnderTracks et kTBS.

B. Archivage Durée de l’archivage : minimum 4 ans (2015-2019).

Lieu de l’archivage : serveur https://liris-ktbs01.insa-lyon.fr:8000/hubble/

Personne responsable : Marie Lefevre.

Possibilité de destruction à la demande du participant : il n’y a pas de lien entre données et participants.

C. Partage Type de données partagées : Données anonymes

Conditions de partage : cf. contrat de l’ANR Hubble. http://hubblelearn.imag.fr/

Quels problèmes éthiques peuvent se poser avec cette problématique ? ( e.g. accès à des données individuelles, ...) Q

Accès à des données individuelles

Description de toutes informations éthiques ou juridiques sur l'étude de cas, les analyses et les données

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...
Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Les traces sont anonymes

Etat d'avancement du scénario d'analyse (e.g.pré-traitement, traitement, tableaux de bords, ...)

Traitements terminés mais résultats pas encore mis en œuvre