Scénario d'analyse

LIF3-ASKER

LIRIS-Tweak- https://liris.cnrs.fr/equipes?id=75

ASKER est un outil de génération d'exercices pour l’auto-évaluation. Il est utilisé à l’université Lyon 1 pour la révision des acquis et l'entrainement sur les notions vues en cours magistraux (dans le cadre d'une UE de programmation récursive en 1ère année de Licence (UE LIF3)). Après chaque cours, des exercices sont mis à disposition des étudiants sur ASKER pour qu’ils s’auto-évaluent et manipulent les notions vues en cours.

Marie Lefevre - Laboratoire LIRIS

Identifier l’utilisation de la plateforme par les étudiants (abandon), les types d’apprenants et leur progression au cours du temps.

– Dégager des classes d’apprenants en fonction de la manière dont ils utilisent le jeu sans typologie a priori.

– Affecter des apprenants à des types de comportement prédéfinis.

– Identifier les principaux types d’utilisateurs sur la base de l’utilisation des différents éléments proposés dans le cours.

Comprendre comment les étudiants utilisent la plateforme, dans quel but et connaitre le bénéfice pour les étudiants ?

Evaluer les outils de génération d'exercices pour les améliorer et assister les enseignants qui s'en servent.

Contient les tables (entre autres) : 

Table Claire_exercise_item

- Id : de l’exercice généré dans la BD
- Exercise_id : Id de l’exo pour la plateforme ASKER
- Type : QCM, QROC, groupement… => pour QCM = multiple-choice
- Content : JSON de la forme (pour les QCM) : {“question”:”xxxx”, “proposition”:[ {“text”: “la proposition 1”, right:bool(right/false)}, …], “origin-resource”:n° de la ressource utilisée pour générer la question, “item-type”:”mutiple-choice-question”}

Table Claire_exercise_attempt
- Id : de la tentative dans la BD
- Exercise_Id : id de l'exercice auquel est associée la tentative
- User_Id : utilisateur ayant fait la tentative
- Test_attempt_id : NULL tout le temps…
- Created_at : date de la forme 20xx-xx-xx hh:mm:ss
- Position : NULL tout le temps…

Table Claire_exercise_answer ​(format pour les QCM) :
- Id : de la réponse dans la DB
- Item_Id : n° de la question dans le QCM
- Attempt_Id : n° de la tentative pour l’item
- Content : JSON de la forme {“content”:[0,1,0,...]}
- Mark : score en pourcentage

Scénario 2 : Identifier les "types d'apprenants" selon 4 axes :

Sc2a : Quand les apprenants utilisent-ils la plateforme ?

Sc2b : Comment les apprenants utilisent-ils la plateforme (plusieurs essais sur la même version du même exercice) ?

Sc2c : Comment les apprenants utilisent-ils la plateforme (plusieurs versions dumême exercice) ? 

Sc2d : Pourquoi du comment les apprenants utilisent la plateforme ?

Améliorer l’apprentissage, la collaboration, l’accès aux contenus (etc) grâce à une meilleure connaissance des apprenants (leurs capacités, leurs comportements…) :
- pour le concepteur qui veut faire des propositions plus pertinentes / types d'apprenants
- pour l'apprenant qui peut avoir une démarche réflexive à partir de la connaissance de son “type”

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...

Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).

LIF3-ASKER

ASKER est un outil de génération d'exercices pour l’auto-évaluation visant la révision des acquis et l'entrainement sur les notions vues en amphi à l’université Lyon 1 ( dans le cadre de l'UE LIF3). Après chaque cours en amphi, des exercices sont mis à disposition des étudiants sur ASKER pour qu’ils s’auto-évaluent et qu’ils manipulent les notions vues en cours.

LIRIS-Tweak

Identifier les modèles de questions de QCM qui ne sont pas pertinents dans le sens où elles sont soit erronées, soit inutiles à l’apprentissage (trop faciles, difficiles).
– Déterminer la difficulté des quizz pour éventuellement en modifier les modalités d’une itération sur l’autre.
– Appréhender la fonction de l’évaluation au sein de la formation à travers la mesure des caractéristiques des QCM.
– Identifier les questions discriminantes, i.e. qui permettent d’identifier les bons apprenants.

Evaluer les outils de génération d'exercices pour les améliorer et assister les enseignants qui s'en servent.

Contient les tables (entre autres) : 

Table Claire_exercise_item

- Id : de l’exercice généré dans la BD
- Exercise_id : Id de l’exo pour la plateforme ASKER
- Type : QCM, QROC, groupement… => pour QCM = multiple-choice
- Content : JSON de la forme (pour les QCM) : {“question”:”xxxx”, “proposition”:[ {“text”: “la proposition 1”, right:bool(right/false)}, …], “origin-resource”:n° de la ressource utilisée pour générer la question, “item-type”:”mutiple-choice-question”}

Table Claire_exercise_attempt
- Id : de la tentative dans la BD
- Exercise_Id : id de l'exercice auquel est associée la tentative
- User_Id : utilisateur ayant fait la tentative
- Test_attempt_id : NULL tout le temps…
- Created_at : date de la forme 20xx-xx-xx hh:mm:ss
- Position : NULL tout le temps…

Table Claire_exercise_answer ​(format pour les QCM) :
- Id : de la réponse dans la DB
- Item_Id : n° de la question dans le QCM
- Attempt_Id : n° de la tentative pour l’item
- Content : JSON de la forme {“content”:[0,1,0,...]}
- Mark : score en pourcentage

Scénario 1 : Evaluer la pertinence des questions QCM : analyse de la qualité des questions de QCM des exercice d’auto-évaluation en informatique et les outils de génération de ces questions (ASKER) pour les améliorer et assister les enseignants qui s'en servent.

Concrétement, recherche des questions “trop” faciles/difficiles, identification du comportement d’usage de l’outil, etc.

Il s’agit d’une analyse de tests de qcm anonymes :
1. Qui ne font pas partie d'une expérimentation mais des enseignements normaux.
2. Qui ne comportent aucune question ouverte, aucune question sensible ou personnelle, ne donnent pas une big data, et dont l'objectif n'est pas orienté vers les individus mais vers l'évaluation de la qualité du qcm et la recherche scientifique ...
Les données sont anonymisées : on a des id user mais sans aucun lien avec leur compte, ni avec des données personnelles. Les exercices d’auto-évaluation ne sont pas pris en compte dans l’évaluation de l’apprenangt et l’utilisation de la plateforme se fait de manière anonyme (du point de vue des enseignant).