Nom de l'étude Q

Détection automatique d'interactions dans des traces de jeux sérieux.

Description de l'étude Q

Des étudiants de L2 ont utilisé un jeu multi-joueurs dédié à la logique propositionnelle. Les traces sont aggrégées en situation d'interaction puis analysée pour tenter de déterminer les interactions effectuées par les joueurs. Les interactions ainsi détectées sont comparées aux informations fournies par les joueurs sur leur ressenti quant à la partie qu'ils viennent d'effectuer.

Nom de l'auteur de l'analyse Q

Mathieu Guinebert

Nom et contact des personnes qui peuvent donner des informations sur les données Q

Mathieu Guinebert mathieu.guinebert@gmail.com

Nom du partenaire de l'étude du cas Q

Amel Yessad

Mathieu Muratet

Vanda Luengo

Domaine d'enseignement (mathématiques, physique, litterature, ... Q

Informatique: logique propositionnelle.

Types de ressources non numériques proposées aux étudiants (Podcast, QCM, texte, etc.)

Volume horaire de la formation (Nombre de sessions, Durée globale de la formation, nombre d'heures, de séances, ...) Q

Types de ressources numériques mises à disposition des élèves

Nombre d'élèves ou d'étudiants Q

Nombre d'enseignants

Types d'activités mise en places (groupes, distance, ...)

Description de la problématique Q

Les interactions multi-joueurs sont extrêmement intéressantes. Elles renforcent la motivation et l'implication des apprenants joueurs. Elles permettent également d'apprendre des compétences spécifiques comme le travail en équipe.

Les joueurs n'ont cependant pas tous les mêmes besoins et ni les mêmes goûts en matière d'interaction. Détecter quel type d'interaction est privilégié par un joueur et à quel moment il y fait appel est donc intéressant, tant d'un point de vue du game design que du profilage des joueurs.

Les interactions sont cependant des processus sociaux complexes impliquant à la fois des éléments verbaux et non-verbaux. Leur détection automatique n'est donc pas simple. Cette difficultée est par ailleurs renforcée par l'absence de consensus sur les définitions des interactions en fonction des domaines ou de l'individu concerné.

Date de création de la problématique Q

2015

Description des questions de recherche Q

- Comment détecter des interactions uniquement à l'aide des actions de jeu?

- Comment formaliser et modéliser des interactions multi-joueurs de manière flexible pour permettre à chacun d'exprimer sa vision des interactions?

- Comment s'assurer que les interactions détectées soit bien conformes aux interactions ressenties par les joueurs?

Localisation des données Q

France

Description de la structure physique de stockage des données (e.g. structure en forme de répertoire, base de données , fichiers CSV, ... ) Q

Traces brutes sous format .txt:
Date; USERID1; USERID2; Action; paramètres

Traces modélisées sous forme d'activité sous format txt:
[Activité1[roles], Activité2 ....]

Somme des features exprimés et réponses aux questionnaires sous format csv:
page 1: ID session; somme features; réponses questionnaire fin session; profil BrainHex
page 2: moyenne des features par session; BraiHex; réponses du Google Form

Description des données (contenu,taille, nombre d'enregistrements...) Q

Logs des joueurs au format txt réparti en 6 groupes de tailles variables
- actids_id: séquence d'activité des joueurs
- actsurids_id: questionnaire de fin de session des joueurs
- gameids_id: séquence d'actions des joueurs
- chatids_id: chat des joueurs

Pour cas d'étude - Propriété des données (nom, laboratoire ou entreprise propriétaire des données) Q

Toutes les données sont propriétés de Sorbonnes Université.

Finalités de l'analyse Q

Déterminer les corrélations qu'ont les différentes features d'interactions entre elles et déterminer les corrélation entre les interactions détectées et les ressentis fournis par les étudiants.

Responsable(s) de l'analyse (pre-traitement et traitement) Q

Mathieu Guinebert

Acteurs susceptibles d'être intéressés par l'analyse et pourquoi ?

Les développeur de jeux sérieux peuvent être intéressé par cette analyse afin de modifier leur scénario si les interactions détectées chez les étudiants ne correspondent pas à leur cahier des charges.
Les enseignants peuvent également être intéressés car il permet d'obtenir des informations sur les interactions privilégiées par leurs étudiants et le cas échéant de créer des groupes de travail axés sur la collaboration ou la compétition par exemple.

Etat d'avancement du scénario d'analyse (e.g.pré-traitement, traitement, tableaux de bords, ...)

Travail fini:

- modélisation des jeux effectué
- pré-traitement des logs effectué
- analyse et regroupe des données effectué

Date ou période de l'analyse

01/18 au 03/18

Objectifs de l'analyse pour le "learning analytics" Q

Production d'indicateurs sur les interactions privilégiées par un étudiant ou un groupe d'étudiant.

Production d'indicateurs sur les interactions les plus utilisées dans le cadre d'un jeu sérieux.

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Anonymisation des profils d'étudiant.

Description globale des pre-traitements

Les données non traitées sont sous la forme de logs d'actions effectuées par les joueurs. Ces logs contiennent quatres informations:
- le timestamp de l'action
- l'identité du joueur
- la nature de l'action effectuée
- les différents paramètres dépendant de l'action (acteur, cible, ...)

Il faut transformer ces logs d'actions en logs d'activité. Ces logs se présentent alors sous la forme d'une liste chronologique indiquant les différentes activités effectuées par les joueurs et les rôles qu'ils y ont assumé. Pour aggréger les actions du jeu en activité, il est nécessaire d'avoir modéliser le scénario à l'aide de l'ontologie MPLGO.

Une fois les séquences d'activité obtenues, elles sont qualifiés en feature d'interactions à l'aide d'un Analytic Framework conçu pour les activités respectant la formalisation de MPLGO.

Plateformes ou logiciels pour pre-traiter les données

- MultiPlayer Learning Game Ontology (MPLGO) [Guinebert et al., 2017]

- Analytic Framework for automatic detection of peer interaction features (AFADPIF) [Guinebert et al., 2018]

Description du nettoyage des données

Séparation des différentes parties de jeu effectuées sur une même machine.
Suppression des parties incomplètes ou inachevées.

Description de l'agrégation des données

Les joueurs se retrouvant sur différentes machines, il est nécessaire de regrouper leurs logs sous un seul fichier pour reconstruire une partie.

Description des problèmes rencontrés lors des pré-traitements

Certains étudiants ont mal renseigné leur identité

Description globale des traitements mis en place (e.g. faire une liste des méthodes utilisées)

- MultiPlayer Learning Game Ontology (MPLGO)
- Analytic Framework for the automatic detection of peer interaction features (AFADPIF)
- Analyse en composante principale (ACP)

Description des variables utilisées en entrée pour le traitement (e.g. nom, contenu, modalités)

Pour MPLGO:
- logs d'actions des joueurs fusionnés

Pour AFADPIF:
- séquences d'activités effectuées par les joueurs

Pour ACP:
- Séquences qualifiées avec AFADPIF et réponses aux questionnaires de fin de partie.

Etat d'avancement du scénario d'analyse (e.g.pré-traitement, traitement, tableaux de bords, ...)

Travail fini:

- modélisation des jeux effectué
- pré-traitement des logs effectué
- analyse et regroupe des données effectué

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Anonymisation des profils d'étudiant.