Nom de l'étude Q

PACES

Description de l'étude Q

TEST

Comment la dimension éthique de l'étude a-t-elle été prise en compte ? Q

Pas de prise en compte

Nom et contact des personnes qui peuvent donner des informations sur les données Q

Samy Foudil, Laura Dupuis, Muriel Ney, Nadine Mandran, Christophe Després, Pierre Jacoboni

Nom du partenaire de l'étude du cas Q

Pierre Gillois, équipe Themas, TIMC.Grenoble.

Domaine d'enseignement (mathématiques, physique, litterature, ... Q

Les matières de la Première Année Commune des Etudes de Santé (PACES) (Biologie, Chimie, Math, ... )

Types de ressources non numériques proposées aux étudiants (Podcast, QCM, texte, etc.)

Volume horaire de la formation (Nombre de sessions, Durée globale de la formation, nombre d'heures, de séances, ...) Q

Types de ressources numériques mises à disposition des élèves

Nombre d'élèves ou d'étudiants Q

Nombre d'enseignants

Types d'activités mise en places (groupes, distance, ...)

Description de la problématique Q

Construire, enrichir et explorer le fichier de données dans le but de caractériser les étudiants par l’évolution de leurs notes, de leurs questions et de leurs votes d’une part. D’autre part, prédire le comportement de l’étudiant.

Date de création de la problématique Q

2015

Description des questions de recherche Q

Ce dispositif de formation alterne des temps de travail à distance et en présence, et utilise un environnement de travail numérique pour soutenir les activités à distance (consultation de cours, activité d’élaboration de questions). L’objet de cette recherche est d’explorer les différents moyens/instruments qui pourraient être mis à disposition des enseignants intervenants PACES pour qu’ils soutiennent au moment de la séance en présentiel (SEPI): le traitement de l’information et des connaissances des étudiants (le feedback formatif serait utilisé comme un accompagnement cognitif)l’engagement des étudiants dans le dispositif de formation (feedbacks formatifs sont utilisés alors comme accompagnement méthodologique et méta cognitif)soutien à la motivation (envie de poursuivre) soutien à l’auto-régulation processus d’interactions lors de la séance orale (entre enseignants/étudiants, entre pairs). Plus précisément, il s’agira d’identifier le dispositif à mettre en place pour aider, à partir des traces d’activités des étudiants, les enseignants intervenants dans la PACES à construire et à formuler des feedbacks formatifs lors de la séance SEPI (temps en présence) pour soutenir et accompagner le processus d’apprentissage des étudiants engagés dans un dispositif hybride de type classe inversée. Questions de recherche détaillées : 1) existe-t-il des variables permettant de prédire l’évolution d’apprenant ? En particulier des piques (il monte puis il baisse ou il baisse puis il monte) ou des descentes (régulier puis il baisse), ou des montés (régulier puis il monte..). 2) peut-on trouver des types d’évolution et trouver des indicateurs qui permettent de classer les étudiants avec cette typologie ? 3) Comment tenir compte de ces variables (contexte, ,..) pour proposer des rétroactions adaptés (type, moment, ..) à chaque type d’étudiant ?

Quels problèmes éthiques peuvent se poser avec cette problématique ? ( e.g. accès à des données individuelles, ...) Q

Accès à des données individuelles

Localisation des données Q

En 2015 : stockage sur Undertracks à accès limité pour partage des données avec les partenaires du LIUM.

Description de la structure physique de stockage des données (e.g. structure en forme de répertoire, base de données , fichiers CSV, ... ) Q

Fichiers CSV

Description des données (contenu,taille, nombre d'enregistrements...) Q

Données QCM entrainement PACES, informations socio démographiques apprenants, notes évaluations semestre 1 et 2. Les traces produites par le dispositif pédagogique sont : - Des traces numériques laissées par les questions formulées par écrit et envoyées aux enseignants par courriel via la plate-forme, - Les traces d'activité de connexion des étudiants sur la plate-forme pour le visionnage des cours et pour l'entrainement à partir des annales du tutorat mais la plupart ne le fait pas car utilise le support DVD et certains peuvent laisser la connexion en cours alors qu'ils font autre chose, - Des traces numériques laissées par les évaluations du dispositif réalisées par les étudiants avant d'obtenir leur notes relatives aux QCMs du tutorat, - Réponses aux QCMs.

Pour cas d'étude - Propriété des données (nom, laboratoire ou entreprise propriétaire des données) Q

Laboratoire TIMC-IMAG

Finalités de l'analyse Q

Prédire la performance des étudiants Aider l’enseignant à adapter son cours lors des séances de SEPI 1. Explorer et faire articuler, entre autres, différents cadres théorique sen lien avec les travaux sur l’ingénierie des dispositifs hybrides, sur l’apprentissage par auto-régulation et sur les feedback formatifs comme facteurs décisionnels. 2. Mettre en place et formaliser des outils de collecte de données (entretiens) auprès des enseignants du dispositif PACES afin de déterminer leurs attentes et leurs besoins concernant l’élaboration des feedbacks formatifs à partir de leurs pratiques professionnelles au sein de ce dispositif.

Responsable(s) de l'analyse (pre-traitement et traitement) Q

Samy Foudil, Laura Dupuis, Vanda Luengo, Muriel Ney, Nadine Mandran

Acteurs susceptibles d'être intéressés par l'analyse et pourquoi ?

Enseignant concepteur, tuteur pour le suivi, apprenants chercheur, enseignant... E/C: Adapter les activités, le séquencement, les ressources,... , modifier le scénario pédagogique. Tuteur: Adapter le suivi: modalités d'intervention (synchrone ou asynchrone), temporalité (temps réel, temps différé). Apprenants : adapter le rythme, le contenu , ... /capacités, contraintes, caractéristiques. Chercheur : Identifier des patterns de profil étudiant, patterns profil/scénario-pédagogique (activités et leur séquencement, ressources,...). Identification de variables permettant de construire le profil d'apprenant PACES. Construction de modèles prédictifs des comportements des apprenants et visualisation de leurs évolutions.

Date ou période de l'analyse

Printemps 2014 puis été-automne 2015

Objectifs de l'analyse pour le "learning analytics" Q

profil de l'apprenant, adaptation des cours des enseignants pendant les séances présentiels

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Anonymisation des données

Plateformes ou logiciels pour pre-traiter les données

Analyses sous excel et sous Orange/UT, programmation VBA sous excel, programmation Python.

Description globale des traitements mis en place (e.g. faire une liste des méthodes utilisées)

Calcul de moyennes, Evolution temporelle (Scénario 3 Hubble) Avec UnderTracks visualisations des données de QCM et de FLQ en fonction du temps : - Pas de temps = la séquence (ou la matière) - Lissage (remplacer par une courbe) pour voir la tendance - Auto-corrélation pour voir des périodicités Analyse complémentaire (Scénario 2 Hubble) : Typologie d’étudiants obtenue par des analyses statistiques (Voir rapport Laura Dupuis) - analyse factorielle des correspondances multiples (ACM) - classification ascendante hiérarchique (CAH).

Description des variables utilisées en entrée pour le traitement (e.g. nom, contenu, modalités)

Variable de Temps : discrète en 12 dates, chaque date correspond au début d’une séquence (de 1 à 12) Remarque : chaque étudiant ne passe pas les matières dans le même ordre à l’intérieur d’une séquence, et on attend un effet matière important. C’est pourquoi, le pas de temps est une séquence. Variable ID étudiant : numéro UJF (8 chiffres) et numéro PACES (4 chiffres), avec un tableau de correspondance. Variables d’intérêt (à expliquer) : - Résultats aux QCM (les tests des 12 séquences, avec 4 ou 3 matières par séquence) Il faut rendre comparable des résultats qui ne le sont pas (la longueur des tests et la difficulté des tests sont très différentes d’une matière à l’autre). Laura Dupuis a proposé cette variable : Ecart de la note (ramenée à une note sur 20) à la moyenne de la promo (moyenne de tous les étudiants ayant passé ce test, dans cette matière et cette séquence). => position par rapport à la valeur centrale Autre possibilité, pour tenir compte de la distribution des notes (et pas seulement de la moyenne) : Présence de la note dans un quartile (ou un décile) de la distribution des notes autour de la médiane. => position à la distribution.Variable quantitative discrète, avec 4 (si quartile) ou 10 (si décile) valeurs. Deux variables quantitatives : la valeur pour chaque matière et la moyenne (sur 3 ou 4 matières) des valeurs pour chaque séquence. - Participation aux FLQ Nombre de questions posées par un étudiant sur chaque matière normalisée par le nombre de questions posées par tous les étudiants dans cette matière dans cette séquence. Deux variables quantitatives, avec des valeurs entre 0 et 1 : le ratio pour chaque matière et la moyenne des ratios (sur 3 ou 4 matières) pour chaque séquence. comptage des occurrences de mots spécifiques => voir si un logiciel d’analyse lexicale (sphinx, sur R) pourrait aider à la création de ces variables Nombre de votes = questions choisies par l’étudiant dans une matière, normalisé par le nombre de votes sur cette matière par tous les étudiants. Deux variables quantitatives, avec des valeurs entre 0 et 1 : le ratio pour chaque matière et la moyenne des ratios (sur 3 ou 4 matières) pour chaque séquence. Variables explicatives : - Le sexe Hypothèse : les filles fournissent un effort plus régulier et les garçons travaillent plus vers la fin Variable qualitative nominale : codée MME. et M. Distribution des valeurs : 501 (32,5%) hommes, 1040 (67,5 %) femmes Fichier : PACES_brut_inscription_etudiant_2012-2013 - Le bac : deux variables = le type de bac et la mention au bac Hypothèse : ceux qui ont un bac S spécialité Math savent fournir un effort régulier, idem si mention TB Variable qualitative nominale : S (spécialité du bac S pas toujours précisée), STL, STG, ES, agricole, étranger, DAEU (Diplôme d'Accès aux Etudes Universitaires) Distribution des valeurs : 1378 (89,5%) bac S, … Variable qualitative ordinale : S (sans mention), P (passable), AB (assez bien), B (bien), TB (très bien), Vide (non précisé) Distribution des valeurs : 325 (21%) S, 71 (4,6%) P, 497 (32,2%) AB, 415 (26,9%) B, 216 (14%) TB Fichier : PACES_brut_inscription_etudiant_2012-2013 - Le cursus choisis (le choix se fait à l’issue du concours du s1) Hypothèse : on peut voir un comportement spécifique chez ceux qui ont choisi Maïeutique, Odon ou Pharma… Variable qualitative nominale : combinaisons de M (médecine), O (odontologie = dentiste), P (pharmacie) et Sf (sage-femme = maïeutique) Distribution des valeurs : 211 abandons et 442 M, 138 MP, 125 P, 118 MSf, 108 MO, 88 MOP, 82 MOPSf, 55 Sf, 52 MPSf, 17 PSf, 16 MOSf, 15 O, 8 OP, 5 OSf, 3 OPSf Fichier : PACES_transforme_tutorat-concours 2012-2013, onglet : tutorat_notes - La profession du parent chef de famille Hypothèse : ceux qui sont mieux soutenu financièrement et intellectuellement, on un effort plus régulier, moins d’abandon. Problème : on n’a pas la profession de l’autre parent, on ne peut que supposer que le chef de famille a la profession la plus importante sur les plans financier et intellectuel. Variable qualitative nominale : CSP (Catégories socioprofessionnelles) professions classées en 8 catégories : (1) agriculteurs, (2) artisans-commerçants et chefs d’entreprises, (3) cadres et professions intellectuelles supérieures, (4) professions intermédiaires, (5) employés, (6) ouvriers, (7) retraités et (8) divers (chômeurs n’ayant jamais travaillé, étudiants, femmes (et les hommes) au foyer, etc.). On a les sous-catégories (code et intitulé) … Distribution des valeurs : 13 (1), 128 (2), 669 (3), 240 (4), 178 (5), 69 (6), 56 (7), 45 (8), 19 (inconnu) Fichier : PACES_brut_inscription_etudiant_2012-2013 - Les cours particuliers Hypothèse : si cours particulier, alors un effort plus régulier et moins d’abandon Non disponible : très peu d’étudiants donnent l’info en début d’année… - La matière : Deux hypothèses : (a) on réussit mieux dans certaines matières que d’autre (b) l’activité n’est pas la même pour les deux catégories : matières spécifiques aux études médicales (M), matières scolaires car déjà entrevues au lycée (S) Variable qualitative nominale : - Résultats aux concours : Hypothèse : on voit un changement d’activité après le premier concours, en fonction du résultat 4 matières au s1 (et 10 matières au s2), pour chacune, on a la note sur 20 et le rang de l’étudiant. Variables quantitatives : notes entre 0 et 20, rangs entre 1 et 1542 Dossier : PACES brut corrections concours -> un fichier .xls par matière

Description des résultats de l'analyse Q

PRINTEMPS 2014 (données 2011-2012) : - Typologie d’étudiants en fonction de leur profil et de leur classement dans les séances de tutorat et au concours (S2). - Evolution temporelle de leurs résultats en fonction des 4 types d’étudiants déterminés auparavant (S3) ETE-AUTOMNE 2015 (données 2012-2013) : Evolution de l’activité des étudiants (en préparation au concours de médecine) au cours de l’année (S3). L’activité sera mesurée par (1) la présence et les résultats aux tests QCM (séances de tutorat) et (2) la participation aux FLQ (formulation en ligne des questions et votes). On regardera aussi l’impact du résultat au premier concours (fin du semestre 1) sur l’activité du semestre 2.

Descriptions des visualisations

PRINTEMPS 2014 (données 2011-2012) : / ETE-AUTOMNE 2015 (données 2012-2013) :

Nom de l'indicateur

Indicateur 1 : classement des apprenants Indicateur 2 : nombre de votes sur les questions

Description de l'indicateur

1. Visualiser les types d'apprenants 2. Identifier les questions les plus populaires

Comment la dimension éthique de l'étude a-t-elle été prise en compte ? Q

Pas de prise en compte

Comment la dimension éthique de l'analyse a-t-elle été prise en compte ?

Anonymisation des données

Quels problèmes éthiques peuvent se poser avec cette problématique ? ( e.g. accès à des données individuelles, ...) Q

Accès à des données individuelles