Name of study Q

PACES

Description of study Q

TEST

How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q

Pas de prise en compte

Name and contact of person which can give informations about data Q

Samy Foudil, Laura Dupuis, Muriel Ney, Nadine Mandran, Christophe Després, Pierre Jacoboni

Pour cas d'étude > à fusionner avec "Nom du(es) producteurs" Q

Pierre Gillois, équipe Themas, TIMC.Grenoble.

Pour cas d'étude - Fields of education (mathematic, physics, litterature, ...) Q

Les matières de la Première Année Commune des Etudes de Santé (PACES) (Biologie, Chimie, Math, ... )

Types of non-numerical resources available to students (Podcast, MCQ, text, etc.)

Number of hours of training (number of sessions, total duration of training, number of hours, sessions, ...) Q

Types of numerical resources available to students (Podcast, MCQ, text, etc.)

Number of students Q

Number of tutors

Types of activities set up (groups, distance, ...)

Problematic description Q

Construire, enrichir et explorer le fichier de données dans le but de caractériser les étudiants par l’évolution de leurs notes, de leurs questions et de leurs votes d’une part. D’autre part, prédire le comportement de l’étudiant.

Creation date of problematic Q

2015

Description of research questions Q

Ce dispositif de formation alterne des temps de travail à distance et en présence, et utilise un environnement de travail numérique pour soutenir les activités à distance (consultation de cours, activité d’élaboration de questions). L’objet de cette recherche est d’explorer les différents moyens/instruments qui pourraient être mis à disposition des enseignants intervenants PACES pour qu’ils soutiennent au moment de la séance en présentiel (SEPI): le traitement de l’information et des connaissances des étudiants (le feedback formatif serait utilisé comme un accompagnement cognitif)l’engagement des étudiants dans le dispositif de formation (feedbacks formatifs sont utilisés alors comme accompagnement méthodologique et méta cognitif)soutien à la motivation (envie de poursuivre) soutien à l’auto-régulation processus d’interactions lors de la séance orale (entre enseignants/étudiants, entre pairs). Plus précisément, il s’agira d’identifier le dispositif à mettre en place pour aider, à partir des traces d’activités des étudiants, les enseignants intervenants dans la PACES à construire et à formuler des feedbacks formatifs lors de la séance SEPI (temps en présence) pour soutenir et accompagner le processus d’apprentissage des étudiants engagés dans un dispositif hybride de type classe inversée. Questions de recherche détaillées : 1) existe-t-il des variables permettant de prédire l’évolution d’apprenant ? En particulier des piques (il monte puis il baisse ou il baisse puis il monte) ou des descentes (régulier puis il baisse), ou des montés (régulier puis il monte..). 2) peut-on trouver des types d’évolution et trouver des indicateurs qui permettent de classer les étudiants avec cette typologie ? 3) Comment tenir compte de ces variables (contexte, ,..) pour proposer des rétroactions adaptés (type, moment, ..) à chaque type d’étudiant ?

What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q

Accès à des données individuelles

Data location Q

En 2015 : stockage sur Undertracks à accès limité pour partage des données avec les partenaires du LIUM.

Description of the storage format of data (files, data base, ... ) Q

Fichiers CSV

Data description (e.g. contents, size, number of records, ...) Q

Données QCM entrainement PACES, informations socio démographiques apprenants, notes évaluations semestre 1 et 2. Les traces produites par le dispositif pédagogique sont : - Des traces numériques laissées par les questions formulées par écrit et envoyées aux enseignants par courriel via la plate-forme, - Les traces d'activité de connexion des étudiants sur la plate-forme pour le visionnage des cours et pour l'entrainement à partir des annales du tutorat mais la plupart ne le fait pas car utilise le support DVD et certains peuvent laisser la connexion en cours alors qu'ils font autre chose, - Des traces numériques laissées par les évaluations du dispositif réalisées par les étudiants avant d'obtenir leur notes relatives aux QCMs du tutorat, - Réponses aux QCMs.

Pour cas d'étude - Data properties (name, labs, universities, companies, ...) Q

Laboratoire TIMC-IMAG

Purposes of analysis Q

Prédire la performance des étudiants Aider l’enseignant à adapter son cours lors des séances de SEPI 1. Explorer et faire articuler, entre autres, différents cadres théorique sen lien avec les travaux sur l’ingénierie des dispositifs hybrides, sur l’apprentissage par auto-régulation et sur les feedback formatifs comme facteurs décisionnels. 2. Mettre en place et formaliser des outils de collecte de données (entretiens) auprès des enseignants du dispositif PACES afin de déterminer leurs attentes et leurs besoins concernant l’élaboration des feedbacks formatifs à partir de leurs pratiques professionnelles au sein de ce dispositif.

Person(s) in charge of the analysis (pre-processing and processing) Q

Samy Foudil, Laura Dupuis, Vanda Luengo, Muriel Ney, Nadine Mandran

Which actors would be interested in the analysis and why?

Enseignant concepteur, tuteur pour le suivi, apprenants chercheur, enseignant... E/C: Adapter les activités, le séquencement, les ressources,... , modifier le scénario pédagogique. Tuteur: Adapter le suivi: modalités d'intervention (synchrone ou asynchrone), temporalité (temps réel, temps différé). Apprenants : adapter le rythme, le contenu , ... /capacités, contraintes, caractéristiques. Chercheur : Identifier des patterns de profil étudiant, patterns profil/scénario-pédagogique (activités et leur séquencement, ressources,...). Identification de variables permettant de construire le profil d'apprenant PACES. Construction de modèles prédictifs des comportements des apprenants et visualisation de leurs évolutions.

Date or period of the analysis

Printemps 2014 puis été-automne 2015

Description of learning analytics goals Q

profil de l'apprenant, adaptation des cours des enseignants pendant les séances présentiels

How has the ethical dimension of the analysis been taken into account?

Anonymisation des données

Plateforms or softwares to pre-process data

Analyses sous excel et sous Orange/UT, programmation VBA sous excel, programmation Python.

Overall description of the treatments used (e.g. make a list of the methods used)

Calcul de moyennes, Evolution temporelle (Scénario 3 Hubble) Avec UnderTracks visualisations des données de QCM et de FLQ en fonction du temps : - Pas de temps = la séquence (ou la matière) - Lissage (remplacer par une courbe) pour voir la tendance - Auto-corrélation pour voir des périodicités Analyse complémentaire (Scénario 2 Hubble) : Typologie d’étudiants obtenue par des analyses statistiques (Voir rapport Laura Dupuis) - analyse factorielle des correspondances multiples (ACM) - classification ascendante hiérarchique (CAH).

Description of variables used as input for processing (e.g. name, content, modalities)

Variable de Temps : discrète en 12 dates, chaque date correspond au début d’une séquence (de 1 à 12) Remarque : chaque étudiant ne passe pas les matières dans le même ordre à l’intérieur d’une séquence, et on attend un effet matière important. C’est pourquoi, le pas de temps est une séquence. Variable ID étudiant : numéro UJF (8 chiffres) et numéro PACES (4 chiffres), avec un tableau de correspondance. Variables d’intérêt (à expliquer) : - Résultats aux QCM (les tests des 12 séquences, avec 4 ou 3 matières par séquence) Il faut rendre comparable des résultats qui ne le sont pas (la longueur des tests et la difficulté des tests sont très différentes d’une matière à l’autre). Laura Dupuis a proposé cette variable : Ecart de la note (ramenée à une note sur 20) à la moyenne de la promo (moyenne de tous les étudiants ayant passé ce test, dans cette matière et cette séquence). => position par rapport à la valeur centrale Autre possibilité, pour tenir compte de la distribution des notes (et pas seulement de la moyenne) : Présence de la note dans un quartile (ou un décile) de la distribution des notes autour de la médiane. => position à la distribution.Variable quantitative discrète, avec 4 (si quartile) ou 10 (si décile) valeurs. Deux variables quantitatives : la valeur pour chaque matière et la moyenne (sur 3 ou 4 matières) des valeurs pour chaque séquence. - Participation aux FLQ Nombre de questions posées par un étudiant sur chaque matière normalisée par le nombre de questions posées par tous les étudiants dans cette matière dans cette séquence. Deux variables quantitatives, avec des valeurs entre 0 et 1 : le ratio pour chaque matière et la moyenne des ratios (sur 3 ou 4 matières) pour chaque séquence. comptage des occurrences de mots spécifiques => voir si un logiciel d’analyse lexicale (sphinx, sur R) pourrait aider à la création de ces variables Nombre de votes = questions choisies par l’étudiant dans une matière, normalisé par le nombre de votes sur cette matière par tous les étudiants. Deux variables quantitatives, avec des valeurs entre 0 et 1 : le ratio pour chaque matière et la moyenne des ratios (sur 3 ou 4 matières) pour chaque séquence. Variables explicatives : - Le sexe Hypothèse : les filles fournissent un effort plus régulier et les garçons travaillent plus vers la fin Variable qualitative nominale : codée MME. et M. Distribution des valeurs : 501 (32,5%) hommes, 1040 (67,5 %) femmes Fichier : PACES_brut_inscription_etudiant_2012-2013 - Le bac : deux variables = le type de bac et la mention au bac Hypothèse : ceux qui ont un bac S spécialité Math savent fournir un effort régulier, idem si mention TB Variable qualitative nominale : S (spécialité du bac S pas toujours précisée), STL, STG, ES, agricole, étranger, DAEU (Diplôme d'Accès aux Etudes Universitaires) Distribution des valeurs : 1378 (89,5%) bac S, … Variable qualitative ordinale : S (sans mention), P (passable), AB (assez bien), B (bien), TB (très bien), Vide (non précisé) Distribution des valeurs : 325 (21%) S, 71 (4,6%) P, 497 (32,2%) AB, 415 (26,9%) B, 216 (14%) TB Fichier : PACES_brut_inscription_etudiant_2012-2013 - Le cursus choisis (le choix se fait à l’issue du concours du s1) Hypothèse : on peut voir un comportement spécifique chez ceux qui ont choisi Maïeutique, Odon ou Pharma… Variable qualitative nominale : combinaisons de M (médecine), O (odontologie = dentiste), P (pharmacie) et Sf (sage-femme = maïeutique) Distribution des valeurs : 211 abandons et 442 M, 138 MP, 125 P, 118 MSf, 108 MO, 88 MOP, 82 MOPSf, 55 Sf, 52 MPSf, 17 PSf, 16 MOSf, 15 O, 8 OP, 5 OSf, 3 OPSf Fichier : PACES_transforme_tutorat-concours 2012-2013, onglet : tutorat_notes - La profession du parent chef de famille Hypothèse : ceux qui sont mieux soutenu financièrement et intellectuellement, on un effort plus régulier, moins d’abandon. Problème : on n’a pas la profession de l’autre parent, on ne peut que supposer que le chef de famille a la profession la plus importante sur les plans financier et intellectuel. Variable qualitative nominale : CSP (Catégories socioprofessionnelles) professions classées en 8 catégories : (1) agriculteurs, (2) artisans-commerçants et chefs d’entreprises, (3) cadres et professions intellectuelles supérieures, (4) professions intermédiaires, (5) employés, (6) ouvriers, (7) retraités et (8) divers (chômeurs n’ayant jamais travaillé, étudiants, femmes (et les hommes) au foyer, etc.). On a les sous-catégories (code et intitulé) … Distribution des valeurs : 13 (1), 128 (2), 669 (3), 240 (4), 178 (5), 69 (6), 56 (7), 45 (8), 19 (inconnu) Fichier : PACES_brut_inscription_etudiant_2012-2013 - Les cours particuliers Hypothèse : si cours particulier, alors un effort plus régulier et moins d’abandon Non disponible : très peu d’étudiants donnent l’info en début d’année… - La matière : Deux hypothèses : (a) on réussit mieux dans certaines matières que d’autre (b) l’activité n’est pas la même pour les deux catégories : matières spécifiques aux études médicales (M), matières scolaires car déjà entrevues au lycée (S) Variable qualitative nominale : - Résultats aux concours : Hypothèse : on voit un changement d’activité après le premier concours, en fonction du résultat 4 matières au s1 (et 10 matières au s2), pour chacune, on a la note sur 20 et le rang de l’étudiant. Variables quantitatives : notes entre 0 et 20, rangs entre 1 et 1542 Dossier : PACES brut corrections concours -> un fichier .xls par matière

Description of analysis results Q

PRINTEMPS 2014 (données 2011-2012) : - Typologie d’étudiants en fonction de leur profil et de leur classement dans les séances de tutorat et au concours (S2). - Evolution temporelle de leurs résultats en fonction des 4 types d’étudiants déterminés auparavant (S3) ETE-AUTOMNE 2015 (données 2012-2013) : Evolution de l’activité des étudiants (en préparation au concours de médecine) au cours de l’année (S3). L’activité sera mesurée par (1) la présence et les résultats aux tests QCM (séances de tutorat) et (2) la participation aux FLQ (formulation en ligne des questions et votes). On regardera aussi l’impact du résultat au premier concours (fin du semestre 1) sur l’activité du semestre 2.

Visualisation descriptions

PRINTEMPS 2014 (données 2011-2012) : / ETE-AUTOMNE 2015 (données 2012-2013) :

Indicator's names

Indicateur 1 : classement des apprenants Indicateur 2 : nombre de votes sur les questions

Indicators description

1. Visualiser les types d'apprenants 2. Identifier les questions les plus populaires

How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q

Pas de prise en compte

How has the ethical dimension of the analysis been taken into account?

Anonymisation des données

What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q

Accès à des données individuelles