Study case
Etude des méthodes pédagogiques d'enseignement et d'apprentissage dans les études de médecine en PACES (Première Année Commune des Etudes de Santé)
Vanda Luengo
Aug 22, 2017
Oct 26, 2018
Pierre Gillois, équipe Themas, TIMC.Grenoble.
BAC + 1. Filière de préparation après BAC
Laboratoire TIMC-IMAG
Les matières de la Première Année Commune des Etudes de Santé (PACES) (Biologie, Chimie, Math, ... )
Analysis scenario: Mesurer l'évolution des apprenants au cours du temps Export
Mandatory fields
Name of study Q
PACES
Description of study Q
Analyse des données numériques d'apprentissage pour étudier les méthodes pédagogiques d'enseignement et d'apprentissage dans le cadre des études de médecine en PACES (Première Année Commune aux Etudes de Santé).
How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q
Pas de prise en compte
Name and contact of person which can give informations about data Q
Samy Foudil, Laura Dupuis, Vanda Luengo, Muriel Ney, Nadine Mandran, Christophe Després, Pierre Jacoboni
Pour cas d'étude > à fusionner avec "Nom du(es) producteurs" Q
Pierre Gillois, équipe Themas, TIMC.Grenoble.
Pour cas d'étude - Fields of education (mathematic, physics, litterature, ...) Q
Les matières de la Première Année Commune des Etudes de Santé (PACES) (Biologie, Chimie, Math, ... )
Additional Fields
Types of non-numerical resources available to students (Podcast, MCQ, text, etc.)
cours et des questions du concours / la réalisation d'exercices
Number of hours of training (number of sessions, total duration of training, number of hours, sessions, ...) Q
entre 2 et 10 heures / en fonction de l'étudiant
Types of numerical resources available to students (Podcast, MCQ, text, etc.)
DVD-ROM / du site / med@TICE / cours multimédia / ligne des questions / la / plateforme en ligne
Number of students Q
1700 étudiants
Number of tutors
20
Types of activities set up (groups, distance, ...)
étude de cas, / problème ouvert, énigme, quête, jeu de rôle-numérique ou non, / simulation, etc. / Les séances de tutorat
Files
Mandatory fields
Problematic description Q
Construire, enrichir et explorer le fichier de données dans le but de caractériser les étudiants par l’évolution de leurs notes, de leurs questions et de leurs votes d’une part. D’autre part, prédire le comportement de l’étudiant en vue d’appliquer des rétroactions adaptées dans le cas où ce dernier présente des difficultés.Creation date of problematic Q
2015Description of research questions Q
Ce dispositif de formation alterne des temps de travail à distance et en présence, et utilise un environnement de travail numérique pour soutenir les activités à distance (consultation de cours, activité d’élaboration de questions). L’objet de cette recherche est d’explorer les différents moyens/instruments qui pourraient être mis à disposition des enseignants intervenants PACES pour qu’ils soutiennent au moment de la séance en présentiel (SEPI) :le traitement de l’information et des connaissances des étudiants (le feedback formatif serait utilisé comme un accompagnement cognitif)l’engagement des étudiants dans le dispositif de formation (feedbacks formatifs sont utilisés alors comme accompagnement méthodologique et méta cognitif)soutien à la motivation (envie de poursuivre) soutien à l’auto-régulation processus d’interactions lors de la séance orale (entre enseignants/étudiants, entre pairs). Plus précisément, il s’agira d’identifier le dispositif à mettre en place pour aider, à partir des traces d’activités des étudiants, les enseignants intervenants dans la PACES à construire et à formuler des feedbacks formatifs lors de la séance SEPI (temps en présence) pour soutenir et accompagner le processus d’apprentissage des étudiants engagés dans un dispositif hybride de type classe inversée. Questions de recherche détaillées : 1) Existe-t-il des variables permettant de prédire l’évolution d’apprenant ? En particulier des piques (il monte puis il baisse ou il baisse puis il monte) ou des descentes (régulier puis il baisse), ou des montés (régulier puis il monte..). 2) Peut-on trouver des types d’évolution et trouver des indicateurs qui permettent de classer les étudiants avec cette typologie ? 3) Comment tenir compte de ces variables (contexte, ,..) pour proposer des rétroactions adaptés (type, moment, ..) à chaque type d’étudiant ?Methodological considerations
What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q
Accès à des données individuellesAdditional fields
Description of data
Data location Q
En 2015 : stockage sur Undertracks pour renvoyé à accès limité pour partage des données avec les partenaires du LIUM.
Description of the storage format of data (files, data base, ... ) Q
Fichiers CSV
Description of data model used to describe analyzable data (e.g. BD, XAPI, CSV, … )
Données QCM entrainement PACES, informations socio démographiques apprenants, notes évaluations semestre 1 et 2.
Data description (e.g. contents, size, number of records, ...) Q
Les traces produites par le dispositif pédagogique sont : - Des traces numériques laissées par les questions formulées par écrit et envoyées aux enseignants par courriel via la plate-forme, - Les traces d'activité de connexion des étudiants sur la plate-forme pour le visionnage des cours et pour l'entrainement à partir des annales du tutorat mais la plupart ne le fait pas car utilise le support DVD et certains peuvent laisser la connexion en cours alors qu'ils font autre chose, - Des traces numériques laissées par les évaluations du dispositif réalisées par les étudiants avant d'obtenir leur notes relatives aux QCMs du tutorat, - Réponses aux QCMs.
Pour cas d'étude - Data properties (name, labs, universities, companies, ...) Q
Laboratoire TIMC-IMAG
Description of data collect
Additional fields
General Information
Purposes of analysis Q
Prédire la performance des étudiants Aider l’enseignant à adapter son cours lors des séances de SEPI 1. Explorer et faire articuler, entre autres, différents cadres théorique sen lien avec les travaux sur l’ingénierie des dispositifs hybrides, sur l’apprentissage par auto-régulation et sur les feedback formatifs comme facteurs décisionnels. 2. Mettre en place et formaliser des outils de collecte de données (entretiens) auprès des enseignants du dispositif PACES afin de déterminer leurs attentes et leurs besoins concernant l’élaboration des feedbacks formatifs à partir de leurs pratiques professionnelles au sein de ce dispositif.Person(s) in charge of the analysis (pre-processing and processing) Q
Samy Foudil, Laura Dupuis, Muriel Ney, Nadine MandranWhich actors would be interested in the analysis and why?
Enseignant concepteur, tuteur pour le suivi, apprenants chercheur, enseignant... E/C: Adapter les activités, le séquencement, les ressources,... , modifier le scénario pédagogique. Tuteur: Adapter le suivi: modalités d'intervention (synchrone ou asynchrone), temporalité (temps réel, temps différé). Apprenants : adapter le rythme, le contenu , ... /capacités, contraintes, caractéristiques. Chercheur : Identifier des patterns de profil étudiant, patterns profil/scénario-pédagogique (activités et leur séquencement, ressources,...).Date or period of the analysis
Printemps 2014 puis été-automne 2015Description of learning analytics goals Q
Modèle de l'apprenant : lien entre scénario et modèle apprenant (quelle pédagogie pour quel profil, quelle ressource, quelles activités, rythmes, ...) Adapté le parcours pédagogique au profil apprenantHow has the ethical dimension of the analysis been taken into account?
Anonymisation des donnéesPre-processing of data
Global description of pre-processing
Identification de variables permettant de construire le profil d'apprenant PACES. Construction de modèles prédictifs des comportements des apprenants et visualisation de leurs évolutions.Plateforms or softwares to pre-process data
Analyses sous excel et sous Orange/UT, programmation VBA sous excel, programmation Python.Treatments of data
Overall description of the treatments used (e.g. make a list of the methods used)
Calcul de moyennes, Evolution temporelle (Scénario 3 Hubble) Avec UnderTracks visualisations des données de QCM et de FLQ en fonction du temps : - Pas de temps = la séquence (ou la matière) - Lissage (remplacer par une courbe) pour voir la tendance - Auto-corrélation pour voir des périodicités Analyse complémentaire (Scénario 2 Hubble) : Typologie d’étudiants obtenue par des analyses statistiques (Voir rapport Laura Dupuis) - analyse factorielle des correspondances multiples (ACM) - classification ascendante hiérarchique (CAH). Variable de Temps : discrète en 12 dates, chaque date correspond au début d’une séquence (de 1 à 12) Remarque : chaque étudiant ne passe pas les matières dans le même ordre à l’intérieur d’une séquence, et on attend un effet matière important. C’est pourquoi, le pas de temps est une séquence.Description of variables used as input for processing (e.g. name, content, modalities)
Variable ID étudiant : numéro UJF (8 chiffres) et numéro PACES (4 chiffres), avec un tableau de correspondance. Variables d’intérêt (à expliquer) : - Résultats aux QCM (les tests des 12 séquences, avec 4 ou 3 matières par séquence) Il faut rendre comparable des résultats qui ne le sont pas (la longueur des tests et la difficulté des tests sont très différentes d’une matière à l’autre). Laura Dupuis a proposé cette variable : Ecart de la note (ramenée à une note sur 20) à la moyenne de la promo (moyenne de tous les étudiants ayant passé ce test, dans cette matière et cette séquence). => position par rapport à la valeur centrale Autre possibilité, pour tenir compte de la distribution des notes (et pas seulement de la moyenne) : Présence de la note dans un quartile (ou un décile) de la distribution des notes autour de la médiane. => position à la distribution.Variable quantitative discrète, avec 4 (si quartile) ou 10 (si décile) valeurs. Deux variables quantitatives : la valeur pour chaque matière et la moyenne (sur 3 ou 4 matières) des valeurs pour chaque séquence. - Participation aux FLQ Nombre de questions posées par un étudiant sur chaque matière normalisée par le nombre de questions posées par tous les étudiants dans cette matière dans cette séquence. Deux variables quantitatives, avec des valeurs entre 0 et 1 : le ratio pour chaque matière et la moyenne des ratios (sur 3 ou 4 matières) pour chaque séquence. comptage des occurrences de mots spécifiques => voir si un logiciel d’analyse lexicale (sphinx, sur R) pourrait aider à la création de ces variables Nombre de votes = questions choisies par l’étudiant dans une matière, normalisé par le nombre de votes sur cette matière par tous les étudiants. Deux variables quantitatives, avec des valeurs entre 0 et 1 : le ratio pour chaque matière et la moyenne des ratios (sur 3 ou 4 matières) pour chaque séquence. Variables explicatives : - Le sexe Hypothèse : les filles fournissent un effort plus régulier et les garçons travaillent plus vers la fin Variable qualitative nominale : codée MME. et M. Distribution des valeurs : 501 (32,5%) hommes, 1040 (67,5 %) femmes Fichier : PACES_brut_inscription_etudiant_2012-2013 - Le bac : deux variables = le type de bac et la mention au bac Hypothèse : ceux qui ont un bac S spécialité Math savent fournir un effort régulier, idem si mention TB Variable qualitative nominale : S (spécialité du bac S pas toujours précisée), STL, STG, ES, agricole, étranger, DAEU (Diplôme d'Accès aux Etudes Universitaires) Distribution des valeurs : 1378 (89,5%) bac S, … Variable qualitative ordinale : S (sans mention), P (passable), AB (assez bien), B (bien), TB (très bien), Vide (non précisé) Distribution des valeurs : 325 (21%) S, 71 (4,6%) P, 497 (32,2%) AB, 415 (26,9%) B, 216 (14%) TB Fichier : PACES_brut_inscription_etudiant_2012-2013 - Le cursus choisis (le choix se fait à l’issue du concours du s1) Hypothèse : on peut voir un comportement spécifique chez ceux qui ont choisi Maïeutique, Odon ou Pharma… Variable qualitative nominale : combinaisons de M (médecine), O (odontologie = dentiste), P (pharmacie) et Sf (sage-femme = maïeutique) Distribution des valeurs : 211 abandons et 442 M, 138 MP, 125 P, 118 MSf, 108 MO, 88 MOP, 82 MOPSf, 55 Sf, 52 MPSf, 17 PSf, 16 MOSf, 15 O, 8 OP, 5 OSf, 3 OPSf Fichier : PACES_transforme_tutorat-concours 2012-2013, onglet : tutorat_notes - La profession du parent chef de famille Hypothèse : ceux qui sont mieux soutenu financièrement et intellectuellement, on un effort plus régulier, moins d’abandon. Problème : on n’a pas la profession de l’autre parent, on ne peut que supposer que le chef de famille a la profession la plus importante sur les plans financier et intellectuel. Variable qualitative nominale : CSP (Catégories socioprofessionnelles) professions classées en 8 catégories : (1) agriculteurs, (2) artisans-commerçants et chefs d’entreprises, (3) cadres et professions intellectuelles supérieures, (4) professions intermédiaires, (5) employés, (6) ouvriers, (7) retraités et (8) divers (chômeurs n’ayant jamais travaillé, étudiants, femmes (et les hommes) au foyer, etc.). On a les sous-catégories (code et intitulé) … Distribution des valeurs : 13 (1), 128 (2), 669 (3), 240 (4), 178 (5), 69 (6), 56 (7), 45 (8), 19 (inconnu) Fichier : PACES_brut_inscription_etudiant_2012-2013 - Les cours particuliers Hypothèse : si cours particulier, alors un effort plus régulier et moins d’abandon Non disponible : très peu d’étudiants donnent l’info en début d’année… - La matière : Deux hypothèses : (a) on réussit mieux dans certaines matières que d’autre (b) l’activité n’est pas la même pour les deux catégories : matières spécifiques aux études médicales (M), matières scolaires car déjà entrevues au lycée (S) Variable qualitative nominale : - Résultats aux concours : Hypothèse : on voit un changement d’activité après le premier concours, en fonction du résultat 4 matières au s1 (et 10 matières au s2), pour chacune, on a la note sur 20 et le rang de l’étudiant. Variables quantitatives : notes entre 0 et 20, rangs entre 1 et 1542 Dossier : PACES brut corrections concours -> un fichier .xls par matièreAdditional fields
General information
Description of analysis results Q
PRINTEMPS 2014 (données 2011-2012) : - Evolution temporelle de leurs résultats en fonction des 4 types d’étudiants déterminés auparavant (S3) ETE-AUTOMNE 2015 (données 2012-2013) : Evolution de l’activité des étudiants (en préparation au concours de médecine) au cours de l’année (S3). L’activité sera mesurée par (1) la présence et les résultats aux tests QCM (séances de tutorat) et (2) la participation aux FLQ (formulation en ligne des questions et votes). On regardera aussi l’impact du résultat au premier concours (fin du semestre 1) sur l’activité du semestre 2.Details
Visualisation descriptions
PRINTEMPS 2014 (données 2011-2012) : / ETE-AUTOMNE 2015 (données 2012-2013) :Indicator
Dashboards
Ethical Description
How has the ethical dimension been taken into account? (Discussion, ethics committee, ...) ? Q
Pas de prise en compte
What ethical problems can encountered with this problematic? (E.g. access to individual data, ...) Q
Accès à des données individuelles
How has the ethical dimension of the analysis been taken into account?
Anonymisation des données