La présente communication s'intéresse au développement de l'un des modules d'ADA dont l‘objectif spécifique est de « mesurer des compétences cognitives générales (verbales, numériques, logiques, socioaffectives) sans entrer dans des compétences disciplinaires ou spécifiques » (arrêté du gouvernement de la communauté française, 2022). Il s'agit là d'un module important. En effet, dès 2008, le conseil de l'Europe définit l'orientation comme « Une série d'activités qui permettent aux citoyen·ne·s, à tout âge et à tout moment de leur vie, de déterminer leurs capacités, leurs compétences et leurs intérêts, de prendre des décisions en matière d'éducation, de formation et d'emploi et de gérer leurs parcours de vie personnelle dans l'éducation et la formation, au travail et dans d'autres cadres où il est possible d'acquérir et/ou d'utiliser ces compétences ». Mesurer ses capacités et ses compétences, y compris cognitives, et les mettre en lien avec un projet d'étude est donc au cœur de la problématique d'orientation.
Le défi est de taille, car il s'agit, en quelques mois, de créer des instruments de mesure et de les calibrer pour les mettre en lien avec des filières d'études envisagées par les étudiants.
La démarche que nous avons proposée est structurée autour de trois grandes étapes.
La première étape est relative au choix et à la conception des instruments de mesure de ces compétences cognitives. Pour atteindre cet objectif, nous avons tout d'abord effectué une revue narrative de la littérature abordant la thématique des tests cognitifs et l'orientation scolaire, et ce afin de choisir les construits sur lesquels nous souhaitons travailler. Les construits et/ou instruments finalement conservés sont : les compétences verbales (construit créé et validé – 65 items), les compétences numériques (construit créé et validé – 50 items), les méthodes de travail (construit créé - inspiré des travaux de Gurung, 2010 - et validé – 30 items), les Compétences à l'orientation (traduction selon la méthode ad hoc du Career Education and Development Framework and measure for senior secondary school student de Mc Cowan et al., 2023), la personnalité (Big Five Inventory 2 de Soto et John, 2017, et plus exactement sa traduction française proposée par Lignier et al., 2022) et les compétences à la régulation émotionnelle (Cognitive Emotional Regulation Questionnaire de Garnefski et al, 2002 dont nous utilisons la version courte qui a été traduite en français par Fischer et al., 2022).
La deuxième étape consiste en la validation de ces instruments de mesure. Cela a impliqué la passation de l'ensemble de ces instruments à un public proche du public cible final, à savoir plus de 3000 étudiants de premier Bachelier du pôle Liège-Luxembourg. À partir de ces données, nous avons vérifié et confirmé (pour la plupart) la structure factorielle de ces instruments. Nous avons ensuite observé la variance de chacun de ces outils en fonction des filières dans lesquelles étaient inscrits les étudiants. Cette variance était faible hormis pour les compétences numériques. Nous devons encore observer les corrélations éventuelles entres construits.
La troisième étape est encore à réaliser. Il s'agit de la sélection finale des instruments, de leur calibrage et de la mise en place des rétroactions. Dans un premier temps, il s'agit de récolter des données d'abandon, de maintien et les résultats lors des différentes sessions pour chacun des étudiants et de les mettre en lien avec leur résultat qu'ils avaient obtenu sur chacun des instruments. Sur cette base, nous aurons les informations utiles pour sélectionner les instruments que nous conservons au final, pour les calibrer et pour rédiger les feedbacks à destination des étudiants.
Références (Maximum 5, Normes APA 7e édition)
Fischer, L., Philippot, P., & Romainville, M. (2021). Les émotions académiques vécues lors de la préparation aux premiers examens universitaires: d'où proviennent-elles et que pensent les étudiant· e· s de celles-ci et de leur régulation?. Nouveaux cahiers de la recherche en éducation, 23(3), 139-161.
Garnefski, N., Kraaij, V., & Spinhoven, P. (2002). CERQ: Manual for the use of the cognitive emotion regulation questionnaire, DATEC. Leiden University: The Netherlands.
Lignier, B., Petot, J. M., De Oliveira, P., Nicolas, M., Canada, B., Courtois, R., ... & Soto, C. J. (2023). A reliable instrument for making use of an overly neglected source of information on personality: The French adaptation of the Big Five Inventory-2 (Bfi-2) informant-report form. L'encephale.
McCowan, C., McIlveen, P., McLennan, B., Perera, H. N., & Ciccarone, L. (2023). A Career Education and Development Framework and measure for senior secondary school students. Australian Journal of Career Development, 32(2), 122-134.
Soto, C. J., & John, O. P. (2017). The next Big Five Inventory (BFI-2): Developing and assessing a hierarchical model with 15 facets to enhance bandwidth, fidelity, and predictive power. Journal of personality and social psychology, 113(1), 117.