Le cadre légal
Dans une entreprise d’au moins de 50 salariés, l’employeur doit pouvoir justifier que chaque salarié, sur une période de six ans, a bénéficié des trois entretiens professionnels prévus, d’au moins une action de formation, de l’acquisition d’éléments de certification ainsi que d’une progression salariale ou professionnelle (cf. article L 6315-1 du Code du Travail). Cette mesure a pour but de permettre aux salariés de rester adaptés à leurs postes et de maintenir sur le long terme leur employabilité.
Le formateur, lors de l’élaboration d’un module, doit ainsi distinguer entre les notions incontournables (qui doivent être impérativement évaluées), les notions importantes (dont plusieurs au moins doivent être abordées) et les « plus » (que l’on peut également introduire à la marge dans un QCM pour apprécier plus subtilement le niveau de compréhension de l’apprenant).
Pour qu’un QCM puisse évaluer un objectif pédagogique, celui-ci doit répondre à deux critères :
- être mesurable, sans quoi l’idée même d’une évaluation est absurde,
- entrer dans les champs de la connaissance, la compréhension, l’application (résolution d’un cas concret) ou l’analyse (établir des liens entre des situations), c’est-à-dire le « savoir » et le « savoir comment faire ».
Un QCM n’est en effet pas un outil adapté pour faire des hypothèses, concevoir une idée, porter un jugement critique, démontrer son esprit de synthèse, etc.
En phase de conception
Le principal enjeu d’un QCM est d’éviter de faire la part trop belle au hasard ou à l’esprit de déduction de l’apprenant. Dans le cadre d’un questionnaire « vrai/faux », par exemple, la statistique accordera une moyenne de 50% de réponses correctes à un apprenant qui ne maîtriserait aucune notion… Un résultat inacceptable !
Il convient donc pour le formateur de réduire au maximum ce facteur chance afin d’avoir la vision la plus juste possible sur les compétences réelles du public évalué.
Pour cela, voici quelques astuces :
- augmenter le nombre de propositions pour chaque question (au moins 3),
- introduire des QRM (Questions à Réponses Multiples) qui diminueront d’autant la part dévolue au hasard. Pour corser encore l’exercice, on peut d’ailleurs omettre de préciser le nombre de réponses valables. A noter que, dans ce dernier cas, le temps de traitement par question sera plus long.
- Proposer des leurres (propositions de mauvaises réponses) plausibles. Les meilleurs leurres sont ceux qui sont formulés sur la base d’erreurs fréquentes, ceux qui constitueraient des réponses satisfaisantes mais non optimales ou bien les leurres qui sont des affirmations correctes mais qui ne répondent pas à la question posée.
- Ne pas isoler la bonne réponse en évitant de la rédiger sous une forme différente des leurres (une réponse plus longue par exemple peut attirer l’attention des apprenants), en évitant les indices (comme de reprendre une partie des termes employés dans la question) et en organisant toujours les réponses dans un ordre logique (par exemple, pour des réponses chiffrées, les placer dans un ordre croissant).
- Proposer des exercices de matching (qui consistent à apparier des notions entre elles) ou des textes à trous (format de question pertinent lorsque la connaissance exacte d’un terme est cruciale). Dans le cas des textes à trous, le rôle du hasard est presque nul.
- Partir d’un cas concret pour aboutir à une notion théorique (flipped-items). Par ce moyen, on évite que l’apprenant, en cas d’évaluation en ligne, puisse trouver trop facilement la réponse sur Google…
- Ne pas choisir systématiquement les propositions C ou D qui sont majoritairement choisies dans le cas de réponses hasardeuses.
Certains formateurs pourraient être tentés, en outre, d’attribuer des points négatifs aux mauvaises réponses pour limiter encore les effets de la chance. En l’occurrence, les tests prouvent que ce système est contre-productif puisqu’il ne décourage pas des profils joueurs mais peut pousser des apprenants sérieux à une prudence excessive.
Il est préférable d’utiliser à la place le standard-setting qui consiste à contraindre l’apprenant à répondre correctement à plus de la moitié des questions pour obtenir la moyenne.
Quelques généralités à connaître avant de rédiger des questions
Une question ne doit aborder qu’une seule notion.
Elle doit contenir les éléments indispensables et avoir une tournure grammaticale simple ; la complexité ne devant pas provenir de la lecture.
Elle doit être de forme affirmative ou interrogative mais pas de forme négative (ce qui est source de malentendus).
Elle ne doit inclure ni jugements de valeur ni termes vagues (parfois, souvent, etc).
Elle doit séparer clairement les informations (une situation concrète par exemple) et la question posée.
Elle ne doit pas découler de la réponse à la ou aux questions précédentes (« questions à tiroirs ») pour éviter le risque d’erreurs en cascade.
Il vaut mieux privilégier un énoncé long et des réponses courtes.
Le barême, s’il varie d’une question à l’autre, doit être indiqué pour permettre une meilleure gestion du temps en cours d’évaluation.
Le type de questions (matching, ordonnancement, Question à Réponse Ouverte Courte (QROC), etc.) doit, dans l’idéal, être varié pour éviter les erreurs liées à la lassitude.
Il faut poser au moins trois questions sur chaque notion clé puisque la notion en question ne pourra être considérée comme assimilée que si les deux tiers minimum des réponses sont corrects.
Lorsque le support est prêt
Lorsque vous avez rédigé votre questionnaire, la première chose à faire est de le tester (idéalement sur d’autres formateurs ou d’anciens apprenants), pour lever d’éventuelles ambiguïtés dans le texte, corriger coquilles et fautes d’orthographe et estimer la durée de l’exercice en condition réelle.
Evidemment, un « expert » de la question (dans l’exemple d’un collègue formateur) sera beaucoup plus rapide et performant qu’un apprenant moyen et il vous faudra doubler voire tripler le temps réalisé pour obtenir une estimation crédible.
Enfin, lorsque vous aurez récupéré les QCM de vos apprenants, il faudra prendre avec eux le temps de débriefer chaque réponse.
De votre côté, vous analyserez globalement les résultats pour chacune de vos questions afin de pouvoir rajuster au besoin telle ou telle partie du questionnaire (la question 3 était-elle trop facile ? La formulation de la question 5 a-t-elle induit les apprenants en erreur ?, etc.). De cette façon, et à force de corrections successives, vous arriverez progressivement à un questionnaire optimal !