Utilisation du Tableau de bord Qualité de l'évaluation

Vous pouvez exporter les rapports visuels de ce tableau de bord en format .CSV, .XLS ou .PPT au moyen de l'icône Exporter. Vous pouvez afficher un rapport visuel sous forme de tableau en cliquant sur l'icône Tableau, puis revenir vers le rapport en cliquant de nouveau sur cette icône.

Qualité des questionnaires et des questions

Le Tableau de bord Qualité de l'évaluation offre un rapport visuel qui aide les utilisateurs à comprendre la qualité des évaluations en utilisant des questionnaires et des statistiques sur les questions couvrant notamment la fiabilité, les notes moyennes et des corrélations de tous les types de question et de questionnaire. Tous les questionnaires et toutes les questions qui ont fait l'objet d'au moins une tentative de réponse au cours des 12 derniers mois s'affichent dans le niveau supérieur du rapport. Seules les premières tentatives de réponse des utilisateurs sont incluses dans le tableau de bord; les tentatives subséquentes nuiraient en effet aux valeurs utilisées pour mesurer la qualité des questionnaires et des questions. Actuellement, les questionnaires qui ont des notes publiées ne s'affichent que dans le tableau de bord Qualité de l'évaluation.

Les deux premiers niveaux du rapport visuel présentent des données sur les unités organisationnelles primaires et secondaires pour vous aider à parcourir et sélectionner les offres de cours et les questionnaires les mieux adaptés à l'information requise. Lorsque vous sélectionnez des offres de cours, une superposition de symboles compare le coefficient de fiabilité de chaque questionnaire d'un cours à au moins une tentative effectuée au cours des 12 derniers mois.

La sélection d'un cours ou d'un questionnaire individuel affiche une liste de questionnaires ou le questionnaire visé et présente les éléments suivants :

Nom de la colonne Description de la colonne
ID et nom du questionnaire Nom du questionnaire (tronqué à 160 caractères) et identifiant unique.
Note moyenne Note calculée en pourcentage, en fonction de la note de la première tentative de réponse au questionnaire de chaque apprenant.
Nombre d'apprenants Nombre d'utilisateurs distincts ayant tenté de répondre au questionnaire.
Nombre de questions Nombre total de questions dans le questionnaire.
Coefficient de fiabilité

La fiabilité est calculée pour toutes les questions, que les questions du questionnaire soient dichotomiques ou non. La fiabilité varie généralement de 0 à 1 et des valeurs négatives sont possibles.

Remarque : Pour obtenir plus d'information sur le calcul du coefficient de fiabilité, reportez-vous au sujet Calcul de la fiabilité.

Calcul de la fiabilité

Le Tableau de bord Évaluation comprend pour chaque cours un coefficient de fiabilité attribué à chaque questionnaire ayant fait l'objet d'au moins une tentative de réponse au cours des 12 derniers mois. La fiabilité est calculée pour toutes les questions, que le questionnaire comprenne deux réponses possibles (p. ex., vrai/faux) ou non. La fiabilité varie de 0 à 1 et des valeurs négatives sont possibles.

La fiabilité est calculée comme suit :

Où :

k = le nombre total de questions dans le questionnaire.

(σ_(question i) )2 = l'écart pour une note de question spécifique i

(σ_(quiz,all) )2 = l'écart pour les notes du questionnaire (en fonction de tous les apprenants)

Questionnaire, détails des questions et statistiques

Lorsque vous développez l'organigramme de l'organisation et les niveaux de cours du rapport visuel dans le Tableau de bord Qualité de l'évaluation, vous pouvez afficher des détails et des statistiques spécifiques concernant les questionnaires et les questions qu'il comprend.

Si vous décidez d'utiliser les statistiques relatives aux questionnaires et aux questions, il importe de tenir compte de la taille des échantillons pour l'élément visé. La pertinence statistique des données et indicateurs augmentera en fonction de l'accroissement de la taille de l'échantillon.

Cliquez sur un nom de questionnaire pour le développer et afficher des statistiques et des détails sur chaque question, notamment :

 

Nom de la colonne Description de la colonne
Question et ID Texte de la question, tronquée à 70 caractères, avec identifiant unique.
Type Type de la question.
Note moyenne Note calculée en pourcentage, en fonction de la note de la première tentative de réponse à la question de chaque apprenant.
Nombre d'apprenants Nombre d'utilisateurs distincts ayant tenté de répondre à la question.
Écart type Écart type de la note de la question en fonction de la première tentative de réponse de chaque apprenant.
Corrélation

Cette formule calcule toute corrélation possible entre le pointage de la question et le pointage total du questionnaire. La corrélation affiche « S.O. » lorsque tous les utilisateurs répondent correctement à une question donnée.

Pour plus d'information à ce sujet, consultez la rubrique Calcul de la corrélation ci-dessous.

Derniers 27 % Note moyenne pour la question des utilisateurs dont la note de questionnaire fait partie des derniers 27 %.
Premiers 27 %

Note moyenne pour la question des utilisateurs dont la note de questionnaire fait partie des premiers 27 %.

Remarque : Si les tentatives de réponse à des questions sont inférieures ou égales à 10, le système tient compte des premiers et derniers 50 % plutôt que des premiers et derniers 27 %. Ce réglage améliore la pertinence des statistiques lorsque les échantillons sont plus petits. Les valeurs des premiers et derniers 27 % indiquent les notes moyennes associées à une question pour les utilisateurs dont les notes de questionnaire se situent dans les premiers ou derniers 27 % ou 50 % respectivement.

Indice de discrimination Cette formule calcule toute discrimination possible dans la question entre les apprenants les plus forts et les plus faibles en soustrayant le résultat Derniers 27 % du résultat Premiers 27 % pour la question. Plus la différence est grande, mieux la question différencie les apprenants les plus forts des plus faibles. Une valeur négative indique qu'un nombre plus élevé d'apprenants faibles que d'apprenants forts a correctement répondu à la question. Cela indiquerait vraisemblablement une erreur dans la question.
Meilleur piège Réponse inexacte la plus fréquemment donnée. Cette valeur est uniquement indiquée pour les questions à choix multiples et les questions Vrai ou Faux.
Taux de réponse pour le meilleur piège Taux de réponse entre 0 et 1 pour les utilisateurs ayant sélectionné la réponse inexacte la plus fréquente. Cette valeur est uniquement indiquée pour les questions à choix multiples et les questions Vrai ou Faux.

Calcul de la corrélation

Les valeurs de corrélation du Tableau de bord Évaluation indiquent la corrélation entre le pointage de la question et le pointage total du questionnaire. Elle mesure l'importance de la corrélation entre les deux valeurs et indique un résultat positif ou négatif compris entre -1,00 et +1,00.

Si la question ne comprend que deux réponses possibles (questions dichotomiques), par exemple vrai ou faux, le tableau de bord utilise la corrélation bisériale de point. Si les questions ne sont pas dichotomiques, par exemple des questions à réponses courtes, les calculs du tableau de bord sont basés sur la corrélation de Pearson. Le champ Corrélation indique « S.O. » lorsque tous les utilisateurs répondent correctement à une question donnée.

La corrélation bisériale de point est calculée comme suit :

Où,

y1= le nombre de réponses exactes

y0= le nombre de réponses incorrectes

M1= la note moyenne du questionnaire pour les apprenants ayant donné la bonne réponse

M0= la note moyenne du questionnaire pour les apprenants ayant donné la mauvaise réponse

n= le nombre de tentative de réponse unique des utilisateurs pour la question

 

La corrélation de Pearson est calculée comme suit :

Où,

n= le nombre de tentative de réponse unique des utilisateurs pour la question

a= la note de la question

b= la note du questionnaire

ai= les notes des questions individuelles indexées avec i

b i= les notes des questionnaires individuels indexées avec i