Ce rapport fournit les propriétés psychométriques et le rapport de validation pour le Speed of Trust Leader Assessment (SOTLA) de FranklinCovey. Cette évaluation fait partie du cours Speed of Trust® (SOT) de FranklinCovey et vise à mesurer dans quelle mesure les leaders et les responsables du personnel possèdent les compétences et les comportements décrits dans notre cours SOT. L'évaluation est généralement déployée sous forme d'évaluation à 360 degrés avant et après la participation au cours.
Téléchargez le rapport technique complet d'évaluation du Speed of Trust Leader
Il existe un processus de validation des évaluations, parfois appelé psychométrie.
Le processus de validation peut être standardisé, selon le secteur d'activité. Mais souvent, il est plus juste de dire qu'il existe plusieurs critères de validation, certains sont plus importants que d'autres, mais en général, plus une évaluation répond à de critères de validation, mieux c'est.
De nombreuses organisations qui vendent des évaluations procèdent à une sorte de validation. Les organisations qui se concentrent principalement sur les évaluations peuvent valider chaque évaluation qu'elles produisent. D'autres organisations qui ont des évaluations comme secteur d'activité, comme KornFerry et Gallup, publient également des rapports techniques et de validation complets pour leurs évaluations les plus populaires, en les mettant régulièrement à jour avec de nouvelles données ou pour documenter les modifications apportées à l'évaluation.
Naturellement, nombre de nos clients nous ont demandé quel travail de validation nous avions effectué sur nos évaluations de FranklinCovey.
De plus, notre ancien indice de confiance en équipe (TTI), aujourd'hui l'évaluation de l'équipe SOT, avait déjà été validé, ce qui a amené le client à se demander pourquoi les autres évaluations du FC n'avaient pas été validées.
Il s'agit d'un rapport d'environ 15 pages qui détaille les tests de validation de la nouvelle évaluation SOT Leader.
Le rapport couvre 3 thèmes :
- Comment la nouvelle évaluation SOT Leader se compare à l'ancienne évaluation du Qt ? Par exemple, comparer les résultats des utilisateurs sur les deux critères ET la relation entre les scores des deux et les autres indicateurs de confiance
- La fiabilité de l'évaluation SOT Leader. Par exemple, dans quelle mesure les personnes obtiennent-elles des résultats similaires lorsqu'ils passent l'évaluation une semaine plus tard
- La validité de l'évaluation SOT Leader, par exemple, dans quelle mesure les scores prédisent l'engagement et la satisfaction au travail
Au total, plus d'un millier de leaders se sont évalués et plus de 500 subordonnés directs ont évalué leurs dirigeants dans le cadre de ces études.
Oui. Le rapport couvre les critères de validation suivants :
- Cohérence interne
- Fiabilité des tests et des retests
- Structure factorielle (c'est-à-dire, l'évaluation du SOT Leader est-elle une mesure multidimensionnelle)
- Validité convergente (c'est-à-dire, l'évaluation du SOT Leader est-elle liée à d'autres mesures de confiance validées)
- Sur la base des données d'auto-évaluation
- Et sur la base des données des évaluateurs directs
- Validité incrémentielle (c'est-à-dire que l'évaluation du SOT Leader est une meilleure mesure de la confiance que l'ancien TQ)
- Critère/validité concurrente (c'est-à-dire, est-ce que l'évaluation du SOT Leader est liée aux résultats que nous voulons qu'elle prédit, tels que l'engagement et la satisfaction au travail)
- Différences entre les scores d'évaluation de SOT Leader en fonction de la démographie des personnes interrogées (âge, identité de genre) et de variables relatives à l'équipe et à l'organisation (par exemple, la taille de l'organisation, le statut de télétravail)
L'évaluation SOT Leader répond aux normes généralement acceptées en ce qui concerne plusieurs critères de validation (réponses normalement distribuées, multiples formes de fiabilité et de validité) et, dans certains cas, obtient de très bons résultats sur ces critères.
Les liens entre une meilleure évaluation de votre leader dans l'évaluation SOT Leader et de nombreux résultats positifs, tels que l'engagement, la satisfaction au travail, l'intention de rester dans votre organisation, sont vraiment solides. Des relations qui rivalisent avec certaines des meilleures évaluations académiques en matière de leadership.
Une autre information tirée de ces données est que les années passées avec leur manager ne permettaient pas de prédire la façon dont les subordonnés directs évaluaient leurs managers. Une interprétation raisonnable de cela est la suivante : un dirigeant peut, et de nombreux membres de notre échantillon l'ont fait, renforcer la confiance de ses subordonnés directs en un an. Instaurer un haut niveau de confiance ne prend pas des années.
L'évaluation du SOT Leader comporte 20 questions au lieu de 25 pour le TQ. Nous avons également supprimé les sections sur la confiance dans le marché et dans les organisations. Les questions de la nouvelle évaluation sont également d'un format différent : elles ne comportent qu'un seul énoncé au lieu des deux énoncés qui complètent chaque question TQ. Nous donnons plus de détails sur ces modifications et sur les raisons pour lesquelles elles ont été apportées en RFA et dans le rapport technique.
Le gros titre est que la nouvelle évaluation SOT Leader est à la fois plus courte, tout en étant plus étroitement liée : 1) à d'autres mesures de confiance et 2) elle permet de mieux prédire des résultats importants tels que l'engagement des employés et la satisfaction au travail. Nous avons également constaté que la nouvelle évaluation surpasse le Qt pour quelques autres critères psychométriques importants. Par exemple, les notes des nouvelles évaluations ont tendance à être distribuées plus normalement, et il y a moins de regroupement des scores en haut de l'échelle de réponse.
Vous trouverez plus de détails dans le rapport technique.
Il existe essentiellement deux types de tests sur lesquels nous nous sommes appuyés pour répondre aux questions.
Nous avons commencé avec de nombreuses options de questions possibles, qui ont été déterminées en collaboration avec Doug Faber, notre responsable des pratiques de confiance. Nous avons ensuite effectué de nombreux petits tests auprès des personnes interrogées afin de trouver les meilleures questions selon certains critères. Nous avons recherché des questions avec un bon éventail de réponses, de préférence une distribution normale des scores. Et pour les questions présentant de fortes corrélations avec des concepts, nous voulons qu'elles soient corrélées, par exemple, à d'autres mesures de confiance. Ce processus nous a presque menés jusqu'à notre dernière série de questions.
La deuxième étape du processus est encore plus complexe. Et c'est l'effort de validation détaillé dans le rapport technique.
Nous nous sommes concentrés sur la mesure et la validation des auto-évaluations et des évaluations directes de leur leader. Ces points de vue sont généralement considérés comme les plus importants en matière de validation des évaluations.
Mais cela signifie que nous n'avons pas examiné les évaluations par les pairs ou les évaluations des managers. C'est quelque chose que nous pouvons et pourrions faire après le lancement de la nouvelle évaluation SOT Leader. Nous pouvons mettre à jour le rapport technique avec toutes les données pertinentes que nous y trouverons.
Mise en garde, si nécessaire :
Nous avons collecté des données indépendantes et transversales, ce qui signifie que nous avons collecté des échantillons indépendants de personnes s'évaluant elles-mêmes et des échantillons indépendants de personnes évaluant leurs dirigeants. Ce n'était pas le cas si nous avions deux subordonnés directs et des leaders qui évaluaient eux-mêmes et évaluaient les uns les autres.
Lien avec le diagnostic FranklinCovey 360 :
Cependant, nous avons des données concernant d'autres évaluateurs qui ont évalué la même personne dans le cadre du FranklinCovey Leader Diagnostic. Les statistiques pertinentes concernant la fiabilité à 360 degrés sont détaillées dans le rapport technique du FC Leader Diagnostic (disponible dans le centre d'aide).
Il y a une section en RFA qui traite de cette question en détail. Bref, l'échelle qui accompagne l'évaluation du SOT Leader est conforme au diagnostic FC, qui est nécessaire pour que l'expérience des personnes interrogées reste cohérente lorsqu'elles terminent le diagnostic en même temps que l'évaluation du SOT Leader. Nous avons également des données indiquant que la nouvelle échelle de réponse fournit des réponses distribuées plus normalement que l'ancienne échelle de réponse pour le tQ, qui est un critère important pour la validation de l'évaluation.
Pour plus d'informations sur l'évaluation de l'équipe SOT, consultez le SOT FRG.
En ce qui concerne la validation de l'évaluation de l'équipe : les questions de l'évaluation de l'équipe sont presque identiques à celles du précédent indice Team Trust (TTi). La plupart des mises à jour de cette évaluation concernent son administration et son rattachement au Module 4. De plus, l'ancien TTi avait déjà été validé par un cabinet de recherche externe en 2016 et les conclusions de ce rapport sont toujours d'actualité. Bien que le rapport de validation de l'évaluation de l'équipe SOT ne soit pas aussi complet que celui de l'évaluation des leaders, il contient des indicateurs importants concernant la fiabilité de l'évaluation (par exemple, la cohérence interne).
Nos tests de validation ont été effectués uniquement aux États-Unis et en anglais. La validation commence presque toujours dans un pays et une langue, puis si une validation interculturelle est requise, elle se fait plus tard par le biais d'études supplémentaires.
Nous notons également qu'il existe une distinction importante entre la validité d'une évaluation d'une culture à l'autre et s'il existe simplement des différences entre les cultures. Ainsi, par exemple, nous constatons certaines différences démographiques dans nos données basées aux États-Unis, certaines basées sur la race/l'origine ethnique, d'autres sur le statut de télétravail. Il s'agit donc de différences entre les groupes. Mais quel que soit le groupe, les résultats d'évaluation de SOT Leader prédisent toujours des résultats tels que l'engagement et la satisfaction au travail. C'est ce qui en dit long sur la validité de l'évaluation.
Cela dit, si nous voulons faire une étude interculturelle de l'évaluation de SOT Leader, elle sera publiée dans le futur et pourrait être ajoutée à une version révisée du rapport technique.
Notre travail de validation a été dirigé par Alex O'Connor, membre de l'équipe produit. Il est titulaire d'un doctorat en psychologie de la recherche, a suivi une formation en psychométrie et a déjà publié des évaluations validées dans des revues universitaires.
Nos travaux de validation ont été soutenus par un expert externe, Joshua Eng, PhD. Il enseigne à la faculté de médecine de l'université de l'Indiana. Il est chargé de valider les évaluations qui mesurent les résultats d'apprentissage et de bien-être des chirurgiens résidents à travers le pays et possède des décennies d'expérience en tant que psychométricien.
Commentaires
0 commentaire
Cet article n'accepte pas de commentaires.