FAQ et téléchargement du rapport de validation technique du diagnostic Leader 360

Ce rapport fournit les propriétés psychométriques et le rapport de validation du Leader Diagnostic de FranklinCovey. Le Diagnostic évalue un ensemble complet de compétences associées au leadership. Chaque compétence est évaluée à l'aide d'objets capturant les comportements observables. Au moment de la rédaction de ce rapport (octobre 2023), le Diagnostic était déployé sous la forme d'une évaluation à 360 évaluateurs avant et après la participation aux cours FranklinCovey. Une version évaluant 180 personnes est en cours de développement.

Téléchargez le rapport technique de diagnostic complet du Leader (360)

Qu'est-ce qu'un rapport technique/de validation et pourquoi en avons-nous besoin ?

Il existe un processus de validation des évaluations, parfois appelé psychométrie.

Le processus de validation peut être standardisé, selon le secteur d'activité. Mais souvent, il est plus juste de dire qu'il existe plusieurs critères de validation, certains sont plus importants que d'autres, mais en général, plus une évaluation répond à de critères de validation, mieux c'est.

De nombreuses organisations qui vendent des évaluations procèdent à une sorte de validation. Les organisations qui se concentrent principalement sur les évaluations peuvent valider chaque évaluation qu'elles produisent. D'autres organisations qui ont des évaluations comme secteur d'activité, comme KornFerry et Gallup, publient également des rapports techniques et de validation complets pour leurs évaluations les plus populaires, en les mettant régulièrement à jour avec de nouvelles données ou pour documenter les modifications apportées à l'évaluation.

Naturellement, nombre de nos clients nous ont demandé quel travail de validation nous avions effectué sur nos évaluations de FranklinCovey.

Que contient le rapport technique du diagnostic ?

Il s'agit d'un rapport d'environ 15 pages dans lequel nous nous sommes concentrés sur deux domaines de la psychométrie :

1. La fiabilité du diagnostic. Par exemple, dans quelle mesure les personnes obtiennent-elles des résultats similaires lorsqu'ils passent l'évaluation une semaine plus tard.
2. La validité du diagnostic, par exemple, dans quelle mesure les scores permettent-ils de prédire l'engagement et la satisfaction au travail ? C'est généralement la partie la plus importante du processus de validation. Une évaluation peut être fiable, mais si elle ne permet pas de prédire grand-chose, elle ne vaut pas grand-chose. Un quiz Buzzfeed qui vous indique quel personnage Disney vous êtes pourrait théoriquement répondre aux autres critères, mais il ne sera probablement jamais efficace pour prédire autre chose que vos préférences pour les personnages Disney.

Au total, nous avons analysé environ 20 000 réponses issues de la version 2013 du Diagnostic, puis nous avons demandé à plus d'un millier de leaders de s'évaluer eux-mêmes, et plus de 500 subordonnés directs ont évalué leurs leaders dans la version 2014 du Diagnostic.

Le diagnostic est-il valide ? Y a-t-il quelque chose d'intéressant dans ces données ?

Le Diagnostic répond aux normes généralement acceptées en ce qui concerne plusieurs critères de validation (réponses normalement distribuées, multiples formes de fiabilité et de validité) et, dans certains cas, obtient de très bons résultats sur ces critères.

Le principal résultat est que les liens entre une meilleure évaluation de votre leader lors du Diagnostic et de nombreux résultats positifs, tels que l'engagement, la satisfaction au travail, l'intention de rester dans votre organisation, sont vraiment solides. Des relations qui rivalisent avec certaines des meilleures évaluations académiques en matière de leadership.

Puis-je obtenir plus de détails techniques sur le sujet du rapport, sans avoir à le lire en entier ?

Oui. Le rapport couvre les critères de validation suivants :

• Cohérence interne
• Fiabilité entre les évaluateurs
  • Entre différents types d'évaluateurs (par exemple, auto-évaluateurs, managers et subordonnés directs)
  • Au sein des types d'évaluateurs (par exemple, les subordonnés directs évaluent-ils le même manager sur la 360 degrés montrent-ils une certaine cohérence entre eux en termes de notation de ce manager)
• Fiabilité des tests et des retests
• Structure factorielle (c'est-à-dire que le diagnostic est une mesure multidimensionnelle)
• Validité convergente (c'est-à-dire, le diagnostic est-il lié à d'autres mesures validées du leadership)
  • Sur la base des données d'auto-évaluation
  • Et sur la base des données des évaluateurs directs
• Critère/validité concurrente (c'est-à-dire, le diagnostic est-il lié aux résultats que nous voulons qu'il prédit, tels que l'engagement, la satisfaction au travail et la perception de l'efficacité des managers)
• Différences entre les scores diagnostiques en fonction de la démographie des personnes interrogées (âge, identité de genre, etc.) et de variables relatives à l'équipe et à l'organisation (par exemple, la taille de l'organisation, le statut de télétravail)

Quelles sont les différences entre le diagnostic de l'année dernière et celui de cette année ? Pourquoi même le changer ?

La version du Diagnostic pour l'année fiscale 24 est plus courte, et nous avons mis à jour les questions qui n'avaient pas de réponses normalement distribuées ou qui présentaient une trop forte corrélation avec les autres questions (ce qui suggère qu'elles sont redondantes). Ces améliorations progressives se traduisent par un diagnostic plus fiable et plus valide.

Comment les nouvelles questions ont-elles été élaborées ?

Il existe essentiellement deux types de tests sur lesquels nous nous sommes appuyés pour déterminer les nouvelles questions.

Nous commençons par de nombreuses questions possibles qui pourraient être utilisées pour les remplacer ou les compléter. Nous faisons ensuite de nombreux petits tests auprès des personnes interrogées afin de trouver les meilleures questions selon certains critères. Ce que nous recherchons, ce sont des questions qui ont un bon éventail de réponses, de préférence une distribution normale des scores. Et nous recherchons des questions étroitement liées à des concepts auxquels nous voulons qu'elles soient corrélées, par exemple d'autres mesures de l'efficacité des leaders. Ce processus nous a presque menés jusqu'à notre dernière série de questions.

La deuxième étape du processus est encore plus complexe. Et c'est l'effort de validation détaillé dans le rapport technique.

Qu'en est-il de la modification de l'échelle de réponse ?

Avec la version FY' 24 du Diagnostic, nous avons modifié les libellés de notre échelle de réponse, passant de l'expertise (1 novice, 4 compétent, 7 expert) à la fréquence (1 jamais, 7 toujours). Remarque, l'échelle est toujours de 1 à 7 points.

Ce changement s'explique par plusieurs raisons :

• Une échelle de fréquence correspond davantage à ce qui est standard et attendu dans les évaluations destinées à mesurer les comportements et les changements de comportement.
• Plusieurs personnes interrogées et clients ont indiqué que l'échelle d'expertise était difficile à comprendre et à définir (même avec les définitions de débutant, de compétent et d'expert que nous proposons). Une échelle de fréquence sera interprétée de manière plus cohérente par les évaluateurs. Et sera plus facilement comprise par les personnes interrogées et les clients.
• Nous avons mené quelques tests et expériences au cours desquels nous avons fait varier les étiquettes d'échelle de réponse que voient les personnes interrogées (expertise par rapport à la fréquence) et nous avons découvert que les étiquettes d'échelle influaient sur la sélection des données manquantes et sur la sélection de la mention « Impossible d'évaluer ». Plus précisément, les évaluateurs sont beaucoup plus susceptibles de sauter une note ou de sélectionner « Impossible d'évaluer » lorsqu'ils évaluent sur l'échelle d'expertise plutôt que sur l'échelle de fréquence. Nous pensons donc que la nouvelle échelle de fréquences permettra d'obtenir des données plus complètes auprès des évaluateurs de la 360.

Comment avons-nous validé la nature à 360 degrés du diagnostic ?

Il y a des étapes supplémentaires pour valider une 360. Deux d'entre eux portent sur la cohérence et la fiabilité des différents types d'évaluateurs. Il s'agit essentiellement d'une mesure visant à déterminer si les auto-évaluations correspondent aux évaluations des managers et à celles des pairs, etc. Les évaluations de Workplace 360 ne se recoupent pas beaucoup entre les types d'évaluateurs. Mais nous constatons un chevauchement entre les types d'évaluateurs, ce qui correspond à ce que l'on attend du secteur. La meilleure façon d'interpréter ce résultat est que notre 360 offre de nombreuses opportunités aux apprenants de voir comment les autres évaluateurs les évaluent différemment.

Une autre étape pour valider une évaluation à 360 degrés consiste à examiner la cohérence/la fiabilité d'un type d'évaluateur (par exemple, les subordonnés directs évaluent-ils le même manager de manière suffisamment cohérente ?). Nous avons examiné les données FC 360 existantes provenant à la fois d'évaluateurs directs et de managers. Nous avons constaté ici cette cohérence entre les types d'évaluateurs, similaires à certaines des évaluations de leadership les plus populaires.

Les détails de ces deux formes de fiabilité se trouvent dans le rapport technique, dans la section « Fiabilité entre évaluateurs ».

Le rapport technique/de validation s'applique-t-il à la fois aux versions Leader et Individual Contributor du Diagnostic ?

Bien que le rapport technique se concentre sur le diagnostic du leader, certains critères de fiabilité et de validité sont pertinents pour la version Individual Contributor. En particulier, la cohérence interne et les mesures test-retest pour les catégories Efficacité individuelle et Culture de la victoire (affichées dans les tableaux 2 et 4 du rapport technique) suggèrent que ces sections, qui constituent la version IC, sont fiables. De plus, ces deux catégories présentaient des relations statistiquement significatives avec toutes les variables convergentes et critères détaillées dans ce rapport. Bien que ces statistiques ne figurent pas dans le rapport technique, elles sont disponibles sur demande.

Le diagnostic a-t-il été validé d'une culture à l'autre ?

Nos tests de validation ont été effectués uniquement aux États-Unis et en anglais. La validation commence presque toujours dans un pays et une langue, puis si une validation interculturelle est requise, elle se fait plus tard par le biais d'études supplémentaires.

Nous notons également qu'il existe une distinction importante entre la validité d'une évaluation d'une culture à l'autre et s'il existe simplement des différences entre les cultures. Ainsi, par exemple, nous constatons certaines différences démographiques dans nos données basées aux États-Unis, certaines basées sur la race/l'origine ethnique, d'autres sur le statut de télétravail. Il s'agit donc de différences entre les groupes. Mais quel que soit le groupe, les scores diagnostiques prédisent toujours des résultats tels que l'engagement et la satisfaction au travail. C'est ce qui en dit long sur la validité de l'évaluation.

Cela dit, si nous voulons faire une étude interculturelle du Diagnostic, elle sera publiée dans le futur et pourrait être ajoutée à une version révisée du rapport technique.

Qui a travaillé sur la validation ?

Notre travail de validation a été dirigé par Alex O'Connor, membre de l'équipe produit. Il est titulaire d'un doctorat en psychologie de la recherche, a suivi une formation en psychométrie et a déjà publié des évaluations validées dans des revues universitaires.

Nos travaux de validation ont été soutenus par un expert externe, Joshua Eng, PhD. Il enseigne à la faculté de médecine de l'université de l'Indiana. Il est chargé de valider les évaluations qui mesurent les résultats d'apprentissage et de bien-être des chirurgiens résidents à travers le pays et possède des décennies d'expérience en tant que psychométricien.