このレポートは、フランクリンコビーのスピード・オブ・トラスト・リーダー・アセスメント（SOTLA）の心理測定特性と検証レポートを提供します。この評価は、FranklinCoveyのSpeed of Trust®（SOT）コースの一部であり、リーダー/ピープルマネージャーが私たちのSOTコースに示されているスキルと行動をどの程度発揮しているかを測定することを目的としています。評価は通常、コースに参加する前後に360度の評価として実施されます。
スピード・オブ・トラスト・リーダー評価テクニカルレポートの全文をダウンロードしてください
評価を検証するには、心理測定と呼ばれることもあります。
検証プロセスは、業界によっては標準化できます。しかし、多くの場合、検証基準はいくつかあり、その中には他の基準よりも重要なものがあると言った方が正確ですが、一般的には、評価が満たす検証基準が多いほど良いです。
評価を販売する多くの組織は、何らかの検証を行っています。主に評価に焦点を当てている組織は、作成したすべての評価を検証することがあります。KornFerryやGallupのように、評価を事業の一部としている他の組織も、最も人気のある評価について広範な検証/技術レポートを発行し、それらのレポートを定期的に新しいデータで更新したり、評価の変更を文書化したりしています。
当然のことながら、多くのお客様から、フランクリンコビーの評価でどのような検証作業を行ったかを尋ねてきました。
さらに、私たちの古いチームトラストインデックス（TTI）（現在はSOTチーム評価）は以前に検証されていたため、クライアントはなぜ他のFC評価が検証されなかったのか疑問に思いました。
これは、新しいSOTリーダーアセスメントの検証テストの詳細が記載された約15ページのレポートです。
レポートは3つのテーマを取り上げています：
- 新しいSOTリーダー評価と旧tQの比較。たとえば、両方の得点と、両方のスコアが他の信頼基準とどのように関連しているかを比較するなど
- SOT Leader評価の信頼性。たとえば、1週間後に評価を受けた人のスコアはどのくらいですか
- SOTリーダーアセスメントの妥当性-たとえば、スコアが職場のエンゲージメントや仕事の満足度をどの程度予測するかなど
これらの調査の一環として、合計で1,000人以上の指導者が自分自身を評価し、500人以上の直属部下が指導者を評価しました。
はい。レポートは次の検証基準をカバーしています。
- 内部の一貫性
- 信頼性をテスト/再テストします
- ファクター構造（つまり、SOTリーダー評価は多面的な尺度ですか）
- 収束的妥当性（つまり、SOTリーダー評価は他の検証済みの信頼尺度に関連していますか）
- 自己評価データに基づいています
- そして、直属の報告者データに基づいています
- 段階的な有効性（つまり、SOTリーダー評価は古いtQよりも信頼の尺度として優れているか）
- 基準/同時妥当性（つまり、SOTリーダー評価は、エンゲージメントや仕事の満足度など、予測したい結果に関連していますか）
- 回答者の人口統計（年齢、性同一性など）、チームや組織の変数（組織の規模、リモートワークの状況など）に基づくSOTリーダー評価スコアの違い
SOTリーダー評価は、正規分布の回答、複数の信頼性、複数の妥当性など、いくつかの検証基準で一般的に受け入れられている基準を満たしており、場合によってはこれらの基準で非常にうまく機能します。
SOTリーダー評価でリーダーを高く評価することと、エンゲージメント、仕事の満足度、組織に留まる意欲など、多くの優れた成果との関係は非常に強いです。リーダーシップに関するトップクラスの学問的評価に匹敵する人間関係。
データから得られるもう1つの洞察は、マネージャーと一緒に過ごした年数では、直属部下が評価でマネージャーをどのように評価したかを予測できなかったということです。それについての1つの合理的な解釈は、リーダーは1年以内に直属部下との高い信頼を築くことができ、私たちのサンプルの多くがそうしてきたということです。高い信頼を築くのに何年もかかる必要はありません。
SOTリーダーの評価は、tQの25問ではなく20問です。また、市場と組織の信頼に関するセクションを削除しました。新しいアセスメントの質問の形式も異なります。各tQの質問をブックエンドにする2つのステートメントではなく、1つのステートメントだけで構成されています。これらの変更と、変更が行われた理由については、FRGとテクニカルレポートで詳しく説明しています。
見出しは、新しいSOTリーダー評価はより短時間でありながら、1）他の信頼指標との関係が強く、2）従業員エンゲージメントや仕事の満足度などの重要な成果をより正確に予測できるということです。また、新しい評価は、他のいくつかの重要な心理測定基準でtQを上回っていることもわかりました。たとえば、新しい評価のスコアはより正規分布する傾向があり、回答スケールの最高端ではスコアの集まりが少なくなります。
詳細はテクニカルレポートに記載されています。
質問を決定するために私たちが頼りにしたテストは基本的に2種類ありました。
私たちは多くの可能な質問オプションから始め、それらはトラストプラクティスのリーダーであるダグ・フェーバーと一緒に決定しました。その後、いくつかの基準でより適切な質問を見つけるために、回答者を対象に多くの簡単なテストを行いました。私たちが探したのは、回答の範囲が広く、できればスコアが正規分布の質問でした。また、概念と強い相関関係がある質問については、他の信頼尺度など、質問と相関させたいと考えています。このプロセスにより、私たちはほぼ最後の一連の質問にたどり着きました。
プロセスの次のステップはさらに複雑です。そして、それがテクニカルレポートに詳述されている検証作業です。
私たちは、彼らのリーダーの自己評価と直属部下の評価の測定と検証に焦点を当てました。これらは一般的に評価検証において最も重要な視点と考えられています。
しかし、それは私たちが同業者の評価やマネージャーの評価を見なかったことを意味します。これは、新しいSOTリーダー評価が開始された後にできること、またできることです。テクニカルレポートでは、そこで見つかった関連データで更新することがあります。
警告、必要であれば:
私たちが収集したのは、独立した横断的なデータでした。つまり、自分自身を評価する人々の独立したサンプルと、リーダーを評価する人々の独立したサンプルを収集したということです。直属部下とリーダーのペアが自分自身やお互いを評価してい?$#@$ではありません。
フランクリンコビー360診断との関係：
ただし、フランクリンコビーリーダー診断では、他の評価者が同じ個人を評価したデータがあります。360の信頼性に関連する統計情報は、FCリーダー診断のテクニカルレポート（ヘルプセンターにあります）に詳しく記載されています。
FRGには、これについて詳しく説明するセクションがあります。つまり、SOTリーダー評価に付随する尺度はFC診断と一致しています。FC診断は、回答者がSOTリーダー評価と並行して診断を完了する際に、回答者の体験に一貫性を保つために必要です。また、新しい回答尺度の方が、tQの古い回答尺度よりも正規分布の回答が得られるというデータもあります。これは、評価の検証の重要な基準です。
SOTチームの評価に関する情報は、SOT FRGにあります。
チームアセスメントの検証について：チームアセスメントの質問は、以前のチーム・トラスト・インデックス（TTi）とほぼ同じです。この評価の更新のほとんどは、その管理とモジュール4への添付に関するものです。さらに、古いTTiは2016年に外部の調査会社によって以前に検証されていましたが、そのレポートからの結論はまだ当てはまります。SOTチーム評価の検証レポートは、リーダー評価ほど詳細ではないかもしれませんが、評価の信頼性に関する重要な指標（内部の一貫性など）を報告しています。
私たちの検証テストは米国のみで、英語で行われました。ほとんどの場合、検証は1つの国と言語で始まり、異文化間の検証が必要な場合は、後で追加の調査を経て行われます。
また、評価が文化を超えて有効かどうかと、単に文化によって違いがあるかどうかには重要な違いがあることにも気付きました。たとえば、米国ベースのデータには人口統計上の違いがあります。人種/民族に基づくものもあれば、リモートワークの状況に基づくものもあります。これらはグループ間の違いです。しかし、グループに関係なく、SOTリーダー評価スコアはエンゲージメントや仕事の満足度などの結果を予測します。それが評価の妥当性を物語っています。
とはいえ、SOTリーダー評価について異文化間の調査を行うとしたら、それは将来行われる予定で、テクニカルレポートの改訂版に追加される可能性があります。
私たちの検証作業は、製品チームのAlex O'Connorが主導しました。彼は研究心理学の博士号を持ち、心理測定学の訓練を受けており、以前に学術雑誌に検証済みの評価を発表したことがあります。
私たちの検証作業は、外部の専門家であるJoshua Eng博士によってサポートされました。彼はインディアナ大学医学部の教員です。彼は全国の外科研修医の学習と健康の成果を測定する評価の検証を担当しており、心理測定医として数十年の経験があります。
コメント
0件のコメント
記事コメントは受け付けていません。