此報告提供了弗蘭克林科維的領導者診斷的心理測量屬性和驗證報告。診斷評估與領導相關的綜合技能。每個技能都會使用捕捉可觀察行為的項目進行評估。在本報告的時間（2023 年 10 月），在參加弗蘭克林科維課程之前和之後的診斷作為 360 學員評估。一個 180 分級版本正在開發中。
有一個驗證評估的過程，有時稱為心理計量。
驗證過程可以根據行業進行標準化。儘管如此，通常說有幾個驗證標準更準確，有些比其他標準更重要，但通常評估符合的驗證標準越多，就越好。
許多銷售評估的組織都會進行某種驗證。主要專注於評估的組織可以驗證其產生的每個評估。其他將評估作為其業務部分的組織，例如 KornFerry 和 Gallup，也會針對其最受歡迎的評估發佈廣泛的驗證/技術報告，定期使用新資料更新這些報告，或記錄評估的變更。
可以理解的是，我們許多客戶都要求了解我們在 FranklinCovey 評估上做了什麼驗證工作。
這是一份約 15 頁的報告，我們專注於心理計量的兩個領域：
- 診斷的可靠性 — 例如，一週後進行評估時，人們的分數有多相似。
- 診斷的有效性 — 例如，分數預測工作場所參與度和工作滿意度的程度。這通常是驗證過程中最具影響力的部分。評估可以是可靠的，但如果它不能預測太多，則不值得多。一個 Buzzfeed 測驗，告訴您您是什麼迪士尼角色的理論上可以達到其他標準，但可能永遠不會擅長預測除了對迪士尼角色的喜好之外的任何事情。
我們總共分析了來自財年 23 年的診斷版本的約 20,000 個回應，然後有超過一千名領導者對自己進行評分，並且超過 500 個直接報告對他們的領導者對診斷的 24 財年版本進行評分。
診斷符合多種驗證準則（正常分佈的回應、多種可靠性形式和多種有效性形式）的一般公認標準，並在某些情況下在這些標準上表現非常好。
標題的發現是，在診斷中給您的領導者評分更高，與眾多優異成果（例如參與度、工作滿意度、保持在組織的意願）之間的關係非常強大。與領導力上的一些頂級學術評估相匹敵的關係。
是的該報告涵蓋下列驗證條件：
- 內部一致性
- 評分者間可靠性
- 在不同的評分類型之間（例如，自我評級，經理和直接報告評分者）
- 在評分類型內（例如，在 360 上對同一經理評分的直接報告是否顯示彼此之間的評分方式有任何一致性）
- 測試-重試可靠性
- 因子結構（即，診斷是一種多維度量）
- 聚合有效性（即，診斷是否與其他經過驗證的領導力衡量有關）
- 基於自我評估數據
- 並根據直接報告評分數據
- 準則/同時有效性（即，診斷是否與我們打算預測的結果有關：例如參與度，工作滿意度和對經理有效性的感知）
- 根據受訪者人口統計數據（等，年齡，性別身份）以及團隊和組織變數（例如組織規模，遠程工作狀態）的診斷分數差異
FY' 24 的診斷版本較短，我們更新了沒有正常分佈的答案或與其他問題相關性過高的問題（表明它們是多餘的）的問題。這些增量改進可以提供更可靠且有效的診斷。
我們基本上有兩種類型的測試來確定新問題。
我們首先從許多可能用作替代或添加的可能問題開始。然後，我們與受訪者進行許多小測試，以根據幾個標準找到更好的問題。我們正在尋找的是答案範圍很好的問題，最好是分數的正常分佈。我們正在尋找與我們希望問題與我們希望問題與其相關的概念具有強大關係的問題，例如，其他領導者效益的衡量度。這個過程讓我們幾乎完成了最後一組問題。
該過程中的第二個步驟更加涉及。這就是技術報告中詳細說明的驗證工作。
透過 FY' 24 版的診斷功能，我們將回應量表上的標籤從專業知識（1-新手、4-熟練、7-專家）更改為頻率（1-永遠、7-永遠）。請注意，比例仍然是 1-7 分的比例。
這個變更有幾個原因：
- 頻率規模更符合旨在衡量行為和行為變化的評估中標準和預期的內容。
- 許多受訪者和客戶表示，專業知識規模很難理解和定義（即使我們提供的新手，熟練和專家的定義）。頻率等級將在評分者間更一致地解釋。受訪者和客戶將更容易理解。
- 我們進行了一些測試和實驗，其中我們改變受訪者看到的響應比例標籤（專業知識與頻率），並發現比例標籤會影響缺少數據的選擇和選擇「無法評估」。具體來說，評分者在專業級表上進行評分時，比頻率等級比較，會跳過評級或選擇「無法評估」。因此，我們預計新的頻率規模將導致 360 的評分者獲得更完整的數據。
驗證 360 有額外的步驟。其中兩個人正在研究評分類型之間的一致性/可靠性。這基本上是衡量自我評分是否與經理評分和同行評等相符的衡量。Workplace 360s 在評分類型中並不會顯示太多重疊。但是，我們確實發現評分類型之間的重疊，這與行業中的預期相符。解釋這個發現的最佳方法是，我們的 360 為學習者提供了很多機會，看看其他評分者如何不同地評價他們。
驗證 360 評估的另一步是檢查評分類型中的一致性/可靠性（例如，直接報告對同一經理評分是否足夠一致的評分？）。我們檢查了來自直接報告和經理評級人的現有 FC 360 數據。在這裡，我們發現評分類型中的一致性與一些最受歡迎的領導力評估類似。
這兩種可靠性形式的詳細信息都在評論者間可靠性部分下的技術報告中。
雖然技術報告專注於 Leader 診斷，但某些可靠性和有效性條件與個別貢獻者版本相關。特別是，個人有效性和獲勝文化類別的內部一致性和測試重試指標（顯示在技術報告的表 2 和 4 中）表明這些組成 IC 版本的部分是可靠的。此外，這兩種類別確實顯示了與本報告中詳細的所有聚合變量和準則變量顯示了統計有意義的關係。雖然這些統計數據沒有在技術報告中，但可根據要求提供它們。
我們的驗證測試僅在美國進行，並以英語進行。幾乎總是在一個國家和語言內開始驗證，然後如果需要跨文化驗證，稍後通過其他研究進行完成。
我們還注意，評估是否跨文化有效，以及跨文化是否僅僅存在差異之間，有一個重要區別。因此，例如，我們在美國的數據中發現一些人口統計差異 — 有些基於種族/種族，有些基於遠程工作狀態。所以這些是群組之間的差異。但是，無論群組為何，診斷分數仍然預測參與度和工作滿意度等結果。這就是說明評估的有效性。
所以，如果我們要對診斷進行跨文化研究，將來將來會發生，並可以添加到修改版本的技術報告中。
我們的驗證工作由產品團隊中的 Alex O'Connor 領導。他擁有研究心理學博士學位，接受心理計學培訓，之前曾在學術期刊上發表了經過驗證的評估。
我們的驗證工作得到了外部專家 Joshua Eng 博士的支持。他是印第安納大學醫學院的教職員。他負責驗證測量全國外科醫生的學習和福祉成果的評估，並且作為心理計師擁有數十年的經驗。
評論
0 條評論
文章評論已關閉。