Leader 360 Teşhis Teknik Doğrulama Raporu SSS ve İndirme

Bu rapor, FranklinCovey'in Leader Diagnostic için psikometrik özellikleri ve doğrulama raporunu sağlar. Teşhis, liderlikle ilgili kapsamlı bir beceri setini değerlendirir. Her beceri, gözlemlenebilir davranışları yakalayan öğelerle değerlendirilir. Bu rapor sırasında (Ekim 2023), Tanı, FranklinCovey kurslarına katılımdan önce ve sonra 360 dereceli bir değerlendirme olarak devreye alınır. 180 dereceli bir versiyon geliştirilmektedir.

Leader (360) Teşhis Teknik Raporunun tamamını indirin

Teknik/doğrulama raporu nedir ve neden buna ihtiyacımız var?

Bazen psikometri olarak adlandırılan değerlendirmeleri doğrulamak için bir süreç vardır.

Doğrulama süreci sektöre bağlı olarak standartlaştırılabilir. Çoğu zaman, birkaç doğrulama kriteri olduğunu söylemek daha doğrudur, bazıları diğerlerinden daha önemlidir, ancak genellikle bir değerlendirme ne kadar çok doğrulama kriteri karşılarsa o kadar iyidir.

Değerlendirme satan birçok kuruluş bir tür doğrulama yapar. Öncelikle değerlendirmelere odaklanan kuruluşlar, ürettikleri her değerlendirmeyi doğrulayabilir. KornFerry ve Gallup gibi işletmelerinin bir bölümü olarak değerlendirmeleri olan diğer kuruluşlar da en popüler değerlendirmeleri için kapsamlı doğrulama/teknik raporlar yayınlar, bu raporları periyodik olarak yeni verilerle günceller veya değerlendirmedeki değişiklikleri belgelemek için.

Anlaşılır bir şekilde, müşterilerimizin çoğu FranklinCovey değerlendirmelerimizde hangi doğrulama çalışmalarını yaptığımızı görmek istedi.

Teşhis için teknik raporda neler var?

Bu, psikometrinin 2 alanına odaklandığımız ~ 15 sayfalık bir rapordur:

1. Teşhisin güvenilirliği - örneğin, insanlar bir hafta sonra değerlendirmeyi aldıklarında ne kadar benzer puan alıyor.
2. Teşhisin geçerliliği - örneğin, puanların işyeri katılımını ve iş memnuniyetini ne kadar iyi tahmin ettiği. Bu genellikle doğrulama sürecinin en etkili kısmıdır. Bir değerlendirme güvenilir olabilir, ancak çok fazla tahmin etmiyorsa çok değerli değildir. Size hangi Disney karakteri olduğunuzu söyleyen bir Buzzfeed testi teorik olarak diğer kriterlere ulaşabilir, ancak muhtemelen Disney karakterleri için tercihler dışında hiçbir şeyi tahmin etmede asla iyi olmayacaktır.

Toplamda, Diagnostic'ın FY '23 sürümünden yaklaşık 20.000 yanıtı analiz ettik ve ardından binden fazla liderin kendilerini derecelendirmesini sağladık ve 500'den fazla doğrudan rapor, liderlerini Diagnostic'ın FY '24 versiyonunda derecelendirdi.

Teşhis geçerli mi? Verilerde ilginç bir şey var mı?

Teşhis, çeşitli doğrulama kriterlerinde genel kabul görmüş standartları karşılar - normal olarak dağıtılmış yanıtlar, birden fazla güvenilirlik biçimi, ve birden fazla geçerlilik biçimi - ve bazı durumlarda bu kriterler üzerinde gerçekten iyi performans gösterir.

Başlık bulgusu, liderinizi Teşhis'te daha yüksek derecelendirmek ile katılım, iş tatmini, kuruluşunuzda kalma niyeti gibi bir dizi harika sonuç arasındaki ilişkilerin gerçekten güçlü olduğudur. Liderlikle ilgili en iyi akademik değerlendirmelerden bazılarına rakip olan ilişkiler.

Raporun kapsamı hakkında daha fazla teknik ayrıntı alabilir miyim, raporun tamamını okumak zorunda kalmadan?

Evet. Rapor aşağıdaki doğrulama kriterlerini kapsar:

• İç tutarlılık
• Değerlendiriciler arası güvenilirlik
  • Farklı değerlendirici türleri arasında (örn., öz, yönetici ve doğrudan rapor değerlendiricileri)
  • Değerlendirici türleri içinde (örneğin, 360'ta aynı yöneticiyi derecelendiren doğrudan raporlar, o yöneticiyi nasıl derecelendirdikleri açısından birbirleri arasında herhangi bir tutarlılık gösterir mi)
• Test-yeniden test güvenilirliği
• Faktör yapısı (yani, Teşhis çok boyutlu bir ölçüdür)
• Yakınsak geçerlilik (yani, Teşhis, doğrulanmış diğer liderlik ölçütleriyle ilgili mi)
  • Öz değerlendirme verilerine dayanarak
  • Ve doğrudan rapor değerlendirici verilerine dayanarak
• Kriter/eşzamanlı geçerlilik (yani, Teşhis, tahmin etmeyi düşündüğümüz sonuçlarla ilgili mi: katılım, iş tatmini ve yönetici etkinliği algıları gibi)
• Katılımcı demografisine (vb., yaş, cinsiyet kimliği) ve ekip ve organizasyon değişkenlerine (örn. kuruluş büyüklüğü, uzaktan çalışma durumu) dayalı Tanı puanlarındaki farklılıklar

Geçen yılki teşhis ile bu yılki güncellenmiş tanı arasındaki farklar nelerdir? Neden değiştirsin ki?

Teşhis'in FY' 24 sürümü daha kısadır ve normal olarak dağıtılmış yanıtları olmayan veya diğer sorularla çok yüksek korelasyonu olan soruları güncelledik (gereksiz olduklarını düşünerek). Bu artımlı iyileştirmeler daha güvenilir ve geçerli bir Tanılama ile sonuçlanır.

Yeni sorular nasıl geliştirildi?

Yeni soruları belirlemek için temel olarak güvendiğimiz iki tür test vardır.

Öncelikle yedek veya ekleme olarak kullanılabilecek birçok olası soruyla başlıyoruz. Daha sonra, birkaç kriterde daha iyi olan soruları bulmak için yanıtlayanlarla birçok küçük test yaparız. Aradığımız şey, yanıtlarda iyi bir aralığa, tercihen normal bir puan dağılımına sahip sorulardır. Ve soruların ilişkilendirilmesini istediğimiz kavramlarla güçlü korelasyonları olan sorular arıyoruz - örneğin, diğer lider etkinliği ölçümleri. Bu süreç bizi neredeyse son soru grubumuza götürdü.

Süreçteki ikinci adım daha da ilgilidir. Ve bu, teknik raporda ayrıntılı olarak açıklanan doğrulama çabasıdır.

Peki ya yanıt ölçeğindeki değişiklik?

Teşhis'in FY' 24 versiyonuyla, yanıt ölçeğimizdeki etiketleri uzmanlıktan (1-Acemi, 4-Uzman, 7-Uzman) frekansa (1-Hiç, 7-Her Zaman) değiştirdik. Dikkat, ölçek hala 1-7 puanlık bir ölçektir.

Bu değişikliğin birkaç nedeni vardır:

• Frekans ölçeği, davranışları ve davranış değişikliğini ölçmeyi amaçlayan değerlendirmelerde standart ve beklenenlerle daha uyumludur.
• Birkaç katılımcı ve müşteri, uzmanlık ölçeğinin anlaşılmasının ve tanımlanmasının zor olduğunu yorumladı (sunduğumuz acemi, yetkin ve uzman tanımlarıyla bile). Bir frekans ölçeği, değerlendiriciler arasında daha tutarlı bir şekilde yorumlanacaktır. Ve katılımcılar ve müşteriler tarafından daha kolay anlaşılacaktır.
• Yanıtlayanların gördüğü yanıt ölçeği etiketlerini (uzmanlık ve sıklık) değiştirdiğimiz birkaç test ve deney gerçekleştirdik ve ölçek etiketlerinin eksik verilerin seçimini ve “Değerlendirilemiyor” seçimini etkilediğini bulduk. Spesifik olarak, derecelendiricilerin, frekans ölçeğine kıyasla uzmanlık ölçeğinde derecelendirme yaparken bir derecelendirmeyi atlama veya “Değerlendirilemiyor” seçeneğini seçme olasılığı çok daha yüksektir. Bu nedenle, yeni frekans ölçeğinin 360'ın derecelendiricilerinden daha eksiksiz verilere yol açmasını bekliyoruz.

Teşhisin 360 doğasını nasıl doğruladık?

360'ı doğrulamak için ek adımlar var. Bunlardan ikisi, derecelendirici türleri arasındaki tutarlılık/güvenilirliğe bakıyor. Bu, esasen öz derecelendirmelerin yönetici derecelendirmeleri ve akran derecelendirmeleri vb. eşleşip eşleşmediğinin bir ölçüsüdür. Workplace 360'ları, derecelendirici türleri arasında fazla örtüşme göstermez. Ancak, sektörde beklenenlerle uyumlu derecelendirici türleri arasında örtüşme buluyoruz. Bu bulguyu yorumlamanın en iyi yolu, 360'ımızın öğrencilere diğer derecelendiricilerin onları nasıl farklı değerlendirdiğini görmeleri için birçok fırsat sunmasıdır.

360 değerlendirmeyi doğrulamaya yönelik bir başka adım, bir derecelendirici türü içindeki tutarlılığı/güvenilirliği incelemektir (örneğin, aynı yöneticiyi derecelendiren doğrudan raporlar derecelendirmelerinde yeterince tutarlı mı?). Hem doğrudan rapor hem de yönetici derecelendiricilerinden mevcut FC 360 verilerini inceledik. Burada, en popüler liderlik değerlendirmelerinden bazılarına benzeyen derecelendirici türleri içindeki tutarlılığı bulduk.

Bu güvenilirlik biçimlerinin her ikisinin de ayrıntıları, Değerlendiriciler arası güvenilirlikler bölümündeki teknik raporda yer almaktadır.

Teknik/doğrulama raporu, Tanılamanın hem Lider hem de Bireysel Katılımcı sürümleri için geçerli mi?

Teknik rapor Lider Teşhisine odaklanırken, bazı güvenilirlik ve geçerlilik kriterleri Bireysel Katılımcı sürümü için geçerlidir. Özellikle, Bireysel Etkinlik ve Kazanma Kültürü kategorileri için dahili tutarlılık ve test-yeniden test metrikleri (teknik raporun Tablo 2 ve 4'ünde görüntülenir), IC versiyonunu oluşturan bu bölümlerin güvenilir olduğunu göstermektedir. Ek olarak, bu iki kategori, bu raporda ayrıntılı olarak açıklanan tüm yakınsak ve kriter değişkenleriyle istatistiksel olarak anlamlı ilişkiler göstermiştir. Bu istatistikler teknik raporda olmasa da, talep üzerine temin edilebilir.

Teşhis kültürler arasında doğrulandı mı?

Doğrulama testimiz sadece ABD'de ve İngilizce olarak yapıldı. Neredeyse her zaman doğrulama bir ülke ve dilde başlar ve daha sonra kültürler arası doğrulama gerekliyse, daha sonra ek çalışmalarla yapılır.

Ayrıca, bir değerlendirmenin kültürler arasında geçerli olup olmadığı ile kültürler arasında farklılıklar olup olmadığı arasında önemli bir ayrım olduğunu da not ediyoruz. Örneğin, ABD merkezli verilerimizde bazı demografik farklılıklar buluyoruz - bazıları ırk/etnik kökene, bazıları uzaktan çalışma durumuna dayalı. Yani bunlar gruplar arasındaki farklılıklar. Ancak gruptan bağımsız olarak, Teşhis puanları hala katılım ve iş tatmini gibi sonuçları tahmin ediyor. Değerlendirmenin geçerliliğini anlatan şey budur.

Tüm bunlar, Teşhis hakkında kültürler arası çalışma yapacaksak, bu gelecekte gelecek ve teknik raporun revize edilmiş bir sürümüne eklenebilir.

Doğrulama üzerinde kim çalıştı?

Doğrulama çalışmamız Ürün ekibinden Alex O'Connor tarafından yönetildi. Araştırma psikolojisi alanında doktora derecesine sahiptir, psikometri eğitimi almıştır ve daha önce akademik dergilerde doğrulanmış değerlendirmeler yayınlamıştır.

Doğrulama çalışmamız harici bir uzman olan Joshua Eng, PhD tarafından desteklendi. Indiana Üniversitesi - Tıp Fakültesi"nde öğretim üyesi. Ülke çapındaki cerrahi sakinleri için öğrenme ve esenlik sonuçlarını ölçen değerlendirmeleri doğrulamaktan sorumludur ve psikometrist olarak onlarca yıllık deneyime sahiptir.