Speed of Trust Ledarbedömning Teknisk valideringsrapport Vanliga frågor och nedladdning

Denna rapport tillhandahåller de psykometriska egenskaperna och valideringsrapporten för FranklinCoveys Speed of Trust Leader Assessment (SOTLA). Denna bedömning är en del av FranklinCoveys Speed of Trust® (SOT) -kurs - och är avsedd att mäta i vilken utsträckning ledare/personalchefer uppvisar de färdigheter och beteenden som representeras i vår SOT-kurs. Bedömningen används vanligtvis som en 360-bedömning före och efter deltagande i kursen.

Ladda ner den fullständiga tekniska rapporten Speed of Trust Leader Assessment

Vad är en teknisk/valideringsrapport?

Det finns en process för validering av bedömningar, ibland kallad psykometri.

Valideringsprocessen kan standardiseras beroende på bransch. Ofta är det dock mer exakt att säga att det finns flera valideringskriterier, vissa är viktigare än andra, men i allmänhet ju fler valideringskriterier en bedömning uppfyller, desto bättre.

Många organisationer som säljer bedömningar gör någon form av validering. Organisationer som främst fokuserar på bedömningar kan validera varje bedömning de producerar. Andra organisationer som har bedömningar som ett segment av sin verksamhet, som KornFerry och Gallup, publicerar också omfattande validerings-/tekniska rapporter för sina mest populära bedömningar, uppdaterar regelbundet dessa rapporter med nya data eller för att dokumentera ändringar i bedömningen.

Förståeligt nog har många av våra kunder bett om att få se vilket valideringsarbete vi har gjort på våra FranklinCovey-bedömningar.

Vidare validerades vårt gamla Team Trust Index (TTI) - nu SOT Team-bedömningen - tidigare, vilket fick kunden att ifrågasätta varför andra FC-bedömningar inte validerades.

Vad finns i den tekniska/valideringsrapporten?

Detta är en ~ 15 sidors rapport som beskriver valideringstestet på den nya SOT Leader Assessment.

Rapporten omfattar tre teman:

1. Hur den nya SOT Leader-bedömningen jämförs med den gamla tQ - till exempel, jämföra hur människor gör poäng på båda OCH hur poäng på båda relaterar till andra mått på förtroende
2. SOT Leader-bedömningens tillförlitlighet - till exempel hur lika gör människor när de gör bedömningen en vecka senare
3. SOT Leader-bedömningens giltighet - till exempel i vilken utsträckning poäng förutsäger engagemang på arbetsplatsen och arbetstillfredsställelse

Totalt betygsatte över tusen ledare sig själva, och mer än 500 direkta rapporter betygsatte sina ledare som en del av dessa studier.

Kan jag få mer teknisk information om vad rapporten täcker, utan att behöva läsa hela rapporten?

Ja. Rapporten omfattar följande valideringskriterier:

• Intern konsistens
• Test-omprövning tillförlitlighet
• Faktorstruktur (dvs. är SOT Leader-bedömningen ett flerdimensionellt mått)
• Konvergent giltighet (dvs. avser SOT Leader-bedömningen andra validerade mått på förtroende)
  • Baserat på självbedömningsdata
  • Och baserat på direkta rapportbedömningsdata
• Inkrementell giltighet (dvs. är SOT Leader-bedömningen ett bättre mått på förtroende än den gamla TQ)
• Kriterier/samtidig giltighet (dvs. relaterar SOT Leader-bedömningen till resultat som vi tänker förutsäga: som engagemang och arbetstillfredsställelse)
• Skillnader i SOT Leader-bedömningspoäng baserat på respondentens demografi (etc., ålder, könsidentitet) och team- och organisationsvariabler (t.ex. organisationsstorlek, status för fjärrarbete)

 

Är SOT Leader-bedömningen giltig? Finns det något intressant i uppgifterna?

SOT Leader-bedömningen uppfyller de allmänt accepterade standarderna för flera valideringskriterier - normalt distribuerade svar, flera former av tillförlitlighet, och flera former av giltighet - och fungerar i vissa fall riktigt bra på dessa kriterier.

Förhållandena mellan att betygsätta din ledare högre på SOT Leader-bedömningen och en mängd fantastiska resultat, som engagemang, arbetstillfredsställelse, avsikt att stanna i din organisation, är verkligen stark. Relationer som konkurrerar med några av de bästa akademiska bedömningarna av ledarskap.

En ytterligare insikt från uppgifterna är att år som tillbringades med sin chef inte förutspådde hur direkta rapporter betygsatte sina chefer på bedömningen. En rimlig tolkning av det är: en ledare kan, och många i vårt urval har, främjat högt förtroende med sina direkta rapporter inom ett år. Att bygga högt förtroende behöver inte ta år.

Vilka är skillnaderna mellan TQ och SOT Leader-bedömningen?

SOT Leader-bedömningen är 20 frågor snarare än 25 för TQ. Vi tog också bort avsnitten om marknads- och organisationsförtroende. Den nya bedömningens frågor är också av ett annat format - bestående av endast ett enda uttalande snarare än de 2 påståenden som bokför varje TQ-fråga. Vi ger mer information om dessa ändringar och varför de gjordes i FRG och i den tekniska rapporten.

Hur vet vi att den nya bedömningen är bättre än tQ?

Rubriken är att den nya SOT Leader-bedömningen är både kortare och ändå har starkare relationer med 1) andra mått på förtroende och 2) det är en bättre förutsägare för viktiga resultat som medarbetarnas engagemang och arbetstillfredsställelse. Vi fann också att den nya bedömningen slår tQ på några andra viktiga psykometriska kriterier - till exempel tenderar poäng på ny bedömning att vara mer normalt fördelade, och det finns mindre sammanslagning av poäng i den högsta änden av svarsskalan.

Mer detaljer finns i den tekniska rapporten.

Hur utvecklades den nya SOT Leader Assessment?

Det finns i princip två typer av tester som vi litade på för att bestämma frågorna.

Vi började med många möjliga frågealternativ, och de bestämdes tillsammans med vår Trust Practice Leader Doug Faber. Vi genomförde sedan många små tester med respondenter för att hitta de frågor som är bättre på några kriterier. Det vi letade efter var frågor med ett bra svarsområde, helst en normal fördelning av poäng. Och för frågor med starka korrelationer med begrepp vill vi att frågorna ska korreleras med - till exempel andra mått på förtroende. Denna process tog oss nästan hela vägen dit till vår sista uppsättning frågor.

Det andra steget i processen är ännu mer involverat. Och det är valideringsinsatsen som beskrivs i den tekniska rapporten.

Validerade vi SOT-bedömningens 360-karaktär?

Vi fokuserade på mätning och validering av självbetyg och direkta rapportbetyg av deras ledare. Dessa anses generellt vara de viktigaste perspektiven vid bedömningsvalidering.

Men det betyder att vi inte tittade på kamratbetyg eller chefsbetyg. Detta är något vi kan och kan göra efter att den nya SOT Leader-bedömningen lanseras. Vi kan uppdatera den tekniska rapporten med alla relevanta uppgifter som vi hittar där.

Varning, om det behövs:

Det vi samlade in var oberoende, tvärsnittsdata - vilket innebär att vi samlade in oberoende prover av personer som betygsätter sig själva, och oberoende prover av människor som betygsätter sina ledare. Det var inte så att vi hade par direkta rapporter och ledare som betygsatte sig själva och varandra.

Förhållande till FranklinCovey 360 Diagnostic:

Vi har dock data från andra bedömare som betygsätter samma individ i FranklinCovey Leader Diagnostic. Den relevanta statistiken som talar om 360-tillförlitlighet beskrivs i den tekniska rapporten för FC Leader Diagnostic (som finns i hjälpcentret).

Vad sägs om ändringen av svarsskalan?

Vi har ett avsnitt i FRG som går in i detalj om detta. Kort sagt, skalan som åtföljer SOT Leader-bedömningen överensstämmer med FC Diagnostic, vilket är nödvändigt för att hålla respondenternas erfarenhet konsekvent när de slutför diagnosen tillsammans med SOT Leader-bedömningen. Vi har också data som visar att den nya svarsskalan ger mer normalt distribuerade svar än den gamla svarskalan för tQ, vilket är ett viktigt kriterium för bedömningens validering.

Hur skiljer sig SOT-ledaren och teambedömningarna? Finns det validering för teambedömningen?

För information om SOT Team-bedömningen finns i SOT FRG.

När det gäller validering av teambedömningen: Teambedömningens frågor är nästan identiska med det tidigare Team Trust-indexet (TTi). De flesta uppdateringarna av denna bedömning handlar om dess administration och dess bilaga till modul 4. Vidare validerades den gamla TTi tidigare av ett externt forskningsföretag 2016 och slutsatserna från den rapporten är fortfarande tillämpliga. Även om valideringsrapporten för SOT Team Assessment kanske inte är lika grundlig som för Leader Assessment, rapporterar den viktiga mätvärden kring bedömningens tillförlitlighet (t.ex. intern konsistens).

Validerades SOT Leader-bedömningen över kulturer?

Våra valideringstester gjordes endast i USA, och på engelska. Det är nästan alltid så att validering börjar inom ett land och språk, och om tvärkulturell validering krävs görs det senare genom ytterligare studier.

Vi noterar också att det finns en viktig skillnad mellan huruvida en bedömning är giltig över kulturer, och om det helt enkelt finns skillnader mellan kulturer. Så till exempel hittar vi vissa demografiska skillnader i våra USA-baserade data - vissa baserade på ras/etnicitet, vissa baserade på status för fjärrarbete. Så det här är skillnader mellan grupper. Men oavsett grupp förutsäger SOT Leader-bedömningspoäng fortfarande resultat som engagemang och arbetstillfredsställelse. Det är det som talar om bedömningens giltighet.

Allt som sagt, om vi ska göra tvärkulturell studie av SOT Leader-bedömningen, skulle det komma i framtiden och kan läggas till i en reviderad version av den tekniska rapporten.

Vem arbetade med valideringen?

Vårt valideringsarbete leddes av Alex O'Connor i produktteamet. Han har en doktorsexamen i forskningspsykologi, är utbildad i psykometri och har tidigare publicerat validerade bedömningar i akademiska tidskrifter.

Vårt valideringsarbete stöddes av en extern expert, Joshua Eng, PhD. Han är fakultet vid Indiana University - School of Medical. Han ansvarar för att validera bedömningarna som mäter inlärnings- och välbefinnanderesultat för kirurgiska invånare över hela landet och har decennier av erfarenhet som psykometriker.