Dit rapport bevat het psychometrische eigenschappen- en validatierapport voor FranklinCovey's Speed of Trust Leader Assessment (SOTLA). Deze beoordeling maakt deel uit van de Speed of Trust® (SOT) -cursus van FranklinCovey en is bedoeld om te meten in hoeverre leiders/personeelsmanagers blijk geven van de vaardigheden en gedragingen die in onze SOT-cursus worden weergegeven. De beoordeling wordt doorgaans gebruikt als een 360-assessment voor en na deelname aan de cursus.
Download het volledige technische rapport over Speed of Trust Leader Assessment
Er bestaat een proces voor het valideren van beoordelingen, ook wel psychometrie genoemd.
Het validatieproces kan gestandaardiseerd worden, afhankelijk van de sector. Vaak is het echter juister om te zeggen dat er verschillende validatiecriteria zijn, waarvan sommige belangrijker zijn dan andere, maar over het algemeen geldt dat hoe meer validatiecriteria een beoordeling vervult, hoe beter.
Veel organisaties die beoordelingen verkopen, doen een of andere vorm van validatie. Organisaties die zich voornamelijk op beoordelingen richten, kunnen elke beoordeling die ze maken valideren. Andere organisaties die beoordelingen als onderdeel van hun bedrijf hebben, zoals KornFerry en Gallup, publiceren ook uitgebreide validatie-/technische rapporten voor hun meest populaire beoordelingen, waarbij ze die rapporten regelmatig bijwerken met nieuwe gegevens of om wijzigingen in de beoordeling te documenteren.
Het is begrijpelijk dat veel van onze klanten hebben gevraagd welk validatiewerk we hebben gedaan met betrekking tot onze FranklinCovey-beoordelingen.
Verder was onze oude Team Trust Index (TTI) — nu de beoordeling van het SOT Team — eerder gevalideerd, waardoor de klant zich afvroeg waarom andere FC-beoordelingen niet gevalideerd waren.
Dit is een rapport van ongeveer 15 pagina's met informatie over de validatietests voor de nieuwe SOT Leader Assessment.
Het verslag behandelt drie thema's:
- Hoe de nieuwe SOT Leader-beoordeling zich verhoudt tot de oude tQ — bijvoorbeeld door te vergelijken hoe mensen scoren op beide EN hoe scores op beide zich verhouden tot andere maatstaven van vertrouwen
- De betrouwbaarheid van de SOT Leader-beoordeling — bijvoorbeeld, hoe vergelijkbaar scoren mensen als ze de beoordeling een week later afleggen
- De validiteit van de SOT Leader-beoordeling — bijvoorbeeld in welke mate scores de betrokkenheid op de werkplek en het werkplezier voorspellen
In totaal hebben meer dan duizend leiders zichzelf beoordeeld en meer dan 500 directe ondergeschikten hun leiders beoordeeld als onderdeel van deze onderzoeken.
Ja. Het rapport behandelt de volgende validatiecriteria:
- Interne consistentie
- Betrouwbaarheid opnieuw testen
- Factorstructuur (d.w.z. is de beoordeling van de SOT Leader een multidimensionale maatstaf)
- Convergente validiteit (d.w.z. heeft de beoordeling van de SOT Leader betrekking op andere gevalideerde vertrouwensmaatstaven)
- Gebaseerd op gegevens van zelfbeoordelaars
- En gebaseerd op gegevens van directe beoordelaars
- Incrementele validiteit (d.w.z. is de beoordeling van de SOT Leader een betere maatstaf voor vertrouwen dan de oude tQ)
- Criterium/gelijktijdige validiteit (d.w.z. heeft de SOT Leader-beoordeling betrekking op resultaten die we willen voorspellen: zoals betrokkenheid en werkplezier)
- Verschillen in de beoordelingsscores van SOT Leader op basis van demografische gegevens van de respondenten (enz., leeftijd, genderidentiteit) en team- en organisatievariabelen (bijv. grootte van de organisatie, status van werken op afstand)
De SOT Leader-beoordeling voldoet aan de algemeen aanvaarde normen voor verschillende validatiecriteria — normaal verdeelde reacties, meerdere vormen van betrouwbaarheid en meerdere vormen van validiteit — en presteert in sommige gevallen heel goed op deze criteria.
Het verband tussen een hogere beoordeling van uw leider op de SOT Leaderbeoordeling en een groot aantal geweldige resultaten, zoals betrokkenheid, werkplezier en de intentie om bij uw organisatie te blijven, is heel sterk. Relaties die wedijveren met enkele van de beste academische beoordelingen op het gebied van leiderschap.
Een bijkomend inzicht uit de gegevens is dat de jaren die ze met hun manager hebben doorgebracht niet hebben voorspeld hoe directe ondergeschikten hun managers beoordeelden op basis van de beoordeling. Een redelijke interpretatie daarvan is: een leider kan, en velen in onze steekproef hebben dat gedaan, binnen een jaar een groot vertrouwen wekken in hun directe ondergeschikten. Het opbouwen van een hoog vertrouwen hoeft geen jaren te duren.
De beoordeling van de SOT Leader bestaat uit 20 vragen in plaats van 25 voor de Tq. We hebben ook de secties over Market and Organizational Trust verwijderd. De vragen van de nieuwe beoordeling hebben ook een andere indeling: ze bestaan uit slechts één enkele verklaring in plaats van de twee stellingen die de basis vormen voor elke tQ-vraag. We geven meer informatie over deze wijzigingen en waarom ze zijn aangebracht in de Bondsrepubliek Duitsland en in het technisch rapport.
De krantenkop is dat de nieuwe SOT Leader-beoordeling zowel korter is, maar toch sterkere relaties heeft met 1) andere maatstaven van vertrouwen en 2) dat het een betere voorspeller is van belangrijke resultaten zoals de betrokkenheid van werknemers en werktevredenheid. We hebben ook vastgesteld dat de nieuwe beoordeling beter is dan de tQ op een aantal andere belangrijke psychometrische criteria: de scores op een nieuwe beoordeling zijn bijvoorbeeld doorgaans normaler verdeeld, en er is minder sprake van een opeenstapeling van scores aan de bovenkant van de responsschaal.
Meer informatie is te vinden in het technisch rapport.
Er zijn in principe twee soorten tests waarop we hebben vertrouwd om de vragen vast te stellen.
We zijn begonnen met veel mogelijke vraagopties, en die werden samen met onze Trust Practice Leader, Doug Faber, bepaald. Vervolgens hebben we veel kleine tests uitgevoerd met respondenten om de vragen te vinden die beter zijn op basis van een aantal criteria. Wat we zochten waren vragen met een groot aantal antwoorden, bij voorkeur een normale verdeling van de scores. En voor vragen die sterk verband houden met concepten waarvan we willen dat de vragen worden gecorreleerd met — bijvoorbeeld andere maatstaven van vertrouwen. Dit proces bracht ons bijna helemaal tot onze laatste reeks vragen.
De tweede stap in het proces is zelfs nog ingewikkelder. En dat is de validatie-inspanning die gedetailleerd wordt beschreven in het technisch rapport.
We hebben ons gericht op het meten en valideren van zelfbeoordelingen en directe rapportages van hun leider. Dit worden over het algemeen beschouwd als de belangrijkste perspectieven op het gebied van validatie van evaluaties.
Maar dat betekent dat we niet hebben gekeken naar beoordelingen van leeftijdsgenoten of managers. Dit is iets wat we kunnen en mogen doen na de lancering van de nieuwe SOT Leader-evaluatie. We kunnen het technische rapport bijwerken met alle relevante gegevens die we daar vinden.
Waarschuwing, indien nodig:
Wat we verzamelden waren onafhankelijke, transversale gegevens — wat betekent dat we onafhankelijke steekproeven hebben verzameld van mensen die zichzelf beoordeelden, en onafhankelijke steekproeven van mensen die hun leiders beoordeelden. Het was niet zo dat er twee directe ondergeschikten en leiders waren die zichzelf en elkaar beoordeelden.
Relatie met de FranklinCovey 360 Diagnostic:
We hebben echter wel gegevens van andere beoordelaars die dezelfde persoon beoordelen in de FranklinCovey Leader Diagnostic. De relevante statistieken over de betrouwbaarheid van 360 graden worden gedetailleerd beschreven in het technisch rapport voor de FC Leader Diagnostic (zoals te vinden in het Helpcentrum).
We hebben een afdeling in de Bondsrepubliek Duitsland die hier uitgebreid op ingaat. Kortom, de schaal die bij de beoordeling van de SOT Leader hoort, komt overeen met die van de FC Diagnostic, wat nodig is om de ervaring van de respondenten consistent te houden bij het voltooien van de diagnose en de beoordeling van de SOT Leader. We hebben ook gegevens waaruit blijkt dat de nieuwe responsschaal normaler verdeelde antwoorden biedt dan de oude responsschaal voor de tQ, wat een belangrijk criterium is voor de validatie van de beoordeling.
Informatie over de beoordeling van het SOT-team is te vinden in de SOT FRG.
Wat de validatie van de teambeoordeling betreft: de vragen van de teambeoordeling zijn vrijwel identiek aan de vorige Team Trust-index (TTi). De meeste updates van deze beoordeling hebben betrekking op de administratie en de bijlage bij module 4. Verder werd de oude TTi eerder gevalideerd door een extern onderzoeksbureau in 2016 en de conclusies uit dat rapport zijn nog steeds van toepassing. Het validatierapport voor de beoordeling van het SOT-team is misschien niet zo grondig als voor de beoordeling van leiders, maar het bevat wel belangrijke statistieken over de betrouwbaarheid van de beoordeling (bijvoorbeeld interne consistentie).
Onze validatietests zijn alleen in de VS en in het Engels uitgevoerd. Het is bijna altijd zo dat validatie begint in één land en taal, en als er vervolgens interculturele validatie vereist is, gebeurt dit later door middel van aanvullende onderzoeken.
We merken ook op dat er een belangrijk onderscheid is tussen de vraag of een beoordeling geldig is tussen culturen en of er gewoon verschillen zijn tussen culturen. We vinden bijvoorbeeld enkele demografische verschillen in onze gegevens in de VS — sommige op basis van ras/etniciteit, andere op basis van de status van werken op afstand. Dit zijn dus verschillen tussen groepen. Maar ongeacht de groep voorspellen de beoordelingsscores van de SOT Leader nog steeds resultaten zoals betrokkenheid en werkplezier. Dat is wat zegt over de validiteit van de beoordeling.
Dat gezegd hebbende, als we intercultureel onderzoek zouden doen naar de beoordeling van de SOT Leader, dan zou dat in de toekomst komen en zou kunnen worden toegevoegd aan een herziene versie van het technisch rapport.
Ons validatiewerk werd geleid door Alex O'Connor van het productteam. Hij heeft een doctoraat in onderzoekspsychologie, is opgeleid in psychometrie en heeft eerder gevalideerde beoordelingen gepubliceerd in wetenschappelijke tijdschriften.
Ons validatiewerk werd ondersteund door een externe expert, Joshua Eng, PhD. Hij is een faculteit aan de Indiana University — School of Medical. Hij is verantwoordelijk voor de validatie van de beoordelingen die de leer- en welzijnsresultaten van chirurgen in het hele land meten en heeft tientallen jaren ervaring als psychometricus.
Opmerkingen
0 opmerkingen
Artikel is gesloten voor opmerkingen.