Questo rapporto fornisce le proprietà psicometriche e il rapporto di convalida per lo Speed of Trust Leader Assessment (SOTLA) di FranklinCovey. Questa valutazione è una componente del corso Speed of Trust® (SOT) di FranklinCovey e ha lo scopo di misurare in che misura i leader/manager delle persone mostrano le competenze e i comportamenti rappresentati nel nostro corso SOT. La valutazione viene in genere utilizzata come valutazione a 360 gradi prima e dopo la partecipazione al corso.
Scarica il rapporto tecnico completo di Speed of Trust Leader Assessment
Esiste un processo per convalidare le valutazioni, a volte chiamato psicometria.
Il processo di convalida può essere standardizzato, a seconda del settore. Spesso, però, è più preciso dire che ci sono diversi criteri di convalida, alcuni sono più importanti di altri, ma in genere più criteri di convalida soddisfa una valutazione, meglio è.
Molte organizzazioni che vendono valutazioni effettuano una sorta di convalida. Le organizzazioni che si concentrano principalmente sulle valutazioni possono convalidare ogni valutazione prodotta. Altre organizzazioni che hanno le valutazioni come segmento della loro attività, come KornFerry e Gallup, pubblicano anche ampi rapporti tecnici e di convalida per le loro valutazioni più popolari, aggiornando periodicamente tali rapporti con nuovi dati o per documentare le modifiche alla valutazione.
Comprensibilmente, molti dei nostri clienti hanno chiesto di vedere quale lavoro di convalida abbiamo svolto sulle nostre valutazioni FranklinCovey.
Inoltre, il nostro vecchio Team Trust Index (TTI), ora la valutazione SOT Team, era stato precedentemente convalidato, il che ha portato il cliente a chiedersi perché le altre valutazioni FC non fossero state convalidate.
Questo è un rapporto di circa 15 pagine che descrive in dettaglio i test di convalida sul nuovo SOT Leader Assessment.
Il rapporto tratta 3 temi:
- Come si confronta la nuova valutazione SOT Leader con la vecchia tQ, ad esempio, confrontando il punteggio delle persone su entrambi E il rapporto tra i punteggi di entrambi e il rapporto tra i punteggi di entrambi e altre misure di fiducia
- L'affidabilità della valutazione SOT Leader: ad esempio, quanto sono simili i punteggi delle persone quando effettuano la valutazione una settimana dopo
- La validità della valutazione SOT Leader: ad esempio, in che misura i punteggi prevedono il coinvolgimento e la soddisfazione sul posto di lavoro
In totale, più di mille leader si sono valutati e più di 500 rapporti diretti hanno valutato i loro leader nell'ambito di questi studi.
Sì. Il rapporto copre i seguenti criteri di convalida:
- Coerenza interna
- Affidabilità test-retest
- Struttura dei fattori (ad esempio, la valutazione SOT Leader è una misura multidimensionale)
- Validità convergente (ad esempio, la valutazione SOT Leader si riferisce ad altre misure di fiducia convalidate)
- Sulla base dei dati dell'autovalutazione
- E sulla base dei dati diretti dei valutatori
- Validità incrementale (ad esempio, la valutazione SOT Leader è una misura di fiducia migliore rispetto al vecchio tQ)
- Criterio/validità concorrente (ad esempio, la valutazione SOT Leader si riferisce ai risultati che intendiamo prevedere, come il coinvolgimento e la soddisfazione sul lavoro)
- Differenze nei punteggi di valutazione di SOT Leader in base ai dati demografici dei rispondenti (ecc., età, identità di genere) e alle variabili del team e dell'organizzazione (ad esempio, dimensioni dell'organizzazione, stato di lavoro a distanza)
La valutazione SOT Leader soddisfa gli standard generalmente accettati su diversi criteri di convalida (risposte normalmente distribuite, più forme di affidabilità e più forme di validità) e in alcuni casi si comporta molto bene in base a questi criteri.
La relazione tra un punteggio più alto del suo leader nella valutazione SOT Leader e una serie di ottimi risultati, come il coinvolgimento, la soddisfazione sul lavoro e l'intenzione di rimanere nella sua organizzazione, è davvero forte. Relazioni che competono con alcune delle migliori valutazioni accademiche sulla leadership.
Un'ulteriore informazione dai dati è che gli anni trascorsi con il loro manager non hanno previsto in che modo Direct Reports valutasse i loro manager in base alla valutazione. Un'interpretazione ragionevole di ciò è: un leader può, e molti nel nostro campione lo hanno fatto, promuovere un'elevata fiducia con i propri referenti diretti entro un anno. Costruire un'alta fiducia non richiede anni.
La valutazione del SOT Leader è di 20 domande anziché 25 per il TQ. Abbiamo anche rimosso le sezioni su Market and Organizational Trust. Le domande della nuova valutazione hanno anche un formato diverso, costituito da una sola dichiarazione anziché dalle 2 affermazioni che chiudono ogni domanda tQ. Offriamo maggiori dettagli su queste modifiche e sul motivo per cui sono state apportate nella Repubblica federale di Germania e nella relazione tecnica.
Il titolo è che la nuova valutazione SOT Leader è più breve ma ha relazioni più solide con 1) altre misure di fiducia e 2) è un migliore predittore di risultati importanti come il coinvolgimento dei dipendenti e la soddisfazione sul lavoro. Abbiamo anche scoperto che la nuova valutazione supera il tQ in base ad alcuni altri importanti criteri psicometrici: ad esempio, i punteggi della nuova valutazione tendono a essere distribuiti più normalmente e c'è meno raggruppamento di punteggi all'estremità più alta della scala di risposta.
Maggiori dettagli si trovano nella relazione tecnica.
Ci sono fondamentalmente due tipi di test su cui abbiamo fatto affidamento per determinare le domande.
Abbiamo iniziato con molte possibili opzioni di domanda, e queste sono state determinate insieme al nostro Trust Practice Leader Doug Faber. Abbiamo poi condotto molti piccoli test con gli intervistati per trovare le domande migliori in base ad alcuni criteri. Abbiamo cercato domande con una buona gamma di risposte, preferibilmente una distribuzione normale dei punteggi. E per le domande con forti correlazioni con i concetti, vogliamo che le domande siano correlate, ad esempio altre misure di fiducia. Questo processo ci ha portato quasi fino alla nostra ultima serie di domande.
La seconda fase del processo è ancora più complicata. E questo è lo sforzo di convalida dettagliato nel rapporto tecnico.
Ci siamo concentrati sulla misurazione e sulla convalida delle autovalutazioni e delle valutazioni dirette del loro leader. Queste sono generalmente considerate le prospettive più importanti nella convalida della valutazione.
Ma ciò significa che non abbiamo esaminato le valutazioni tra pari o quelle dei dirigenti. Questo è qualcosa che possiamo e possiamo fare dopo il lancio della nuova valutazione SOT Leader. Potremmo aggiornare il rapporto tecnico con qualsiasi dato pertinente che vi troviamo.
Avvertenza, se necessario:
Abbiamo raccolto dati indipendenti e trasversali, il che significa che abbiamo raccolto campioni indipendenti di persone che valutano se stesse e campioni indipendenti di persone che valutano i propri leader. Non era il caso che avessimo un paio di referenti diretti e leader che valutavano se stessi e l'un l'altro.
Relazione con il FranklinCovey 360 Diagnostic:
Tuttavia, abbiamo i dati di altri valutatori che hanno valutato la stessa persona nel FranklinCovey Leader Diagnostic. Le statistiche pertinenti che parlano dell'affidabilità a 360 gradi sono dettagliate nel rapporto tecnico di FC Leader Diagnostic (disponibile nel Centro assistenza).
Abbiamo una sezione nella Repubblica federale di Germania che approfondisce la questione. In breve, la scala che accompagna la valutazione SOT Leader è coerente con la Diagnostica FC, necessaria per mantenere coerente l'esperienza degli intervistati mentre completano la Diagnostica insieme alla valutazione SOT Leader. Abbiamo anche dati che dimostrano che la nuova scala di risposta fornisce risposte distribuite più normalmente rispetto alla vecchia scala di risposta per il tQ, che è un criterio importante per la convalida della valutazione.
Per informazioni sulla valutazione del team SOT si trova nel SOT FRG.
Per quanto riguarda la convalida della valutazione del team: le domande della valutazione del team sono quasi identiche al precedente Team Trust Index (TTi). La maggior parte degli aggiornamenti a questa valutazione riguarda la sua amministrazione e il suo allegato al Modulo 4. Inoltre, il vecchio TTI era stato precedentemente convalidato da una società di ricerca esterna nel 2016 e le conclusioni di quel rapporto sono ancora applicabili. Sebbene il rapporto di convalida per il SOT Team Assessment possa non essere così completo come per il Leader Assessment, riporta importanti metriche sull'affidabilità della valutazione (ad esempio, coerenza interna).
I nostri test di convalida sono stati eseguiti solo negli Stati Uniti e in inglese. È quasi sempre il caso che la convalida inizi all'interno di un paese e di una lingua, e poi, se è richiesta una convalida interculturale, viene effettuata successivamente attraverso ulteriori studi.
Notiamo anche che c'è un'importante differenza tra se una valutazione è valida tra le culture e se ci sono semplicemente differenze tra le culture. Quindi, ad esempio, troviamo alcune differenze demografiche nei nostri dati con sede negli Stati Uniti, alcune basate sulla razza/etnia, altre sulla condizione di lavoro a distanza. Quindi queste sono differenze tra i gruppi. Ma indipendentemente dal gruppo, i punteggi di valutazione di SOT Leader prevedono ancora risultati come il coinvolgimento e la soddisfazione sul lavoro. Questo è ciò che indica la validità della valutazione.
Detto questo, se vogliamo fare uno studio interculturale della valutazione SOT Leader, ciò avverrà in futuro e potrebbe essere aggiunto a una versione rivista del rapporto tecnico.
Il nostro lavoro di convalida è stato guidato da Alex O'Connor nel team di prodotto. Ha un dottorato in psicologia della ricerca, ha ricevuto una formazione in psicometria e in precedenza ha pubblicato valutazioni convalidate su riviste accademiche.
Il nostro lavoro di convalida è stato supportato da un esperto esterno, Joshua Eng, PhD. È docente all'Indiana University — School of Medical. È responsabile della convalida delle valutazioni che misurano i risultati di apprendimento e benessere per i ricoverati chirurgici in tutto il Paese e ha decenni di esperienza come psicometrico.
Commenti
0 commenti
Questo articolo è chiuso ai commenti.