Domande frequenti e download del rapporto di convalida tecnica diagnostica Leader 360

Questo rapporto fornisce le proprietà psicometriche e il rapporto di convalida per Leader Diagnostic di FranklinCovey. The Diagnostic valuta una serie completa di competenze associate alla leadership. Ogni abilità viene valutata con elementi che catturano i comportamenti osservabili. Al momento di questo rapporto (ottobre 2023), la Diagnostica viene utilizzata come valutazione a 360 gradi prima e dopo la partecipazione ai corsi FranklinCovey. È in fase di sviluppo una versione con 180 valutazioni.

Scarica il rapporto tecnico diagnostico completo Leader (360)

Cos'è un rapporto tecnico/di convalida e perché ne abbiamo bisogno?

Esiste un processo per convalidare le valutazioni, a volte chiamato psicometria.

Il processo di convalida può essere standardizzato, a seconda del settore. Spesso, però, è più preciso dire che ci sono diversi criteri di convalida, alcuni sono più importanti di altri, ma generalmente più criteri di convalida soddisfa una valutazione, meglio è.

Molte organizzazioni che vendono valutazioni effettuano una sorta di convalida. Le organizzazioni che si concentrano principalmente sulle valutazioni possono convalidare ogni valutazione prodotta. Altre organizzazioni che hanno le valutazioni come segmento della loro attività, come KornFerry e Gallup, pubblicano anche ampi rapporti tecnici e di convalida per le loro valutazioni più popolari, aggiornando periodicamente tali rapporti con nuovi dati o per documentare le modifiche alla valutazione.

Comprensibilmente, molti dei nostri clienti hanno chiesto di vedere quale lavoro di convalida abbiamo svolto sulle nostre valutazioni FranklinCovey.

Cosa c'è nel rapporto tecnico per la diagnostica?

Questo è un rapporto di circa 15 pagine in cui ci siamo concentrati su 2 aree della psicometria:

1. L'affidabilità della diagnostica: ad esempio, quanto sono simili i punteggi delle persone quando effettuano la valutazione una settimana dopo.
2. La validità della diagnostica: ad esempio, quanto bene i punteggi prevedono il coinvolgimento e la soddisfazione sul posto di lavoro. Questa è in genere la parte più incisiva del processo di convalida. Una valutazione può essere affidabile ma se non prevede molto non vale molto. Un quiz su Buzzfeed che Le dica quale personaggio Disney è potrebbe teoricamente soddisfare gli altri criteri, ma probabilmente non sarà mai bravo a prevedere nient'altro che le preferenze per i personaggi Disney.

In totale, abbiamo analizzato circa 20.000 risposte dalla versione FY '23 di Diagnostic, e poi abbiamo fatto valutare se stessi e più di 500 report diretti hanno valutato i loro leader sulla versione FY '24 di Diagnostic.

La diagnosi è valida? C'è qualcosa di interessante nei dati?

La diagnostica soddisfa gli standard generalmente accettati su diversi criteri di convalida (risposte normalmente distribuite, più forme di affidabilità e più forme di validità) e in alcuni casi si comporta molto bene in base a questi criteri.

Il risultato principale è che le relazioni tra un punteggio più alto del suo leader nella Diagnostica e una serie di ottimi risultati, come il coinvolgimento, la soddisfazione sul lavoro e l'intenzione di rimanere nella sua organizzazione, sono davvero forti. Relazioni che competono con alcune delle migliori valutazioni accademiche sulla leadership.

Posso avere maggiori dettagli tecnici su ciò che tratta il rapporto, senza dover leggere l'intero rapporto?

Sì. Il rapporto copre i seguenti criteri di convalida:

• Coerenza interna
• Affidabilità tra valutatori
  • Tra diversi tipi di valutatori (ad esempio, valutatori autonomi, manager e diretti)
  • All'interno dei tipi di valutatore (ad esempio, i rapporti diretti che valutano lo stesso manager su 360 mostrano una certa coerenza tra loro in termini di valutazione di quel manager)
• Affidabilità test-retest
• Struttura dei fattori (cioè, la Diagnostica è una misura multidimensionale)
• Validità convergente (cioè, la diagnosi si riferisce ad altre misure di leadership convalidate)
  • Sulla base dei dati dell'autovalutazione
  • E sulla base dei dati diretti dei valutatori
• Criterio/validità concorrente (ad esempio, la diagnostica si riferisce ai risultati che intendiamo prevedere, come il coinvolgimento, la soddisfazione sul lavoro e la percezione dell'efficacia del manager)
• Differenze nei punteggi diagnostici in base ai dati demografici dei rispondenti (ecc., età, identità di genere) e alle variabili del team e dell'organizzazione (ad esempio, dimensioni dell'organizzazione, stato di lavoro a distanza)

Quali sono le differenze tra la diagnostica dell'anno scorso e quella aggiornata di quest'anno? Perché persino cambiarlo?

La versione FY' 24 di Diagnostic è più breve e abbiamo aggiornato le domande che normalmente non avevano risposte distribuite o avevano una correlazione troppo elevata con altre domande (suggerendo che sono ridondanti). Questi miglioramenti incrementali si traducono in una diagnostica più affidabile e valida.

Come sono state sviluppate nuove domande?

Ci sono fondamentalmente due tipi di test su cui abbiamo fatto affidamento per determinare le nuove domande.

Iniziamo con molte possibili domande che potrebbero essere utilizzate come sostituti o aggiunte. Facciamo quindi molti piccoli test con gli intervistati per trovare le domande migliori in base ad alcuni criteri. Quello che stiamo cercando sono domande con una buona gamma di risposte, preferibilmente una distribuzione normale dei punteggi. E stiamo cercando domande che abbiano forti correlazioni con i concetti con cui vogliamo che le domande siano correlate, ad esempio altre misure dell'efficacia dei leader. Questo processo ci ha portato quasi fino alla nostra ultima serie di domande.

La seconda fase del processo è ancora più complicata. E questo è lo sforzo di convalida dettagliato nel rapporto tecnico.

E la modifica della scala di risposta?

Con la versione FY' 24 di Diagnostic, abbiamo cambiato le etichette sulla nostra scala di risposta da expertise (1-Novice, 4-Proficient, 7-Expert) a frequenza (1-Never, 7-Always). Nota, la scala è ancora una scala da 1 a 7 punti.

Ci sono diverse ragioni per questa modifica:

• Una scala di frequenza è più in linea con quanto è standard e previsto nelle valutazioni intese a misurare i comportamenti e i cambiamenti comportamentali.
• Diversi intervistati e clienti hanno commentato che la scala delle competenze è difficile da comprendere e definire (anche con le definizioni di principiante, competente ed esperto che forniamo). Una scala di frequenza sarà interpretata in modo più coerente tra i valutatori. E sarà più facilmente compreso dagli intervistati e dai clienti.
• Abbiamo condotto alcuni test ed esperimenti in cui variamo le etichette della scala di risposta visualizzate dagli intervistati (competenza vs frequenza) e abbiamo scoperto che le etichette della scala influiscono sulla selezione dei dati mancanti e sulla selezione di «Impossibile valutare». In particolare, è molto più probabile che i valutatori saltino una valutazione o selezionino «Impossibile valutare» quando valutano sulla scala delle competenze rispetto alla scala di frequenza. Pertanto, prevediamo che la nuova scala di frequenza porti a dati più completi dai valutatori del 360.

Come abbiamo convalidato la natura a 360 gradi della diagnostica?

Ci sono passaggi aggiuntivi per convalidare un 360. Due di questi stanno esaminando la coerenza/affidabilità tra i tipi di valutatori. Questa è essenzialmente una misura del fatto che le autovalutazioni corrispondano alle valutazioni dei manager e delle valutazioni tra pari, ecc. I Workplace 360 non mostrano molte sovrapposizioni tra i tipi di valutatori. Ma troviamo una sovrapposizione tra i tipi di valutatori che è in linea con le aspettative del settore. Il modo migliore per interpretare questa scoperta è che il nostro 360 offre molte opportunità agli studenti di vedere come gli altri valutatori li valutano in modo diverso.

Un altro passo verso la convalida di una valutazione a 360 gradi è l'esame della coerenza/affidabilità all'interno di un tipo di valutatore (ad esempio, i report diretti che valutano lo stesso manager sono sufficientemente coerenti nelle loro valutazioni?). Abbiamo esaminato i dati FC 360 esistenti provenienti sia dai referenti diretti che dai dirigenti. Qui abbiamo trovato quella coerenza all'interno dei tipi di valutatori che sono simili ad alcune delle valutazioni della leadership più popolari.

I dettagli di entrambe queste forme di affidabilità sono riportati nella relazione tecnica nella sezione Affidabilità tra valutatori.

Il rapporto tecnico/di convalida si applica sia alla versione Leader che a quella Individual Contributor di Diagnostic?

Sebbene il rapporto tecnico si concentri sul Leader Diagnostic, alcuni dei criteri di affidabilità e validità sono rilevanti per la versione Individual Contributor. In particolare, le metriche interne di coerenza e test-retest per le categorie Individual Effectiveness e Winning Culture (visualizzate nelle Tabelle 2 e 4 del rapporto tecnico) suggeriscono che queste sezioni, che costituiscono la versione IC, sono affidabili. Inoltre, queste due categorie hanno mostrato relazioni statisticamente significative con tutte le variabili convergenti e di criterio dettagliate in questo rapporto. Sebbene tali statistiche non siano contenute nella relazione tecnica, sono disponibili su richiesta.

La diagnosi è stata convalidata in tutte le culture?

I nostri test di convalida sono stati eseguiti solo negli Stati Uniti e in inglese. È quasi sempre il caso che la convalida inizi all'interno di un paese e di una lingua, e poi, se è richiesta una convalida interculturale, viene effettuata successivamente attraverso ulteriori studi.

Notiamo anche che c'è un'importante differenza tra se una valutazione è valida tra le culture e se ci sono semplicemente differenze tra le culture. Quindi, ad esempio, troviamo alcune differenze demografiche nei nostri dati con sede negli Stati Uniti, alcune basate sulla razza/etnia, altre sulla condizione di lavoro a distanza. Quindi queste sono differenze tra i gruppi. Ma indipendentemente dal gruppo, i punteggi diagnostici prevedono ancora risultati come il coinvolgimento e la soddisfazione sul lavoro. Questo è ciò che indica la validità della valutazione.

Detto questo, se vogliamo fare uno studio interculturale della diagnostica, ciò avverrà in futuro e potrebbe essere aggiunto a una versione rivista del rapporto tecnico.

Chi ha lavorato alla convalida?

Il nostro lavoro di convalida è stato guidato da Alex O'Connor nel team di prodotto. Ha un dottorato in psicologia della ricerca, ha ricevuto una formazione in psicometria e in precedenza ha pubblicato valutazioni convalidate su riviste accademiche.

Il nostro lavoro di convalida è stato supportato da un esperto esterno, Joshua Eng, PhD. È docente all'Indiana University — School of Medical. È responsabile della convalida delle valutazioni che misurano i risultati di apprendimento e benessere per i ricoverati chirurgici in tutto il Paese e ha decenni di esperienza come psicometrico.