Este informe proporciona las propiedades psicométricas y el informe de validación de la Speed of Trust Leader Assessment (SOTLA) de FranklinCovey. Esta evaluación es un componente del curso Speed of Trust® (SOT) de FranklinCovey y su objetivo es medir en qué medida los líderes y gerentes de personal muestran las habilidades y comportamientos representados en nuestro curso SOT. La evaluación se suele implementar como una evaluación de 360 grados antes y después de la participación en el curso.
Descargue el informe técnico completo de Speed of Trust Leader Assessment
Hay un proceso de validación de las evaluaciones, a veces llamado psicometría.
El proceso de validación se puede estandarizar según el sector. Sin embargo, a menudo es más exacto decir que hay varios criterios de validación, algunos son más importantes que otros, pero por lo general cuantos más criterios de validación cumpla una evaluación, mejor.
Muchas organizaciones que venden evaluaciones realizan algún tipo de validación. Las organizaciones que se centran principalmente en las evaluaciones pueden validar todas las evaluaciones que publiquen. Otras organizaciones que tienen las evaluaciones como un segmento de su negocio, como KornFerry y Gallup, también publican extensos informes técnicos y de validación para sus evaluaciones más populares, y los actualizan periódicamente con nuevos datos o para documentar los cambios en la evaluación.
Es comprensible que muchos de nuestros clientes hayan pedido ver qué trabajos de validación hemos realizado en nuestras evaluaciones de FranklinCovey.
Además, nuestro antiguo índice de confianza en equipos (TTI), ahora la evaluación del equipo SOT, se validó anteriormente, lo que llevó al cliente a preguntarse por qué otras evaluaciones del FC no estaban validadas.
Se trata de un informe de unas 15 páginas que detalla las pruebas de validación de la nueva evaluación de líderes del SOT.
El informe abarca 3 temas:
- Cómo se compara la nueva evaluación SOT Leader con la antigua tQ: por ejemplo, comparando la puntuación de las personas en ambas Y la forma en que las puntuaciones en ambas se relacionan con otras medidas de confianza
- La fiabilidad de la evaluación SOT Leader; por ejemplo, qué tan similar puntúa la gente cuando hace la evaluación una semana después
- La validez de la evaluación SOT Leader, por ejemplo, hasta qué punto las puntuaciones predicen el compromiso y la satisfacción laboral
En total, más de mil líderes se calificaron a sí mismos y más de 500 subordinados directos calificaron a sus líderes como parte de estos estudios.
Sí. El informe incluye los siguientes criterios de validación:
- Coherencia interna
- Fiabilidad de prueba-repetición
- Estructura factorial (es decir, la evaluación del líder del SOT es una medida multidimensional)
- Validez convergente (es decir, ¿la evaluación de SOT Leader está relacionada con otras medidas de confianza validadas)
- Basado en datos de autoevaluación
- Y según los datos de los subordinados directos
- Validez incremental (es decir, la evaluación del líder del SOT es una mejor medida de confianza que la antigua tQ)
- Criterio o validez simultánea (es decir, ¿la evaluación del líder del SOT se refiere a los resultados que pretendemos predecir, como el compromiso y la satisfacción laboral)
- Diferencias en las puntuaciones de las evaluaciones de líderes del SOT según la demografía de los encuestados (etc., la edad, la identidad de género) y las variables del equipo y la organización (por ejemplo, el tamaño de la organización, el estado del trabajo remoto)
La evaluación SOT Leader cumple con los estándares generalmente aceptados en cuanto a varios criterios de validación (normalmente respuestas distribuidas, múltiples formas de fiabilidad y múltiples formas de validez) y, en algunos casos, funciona muy bien según estos criterios.
La relación entre dar una calificación más alta a su líder en la evaluación de líderes del SOT y una serie de excelentes resultados, como el compromiso, la satisfacción laboral y la intención de permanecer en su organización, es muy sólida. Relaciones que compiten con algunas de las principales evaluaciones académicas de liderazgo.
Una visión adicional de los datos es que los años que pasó con su gerente no predijeron cómo calificaban los subordinados directos a sus gerentes en la evaluación. Una interpretación razonable es: un líder puede, y muchos de los miembros de nuestra muestra lo han hecho, fomentar una gran confianza con sus subordinados directos en un año. Generar una gran confianza no tiene por qué llevar años.
La evaluación del líder del SOT consiste en 20 preguntas en lugar de 25 para el tQ. También eliminamos las secciones sobre la confianza del mercado y la organización. Las preguntas de la nueva evaluación también tienen un formato diferente: se componen de una sola afirmación en lugar de las dos afirmaciones que cierran cada pregunta de TQ. Ofrecemos más información sobre estos cambios y por qué se hicieron en la RFA y en el informe técnico.
El titular es que la nueva evaluación de líderes del SOT es a la vez más corta y, sin embargo, tiene relaciones más sólidas con 1) otras medidas de confianza y 2) es un mejor indicador de los resultados importantes, como el compromiso de los empleados y la satisfacción laboral. También descubrimos que la nueva evaluación supera al tQ en algunos otros criterios psicométricos importantes; por ejemplo, las puntuaciones de la nueva evaluación tienden a distribuirse de forma más normal y hay menos acumulación de puntuaciones en el extremo más alto de la escala de respuesta.
Encontrará más información en el informe técnico.
Hay básicamente dos tipos de pruebas en las que nos basamos para determinar las preguntas.
Empezamos con muchas opciones de preguntas posibles y las determinamos junto con nuestro líder del consultorio de confianza, Doug Faber. Luego hicimos muchas pequeñas pruebas con los encuestados para encontrar las preguntas que eran mejores según algunos criterios. Lo que buscábamos eran preguntas con un buen rango de respuestas, preferiblemente una distribución normal de las puntuaciones. Y para las preguntas con una fuerte correlación con los conceptos, queremos que las preguntas estén correlacionadas con, por ejemplo, otras medidas de confianza. Este proceso nos llevó casi hasta nuestra última serie de preguntas.
El segundo paso del proceso es aún más complicado. Y ese es el esfuerzo de validación que se detalla en el informe técnico.
Nos centramos en medir y validar las autovaloraciones y las calificaciones de subordinación directa de su líder. Por lo general, estas se consideran las perspectivas más importantes en la validación de las evaluaciones.
Pero eso significa que no analizamos las calificaciones de los pares ni las de los gerentes. Esto es algo que podemos y podemos hacer después de que se publique la nueva evaluación de líderes del SOT. Puede que actualicemos el informe técnico con cualquier dato relevante que encontremos allí.
Advertencia, si es necesario:
Lo que recopilamos fueron datos independientes y transversales, es decir, recopilamos muestras independientes de personas que se valoraban a sí mismas y muestras independientes de personas que calificaban a sus líderes. No era el caso de que tuviéramos pares de subordinados directos y líderes que se calificaran a sí mismos y entre sí.
Relación con el diagnóstico del FranklinCovey 360:
Sin embargo, sí tenemos datos de otros evaluadores que califican a la misma persona en el diagnóstico de líder de FranklinCovey. Las estadísticas pertinentes que hablan de la fiabilidad de 360 grados se detallan en el informe técnico del FC Leader Diagnostic (que se encuentra en el Centro de ayuda).
Tenemos una sección en la RFA que detalla esto. En resumen, la escala que acompaña a la evaluación del líder del SOT es coherente con el diagnóstico del FC, que es necesario para mantener la coherencia de la experiencia de los encuestados a medida que completan el diagnóstico junto con la evaluación del líder del SOT. También tenemos datos que indican que la nueva escala de respuestas proporciona más respuestas distribuidas de forma normal que la antigua escala de respuestas para la tQ, que es un criterio importante para la validación de la evaluación.
Para obtener información sobre la evaluación del equipo SOT, consulte la FRG del SOT.
En cuanto a la validación de la evaluación del equipo: las preguntas de la evaluación del equipo son casi idénticas a las del índice de confianza del equipo (TTi) anterior. La mayoría de las actualizaciones de esta evaluación giran en torno a su administración y a su anexo al módulo 4. Además, el antiguo TTi fue validado previamente por una firma de investigación externa en 2016 y las conclusiones de ese informe siguen siendo aplicables. Si bien el informe de validación de la evaluación del equipo del SOT puede no ser tan exhaustivo como el de la evaluación de líderes, sí informa de parámetros importantes en torno a la fiabilidad de la evaluación (por ejemplo, la coherencia interna).
Nuestras pruebas de validación solo se realizaron en EE. UU. y en inglés. Casi siempre ocurre que la validación comienza en un país e idioma y, luego, si se requiere la validación transcultural, se realiza más adelante mediante estudios adicionales.
También observamos que hay una distinción importante entre si una evaluación es válida en todas las culturas y si simplemente hay diferencias entre culturas. Por ejemplo, encontramos algunas diferencias demográficas en nuestros datos de EE. UU., algunas se basan en la raza o el origen étnico, otras en la situación del trabajo remoto. Así que estas son diferencias entre los grupos. Pero independientemente del grupo, las puntuaciones de las evaluaciones de SOT Leader siguen pronosticando resultados como el compromiso y la satisfacción laboral. Eso es lo que habla de la validez de la evaluación.
Dicho esto, si vamos a hacer un estudio transcultural de la evaluación del líder del SOT, eso se realizará en el futuro y podría añadirse a una versión revisada del informe técnico.
Nuestro trabajo de validación lo dirigió Alex O'Connor, del equipo de producto. Es doctor en psicología de la investigación, se formó en psicometría y anteriormente publicó evaluaciones validadas en revistas académicas.
Nuestro trabajo de validación contó con el apoyo de un experto externo, el Dr. Joshua Eng. Es profesor de la Escuela de Medicina de la Universidad de Indiana. Es responsable de validar las evaluaciones que miden los resultados de aprendizaje y bienestar de los residentes de cirugía de todo el país y tiene décadas de experiencia como psicométrico.
Comentarios
0 comentarios
El artículo está cerrado para comentarios.