Preguntas frecuentes y descarga del informe de validación técnica de Speed of Trust Leader Assessment

Este informe proporciona las propiedades psicométricas y el informe de validación para la Evaluación de Líderes de Velocidad de Confianza (SOTLA) de FranklinCovey. Esta evaluación es un componente del curso Speed of Trust® (SOT) de FranklinCovey y está destinada a medir la medida en que los líderes/gerentes de personas exhiben las habilidades y comportamientos representados en nuestro curso SOT. La evaluación generalmente se implementa como una evaluación 360 antes y después de la participación en el curso.

Descargue el informe técnico completo de la evaluación de Speed of Trust Leader

¿Qué es un informe técnico/de validación?

Hay un proceso para validar evaluaciones, a veces llamado psicometría.

El proceso de validación se puede estandarizar, dependiendo de la industria. A menudo, sin embargo, es más exacto decir que hay varios criterios de validación, algunos son más importantes que otros, pero generalmente cuantos más criterios de validación cumpla una evaluación, mejor.

Muchas organizaciones que venden evaluaciones realizan algún tipo de validación. Las organizaciones que se centran principalmente en las evaluaciones pueden validar todas las evaluaciones que producen. Otras organizaciones que tienen evaluaciones como un segmento de su negocio, como KornFerry y Gallup, también publican extensos informes técnicos y de validación para sus evaluaciones más populares, actualizando periódicamente esos informes con nuevos datos o para documentar cambios en la evaluación.

Comprensiblemente, muchos de nuestros clientes han pedido ver qué trabajo de validación hemos realizado en nuestras evaluaciones de FranklinCovey.

Además, nuestro antiguo Índice de confianza del equipo (TTI), ahora la evaluación del equipo SOT, se validó previamente, lo que llevó al cliente a preguntarse por qué otras evaluaciones FC no fueron validadas.

¿Qué hay en el informe técnico/de validación?

Este es un informe de ~15 páginas que detalla las pruebas de validación de la nueva evaluación de líder de SOT.

El informe cubre 3 temas:

1. Cómo se compara la nueva evaluación de SOT Leader con la antigua tQ, por ejemplo, comparando cómo las personas puntúan en ambos y cómo los puntajes en ambos se relacionan con otras medidas de confianza
2. La confiabilidad de la evaluación de SOT Leader, por ejemplo, ¿qué tan similar calientan las personas cuando toman la evaluación una semana después?
3. La validez de la evaluación de SOT Leader, por ejemplo, en qué medida las puntuaciones predicen el compromiso y la satisfacción laboral en el lugar de trabajo

En total, más de mil líderes se calificaron a sí mismos, y más de 500 informes directos calificaron a sus líderes como parte de estos estudios.

¿Puedo obtener más detalles técnicos sobre lo que cubre el informe, sin tener que leer todo el informe?

Sí. El informe cubre los siguientes criterios de validación:

• Consistencia interna
• Fiabilidad de prueba-reprueba
• Estructura factorial (es decir, la evaluación de SOT Leader es una medida multidimensional)
• Validez convergente (es decir, la evaluación de SOT Leader se relaciona con otras medidas validadas de confianza)
  • Basado en datos de autoevaluadores
  • Y basado en datos directos del evaluador de informes
• Validez incremental (es decir, ¿la evaluación de SOT Leader es una mejor medida de confianza que la antigua tQ?)
• Criterio/validez concurrente (es decir, ¿la evaluación de SOT Leader se relaciona con los resultados que pretendemos predecir: como el compromiso y la satisfacción laboral)
• Diferencias en los puntajes de evaluación de SOT Leader basados en la demografía del encuestado (etc., edad, identidad de género) y variables de equipo y organización (por ejemplo, tamaño de la organización, estado del trabajo remoto)

 

¿Es válida la evaluación de SOT Leader? ¿Hay algo interesante en los datos?

La evaluación SOT Leader cumple con los estándares generalmente aceptados en varios criterios de validación (respuestas normalmente distribuidas, múltiples formas de confiabilidad y múltiples formas de validez) y, en algunos casos, funciona muy bien en estos criterios.

La relación entre calificar a su líder más alto en la evaluación de SOT Leader y una serie de excelentes resultados, como compromiso, satisfacción laboral, intención de permanecer en su organización, es realmente fuerte. Relaciones que rivalizan con algunas de las principales evaluaciones académicas sobre liderazgo.

Una idea adicional de los datos es que los años pasados con su gerente no predicen cómo los informes directos calificaron a sus gerentes en la evaluación. Una interpretación razonable de eso es: un líder puede, y muchos en nuestra muestra han fomentado una alta confianza con sus informes directos dentro de un año. Construir una alta confianza no necesita tomar años.

¿Cuáles son las diferencias entre la evaluación tQ y la evaluación SOT Leader?

La evaluación de SOT Leader es de 20 preguntas en lugar de 25 para el TQ. También eliminamos las secciones sobre Mercado y Confianza Organizacional. Las preguntas de la nueva evaluación también tienen un formato diferente, que consiste en una sola declaración en lugar de las 2 declaraciones que enlazan cada pregunta de TQ. Ofrecemos más detalles sobre estos cambios y por qué se hicieron en la FRG y en el informe técnico.

¿Cómo sabemos que la nueva evaluación es mejor que la TQ?

El titular es que la nueva evaluación de SOT Leader es más corta y, sin embargo, tiene relaciones más sólidas con 1) otras medidas de confianza y 2) es un mejor predictor de resultados importantes como el compromiso de los empleados y la satisfacción laboral. También descubrimos que la nueva evaluación supera el tQ en algunos otros criterios psicométricos importantes; por ejemplo, las puntuaciones en la nueva evaluación tienden a distribuirse de manera más normal y hay menos grupos de puntajes en el extremo más alto de la escala de respuesta.

Más detalles se encuentran en el informe técnico.

¿Cómo se desarrolló la nueva SOT Leader Assessment?

Básicamente, hay dos tipos de pruebas en las que confiamos para determinar las preguntas.

Comenzamos con muchas opciones de preguntas posibles, y esas fueron determinadas junto con nuestro líder de prácticas de confianza Doug Faber. Luego realizamos muchas pruebas pequeñas con los encuestados para encontrar las preguntas que son mejores en algunos criterios. Lo que buscamos fueron preguntas con un buen rango de respuestas, preferiblemente una distribución normal de puntajes. Y para preguntas con fuertes correlaciones con conceptos, queremos que las preguntas se correlacionen con, por ejemplo, otras medidas de confianza. Este proceso nos llevó casi hasta allí hasta nuestro último conjunto de preguntas.

El segundo paso en el proceso es aún más involucrado. Y ese es el esfuerzo de validación que se detalla en el informe técnico.

¿Validamos la naturaleza 360 de la evaluación SOT?

Nos enfocamos en la medición y validación de autocalificaciones y calificaciones de informes directos de su líder. Por lo general, se consideran las perspectivas más importantes en la validación de evaluaciones.

Pero eso significa que no analizamos las calificaciones de los compañeros o las calificaciones de los gerentes. Esto es algo que podemos y podemos hacer después del lanzamiento de la nueva evaluación de SOT Leader. Podemos actualizar el informe técnico con cualquier dato relevante que encontremos allí.

Adversalvedad, si es necesario:

Lo que recolectamos fueron datos independientes y transversales, lo que significa que recolectamos muestras independientes de personas que se calificaban a sí mismas y muestras independientes de personas que calificaban a sus líderes. No fue el caso que tuviéramos pares de informes directos y líderes calificándose a sí mismos y entre sí.

Relación con el diagnóstico de FranklinCovey 360:

Sin embargo, tenemos datos de otros evaluadores calificando a la misma persona en el diagnóstico de líder de FranklinCovey. Las estadísticas relevantes que hablan de la confiabilidad 360 se detallan en el informe técnico del diagnóstico de FC Leader (como se encuentra en el Centro de ayuda).

¿Qué pasa con el cambio en la escala de respuesta?

Tenemos una sección en la FRG que entra en detalles sobre esto. En resumen, la escala que acompaña a la evaluación de SOT Leader es consistente con el diagnóstico FC, que es necesario para mantener la experiencia de los encuestados consistente a medida que completan el Diagnóstico junto con la evaluación de SOT Leader. También tenemos datos que indican que la nueva escala de respuesta proporciona respuestas distribuidas más normalmente que la escala de respuesta anterior para el tQ, que es un criterio importante para la validación de la evaluación.

¿En qué se diferencian las evaluaciones del líder y del equipo de SOT? ¿Hay validación para la evaluación del equipo?

Para obtener información sobre la evaluación del equipo SOT, consulte SOT FRG.

Con respecto a la validación de la evaluación del equipo: las preguntas de la evaluación del equipo son casi idénticas al anterior Índice de confianza del equipo (TTi). La mayoría de las actualizaciones de esta evaluación se refieren a su administración y su vinculación al Módulo 4. Además, el antiguo TTi fue validado previamente por una firma de investigación externa en 2016 y las conclusiones de ese informe siguen siendo aplicables. Si bien el informe de validación para la evaluación del equipo SOT puede no ser tan completo como para la evaluación del líder, sí informa métricas importantes sobre la confiabilidad de la evaluación (por ejemplo, consistencia interna).

¿Se validó la evaluación de SOT Leader en todas las culturas?

Nuestras pruebas de validación se realizaron solo en los Estados Unidos y en inglés. Casi siempre es el caso de que la validación comienza dentro de un país e idioma, y luego, si se requiere una validación intercultural, se realiza más tarde a través de estudios adicionales.

También notamos que hay una distinción importante entre si una evaluación es válida en todas las culturas y si simplemente hay diferencias entre culturas. Entonces, por ejemplo, encontramos algunas diferencias demográficos en nuestros datos basados en Estados Unidos, algunas basadas en raza/etnia, otras basadas en el estado del trabajo remoto. Así que estas son diferencias entre grupos. Pero independientemente del grupo, los puntajes de evaluación de SOT Leader aún predicen resultados como compromiso y satisfacción laboral. Eso es lo que habla de la validez de la evaluación.

Dicho todo esto, si vamos a hacer un estudio intercultural de la evaluación de SOT Leader, eso vendría en el futuro y podría agregarse a una versión revisada del informe técnico.

¿Quién trabajó en la validación?

Nuestro trabajo de validación fue dirigido por Alex O'Connor en el equipo de Producto. Tiene un doctorado en psicología de la investigación, se formó en psicometría y anteriormente publicó evaluaciones validadas en revistas académicas.

Nuestro trabajo de validación fue apoyado por un experto externo, Joshua Eng, PhD. Es profesor de la Universidad de Indiana — Escuela de Medicina. Es responsable de validar las evaluaciones que miden los resultados de aprendizaje y bienestar de los residentes quirúrgicos en todo el país y tiene décadas de experiencia como psicometrista.