Este relatório fornece as propriedades psicométricas e o relatório de validação da Speed of Trust Leader Assessment (SOTLA) da FranklinCovey. Essa avaliação é um componente do curso Speed of Trust® (SOT) da FranklinCovey e tem como objetivo medir até que ponto os líderes/gerentes de pessoas exibem as habilidades e os comportamentos representados em nosso curso SOT. A avaliação geralmente é implantada como uma avaliação de 360 graus antes e depois da participação no curso.
Baixe o relatório técnico completo da Speed of Trust Leader Assessment
Existe um processo para validar avaliações, às vezes chamado de psicometria.
O processo de validação pode ser padronizado, dependendo do setor. Muitas vezes, porém, é mais correto dizer que existem vários critérios de validação, alguns são mais importantes do que outros, mas geralmente quanto mais critérios de validação uma avaliação atender, melhor.
Muitas organizações que vendem avaliações fazem algum tipo de validação. As organizações que se concentram principalmente nas avaliações podem validar todas as avaliações produzidas. Outras organizações que têm avaliações como um segmento de seus negócios, como a KornFerry e a Gallup, também publicam relatórios técnicos e de validação abrangentes para suas avaliações mais populares, atualizando periodicamente esses relatórios com novos dados ou para documentar alterações na avaliação.
Compreensivelmente, muitos de nossos clientes pediram para ver qual trabalho de validação fizemos em nossas avaliações da FranklinCovey.
Além disso, nosso antigo Team Trust Index (TTI) — agora a avaliação da equipe SOT — foi previamente validado, o que levou o cliente a questionar por que outras avaliações de FC não foram validadas.
Este é um relatório de aproximadamente 15 páginas que detalha os testes de validação na nova SOT Leader Assessment.
O relatório abrange 3 temas:
- Como a nova avaliação do SOT Leader se compara à antiga tQ — por exemplo, comparando como as pessoas pontuam em ambas e como as pontuações em ambas se relacionam com outras medidas de confiança
- A confiabilidade da avaliação do SOT Leader — por exemplo, quão semelhante as pessoas pontuam quando fazem a avaliação uma semana depois
- A validade da avaliação SOT Leader — por exemplo, até que ponto as pontuações predizem o engajamento e a satisfação no trabalho
No total, mais de mil líderes avaliaram a si mesmos e mais de 500 subordinados diretos avaliaram seus líderes como parte desses estudos.
Sim. O relatório abrange os seguintes critérios de validação:
- Consistência interna
- Confiabilidade teste-reteste
- Estrutura fatorial (ou seja, a avaliação do SOT Leader é uma medida multidimensional)
- Validade convergente (ou seja, a avaliação do SOT Leader está relacionada a outras medidas validadas de confiança)
- Com base em dados de autoavaliador
- E com base em dados diretos do avaliador
- Validade incremental (ou seja, a avaliação do SOT Leader é uma medida melhor de confiança do que a antiga tQ)
- Critério/validade simultânea (ou seja, a avaliação do SOT Leader está relacionada aos resultados que pretendemos que ela preveja: como engajamento e satisfação no trabalho)
- Diferenças nas pontuações da avaliação do SOT Leader com base nos dados demográficos dos entrevistados (etc., idade, identidade de gênero) e variáveis da equipe e da organização (por exemplo, tamanho da organização, status do trabalho remoto)
A avaliação do SOT Leader atende aos padrões geralmente aceitos em vários critérios de validação — respostas normalmente distribuídas, várias formas de confiabilidade e várias formas de validade — e, em alguns casos, tem um desempenho muito bom nesses critérios.
A relação entre classificar seu líder mais alto na avaliação SOT Leader e uma série de ótimos resultados, como engajamento, satisfação no trabalho e intenção de permanecer em sua organização, é muito forte. Relacionamentos que rivalizam com algumas das principais avaliações acadêmicas sobre liderança.
Uma visão adicional dos dados é que os anos passados com o gerente não previram como os subordinados diretos avaliaram seus gerentes na avaliação. Uma interpretação razoável disso é: um líder pode, e muitos em nossa amostra o fizeram, promover uma alta confiança em seus subordinados diretos em um ano. Construir alta confiança não precisa levar anos.
A avaliação do SOT Leader é de 20 perguntas em vez de 25 para o tQ. Também removemos as seções sobre Confiança organizacional e de mercado. As perguntas da nova avaliação também têm um formato diferente — consistindo em apenas uma única afirmação, em vez das duas afirmações que encerram cada pergunta do tQ. Oferecemos mais detalhes sobre essas mudanças e por que elas foram feitas no FRG e no relatório técnico.
A manchete é que a nova avaliação do SOT Leader é mais curta, mas tem relacionamentos mais fortes com 1) outras medidas de confiança e 2) é um melhor preditor de resultados importantes, como engajamento dos funcionários e satisfação no trabalho. Também descobrimos que a nova avaliação supera o tQ em alguns outros critérios psicométricos importantes — por exemplo, as pontuações na nova avaliação tendem a ser mais normalmente distribuídas e há menos agrupamento de pontuações na extremidade superior da escala de resposta.
Mais detalhes são encontrados no relatório técnico.
Basicamente, confiamos em dois tipos de testes para determinar as perguntas.
Começamos com muitas opções de perguntas possíveis, e elas foram determinadas junto com nosso líder de práticas de confiança, Doug Faber. Em seguida, realizamos muitos pequenos testes com os entrevistados para encontrar as perguntas que são melhores em alguns critérios. O que procuramos foram perguntas com uma boa variedade de respostas, preferencialmente uma distribuição normal das pontuações. E para perguntas com fortes correlações com conceitos, queremos que as perguntas sejam correlacionadas — por exemplo, outras medidas de confiança. Esse processo nos levou quase até nosso conjunto final de perguntas.
A segunda etapa do processo é ainda mais complexa. E esse é o esforço de validação detalhado no relatório técnico.
Nós nos concentramos na medição e validação de autoavaliações e avaliações de subordinados diretos de seu líder. Essas são geralmente consideradas as perspectivas mais importantes na validação da avaliação.
Mas isso significa que não analisamos as avaliações dos pares ou dos gerentes. Isso é algo que podemos e podemos fazer após o lançamento da nova avaliação do SOT Leader. Podemos atualizar o relatório técnico com quaisquer dados relevantes que encontrarmos lá.
Advertência, se necessário:
O que coletamos foram dados independentes e transversais, o que significa que coletamos amostras independentes de pessoas que avaliam a si mesmas e amostras independentes de pessoas avaliando seus líderes. Não foi o caso de termos pares de subordinados diretos e líderes avaliando a si mesmos e uns aos outros.
Relação com o diagnóstico FranklinCovey 360:
No entanto, temos dados de outros avaliadores classificando o mesmo indivíduo no FranklinCovey Leader Diagnostic. As estatísticas relevantes que falam sobre a confiabilidade 360 estão detalhadas no relatório técnico do FC Leader Diagnostic (conforme encontrado na Central de Ajuda).
Temos uma seção no FRG que detalha isso. Resumindo, a escala que acompanha a avaliação do SOT Leader é consistente com o FC Diagnostic, que é necessário para manter a experiência dos entrevistados consistente à medida que eles concluem o diagnóstico junto com a avaliação do SOT Leader. Também temos dados que mostram que a nova escala de resposta fornece respostas com distribuição mais normal do que a antiga escala de resposta para o tQ, que é um critério importante para a validação da avaliação.
Para obter informações sobre a avaliação da equipe SOT, consulte o SOT FRG.
Em relação à validação da avaliação da equipe: as perguntas da avaliação da equipe são quase idênticas às do índice Team Trust anterior (TTi). A maioria das atualizações dessa avaliação diz respeito à administração e ao anexo ao Módulo 4. Além disso, o antigo TTi foi previamente validado por uma empresa de pesquisa externa em 2016 e as conclusões desse relatório ainda são aplicáveis. Embora o relatório de validação para a Avaliação da Equipe SOT possa não ser tão completo quanto para a Avaliação do Líder, ele relata métricas importantes sobre a confiabilidade da avaliação (por exemplo, consistência interna).
Nosso teste de validação foi feito somente nos EUA e em inglês. Quase sempre acontece que a validação começa dentro de um país e idioma e, se a validação transcultural for necessária, ela é feita posteriormente por meio de estudos adicionais.
Também observamos que há uma distinção importante entre se uma avaliação é válida em todas as culturas e se simplesmente existem diferenças entre as culturas. Por exemplo, encontramos algumas diferenças demográficas em nossos dados baseados nos EUA — algumas com base em raça/etnia, outras com base no status de trabalho remoto. Então, essas são diferenças entre os grupos. Mas, independentemente do grupo, as pontuações da avaliação do SOT Leader ainda predizem resultados como engajamento e satisfação no trabalho. É isso que mostra a validade da avaliação.
Dito isso, se quisermos fazer um estudo transcultural da avaliação do SOT Leader, isso acontecerá no futuro e poderá ser adicionado a uma versão revisada do relatório técnico.
Nosso trabalho de validação foi liderado por Alex O'Connor na equipe de produto. Ele tem um PhD em psicologia de pesquisa, foi treinado em psicometria e já publicou avaliações validadas em revistas acadêmicas.
Nosso trabalho de validação foi apoiado por um especialista externo, Joshua Eng, PhD. Ele é professor da Indiana University — School of Medical. Ele é responsável por validar as avaliações que medem os resultados de aprendizado e bem-estar para residentes cirúrgicos em todo o país e tem décadas de experiência como psicometrista.
Comentários
0 comentário
Artigo fechado para comentários.