이 보고서는 프랭클린코비의 스피드 오브 트러스트 리더 평가 (SOTLA) 에 대한 심리 측정 속성과 검증 보고서를 제공해요.이 평가는 FranklinCovey의 Speed of Trust® (SOT) 과정의 한 구성요소예요. 리더/인사 관리자가 우리 SOT 과정에서 나타난 기술과 행동을 어느 정도 발휘하는지 측정하기 위한 거예요.평가는 보통 과정 참여 전후에 360도 평가로 배포돼요.
풀 스피드 오브 트러스트 리더 평가 기술 보고서 다운로드
평가를 검증하는 과정이 있는데, 심리 측정이라고도 해요.
검증 과정은 업계에 따라 표준화될 수 있어요.하지만 종종 검증 기준이 여러 개 있고 어떤 것은 다른 것보다 더 중요하다고 말하는 것이 더 정확해요, 하지만 일반적으로 평가가 충족하는 검증 기준이 많을수록 더 좋아요.
평가를 판매하는 많은 조직들이 일종의 검증을 해요.주로 평가에 집중하는 조직은 작성한 모든 평가를 검증할 수 있어요.KornFerry나 Gallup처럼 평가를 사업의 한 부분으로 하는 다른 조직들도 가장 인기 있는 평가에 대해 광범위한 검증/기술 보고서를 발행하고, 정기적으로 보고서를 새 데이터로 업데이트하거나 평가 변경 사항을 문서화해요.
당연하게도 많은 고객들이 FranklinCovey 평가에서 우리가 어떤 검증 작업을 했는지 물어보라고 했어요.
게다가 예전의 팀 신뢰 지수 (TTI) (지금은 SOT 팀 평가) 도 이전에 검증됐어요. 그래서 고객들이 다른 FC 평가가 검증되지 않은 이유에 대해 의문을 품게 됐어요.
새 SOT 리더 평가에 대한 검증 테스트를 자세히 설명하는 15페이지 분량의 보고서예요.
보고서는 세 가지 주제를 다뤄요.
- 새 SOT Leader 평가가 기존 TQ와 어떻게 비교돼요? 예를 들어, 사람들이 양쪽 모두에서 어떻게 점수를 받는지하고 양쪽 평가의 점수가 다른 신뢰 측정과 어떤 관련이 있는지 비교해보는 거죠.
- SOT 리더 평가의 신뢰도, 예를 들어 사람들이 일주일 후에 평가를 받았을 때 점수가 얼마나 비슷한가요?
- SOT 리더 평가의 타당성, 예를 들어 점수가 직장 참여도와 직무 만족도를 어느 정도 예측하는지
총 천 명이 넘는 리더가 자신을 평가했고 500명 이상의 직속 직원이 이 연구의 일환으로 리더를 평가했어요.
맞아요.보고서에는 다음 검증 기준이 포함돼요.
- 내부 일관성
- 신뢰도 테스트-재테스트
- 요인 구조 (즉, SOT 리더 평가가 다차원적 측정인가요?)
- 수렴 타당성 (즉, SOT 리더 평가가 다른 검증된 신뢰 척도와 관련이 있나요?)
- 자체 평가자 데이터를 기반으로 해요
- 그리고 다이렉트 리포트 평가자 데이터를 기반으로 했어요.
- 유효성 증대 (즉, SOT 리더 평가가 기존 TQ보다 신뢰 척도가 더 좋은가요?)
- 기준/동시적 타당도 (즉, SOT 리더 평가가 참여도, 직무 만족도 등 예측하려는 결과와 관련이 있나요?)
- 응답자 인구 통계 (예, 연령, 성 정체성), 팀과 조직 변수 (예: 조직 규모, 원격 근무 상태) 에 따른 SOT 리더 평가 점수의 차이예요.
SOT 리더 평가는 정규 분포 응답, 여러 형태의 신뢰도, 여러 형태의 유효성 등 여러 검증 기준에 대해 일반적으로 인정되는 표준을 충족하며, 어떤 경우에는 이러한 기준에서 정말 잘 수행돼요.
SOT 리더 평가에서 리더를 더 높게 평가하는 것과 참여도, 직무 만족도, 조직에 남으려는 의향 같은 훌륭한 성과 간의 관계는 정말 강해요.리더십에 대한 몇몇 상위 학문적 평가에 필적하는 관계예요.
데이터에서 얻은 또 다른 인사이트는 매니저와 함께 보낸 몇 년은 직속 직원이 평가에서 매니저를 어떻게 평가했는지 예측하지 못했다는 거예요.한 가지 합리적인 해석은 리더가 1년 안에 직속 부하직원들로부터 높은 신뢰를 쌓을 수 있다는 거예요.높은 신뢰를 구축하는 데 몇 년이 걸릴 필요는 없어요.
SOT 리더 평가는 TQ 25문항에 비해 20문항이에요.시장 및 조직 신뢰에 관한 섹션도 삭제했어요.새 평가의 질문 형식도 달라요. 각 TQ 문제를 구성하는 2개의 문장이 아니라 하나의 문장으로만 구성돼요.FRG와 기술 보고서에서 이러한 변경 이유와 변경 이유에 대해 더 자세히 설명해 드릴게요.
헤드라인은 새로운 SOT Leader 평가가 더 짧지만 1) 다른 신뢰 측정과 더 강력한 관계를 맺고 있고 2) 직원 참여도나 직무 만족도 같은 중요한 결과를 더 잘 예측할 수 있다는 거예요.또 몇 가지 다른 중요한 심리 측정 기준에서도 새 평가가 TQ를 능가한다는 걸 발견했어요. 예를 들어, 새 평가 점수는 정규 분포가 더 심하고 응답 척도 상단에서 점수 묶이는 게 적어요.
자세한 내용은 기술 보고서에 있어요.
질문을 결정하기 위해 기본적으로 두 가지 유형의 테스트를 사용했어요.
가능한 질문 옵션을 여러 가지로 시작했는데 신뢰 실무 리더인 더그 페이버와 함께 결정했어요.그런 다음 응답자들을 대상으로 여러 번의 소규모 테스트를 실시해서 몇 가지 기준에서 더 나은 질문을 찾았어요.우리가 찾은 것은 응답 범위가 좋은, 가급적이면 정규 점수 분포를 가진 질문이었어요.그리고 개념과 강한 상관관계가 있는 질문의 경우, 그 질문과 상관 관계가 있었으면 해요. 예를 들면 다른 신뢰 척도요.이 과정을 통해 거의 마지막 질문에 도달했어요.
프로세스의 두 번째 단계는 훨씬 더 복잡해요.그게 기술 보고서에 자세히 나와 있는 검증 노력이에요.
우리는 그들의 리더에 대한 자기 평가와 직속 직속 직속 직속 평가의 측정과 검증에 집중했어요.이런 것들이 일반적으로 평가 검증에서 가장 중요한 관점이라고 생각돼요.
하지만 그건 동료 평점이나 매니저 등급을 보지 않았다는 뜻이에요.이것은 새로운 SOT 리더 평가가 시작된 후에 할 수 있고 또 할 수 있는 일이에요.거기서 찾은 관련 데이터로 기술 보고서를 업데이트할 수 있어요.
주의사항, 필요한 경우:
우리가 수집한 것은 독립적인 단면 데이터였어요. 즉, 자신을 평가하는 사람들의 독립적인 표본과 지도자를 평가하는 사람들의 독립적인 표본을 수집했다는 뜻이에요.부하직원하고 리더들이 자기랑 서로에 대해 평점을 매겼던 건 아니었어요.
프랭클린코비 360 진단과의 관계:
하지만 프랭클린코비 리더 진단에서 같은 개인을 평가한 다른 평가자들의 데이터도 있어요.360도 신뢰도에 관한 관련 통계는 FC Leader Diagnostic의 기술 보고서 (도움말 센터 참조) 에 자세히 나와 있어요.
FRG에 이에 대해 자세히 설명하는 섹션이 있어요.간단히 말해서 SOT 리더 평가에 수반되는 척도는 FC 진단과 일치해요. FC 진단은 응답자들이 SOT 리더 평가와 함께 진단을 완료할 때 일관되게 경험을 유지하는 데 필요해요.새 반응 척도가 tQ에 대한 이전 반응 척도보다 정규 분포 반응이 더 많다는 데이터도 있어요. 평가 검증의 중요한 기준이에요.
SOT 팀 평가에 대한 정보는 SOT FRG에 있어요.
팀 평가 검증에 관해서: 팀 평가의 질문은 이전의 팀 신뢰 지수 (TTI) 와 거의 동일해요.이 평가에 대한 업데이트는 대부분 관리와 모듈 4에 대한 첨부와 관련돼요.게다가 구형 TTI는 이전에 외부 리서치 회사에서 2016년에 검증했고 그 보고서의 결론은 여전히 유효해요.SOT 팀 평가의 검증 보고서는 리더 평가만큼 철저하지 않을 수 있지만, 평가의 신뢰성과 관련된 중요한 지표 (예: 내부 일관성) 를 보고해요.
저희 검증 테스트는 미국에서만, 영어로만 진행됐어요.한 국가 및 언어 내에서 검증을 시작하고 문화 간 검증이 필요한 경우 나중에 추가 연구를 통해 검증을 하는 경우가 거의 대부분이에요.
우리는 또한 평가가 문화 간에 유효한지 여부와 단순히 문화에 따른 차이가 있는지 여부 간에는 중요한 차이가 있다는 점에 주목해요.예를 들어, 미국 기반 데이터에서 인구 통계학적 차이를 발견했어요. 인종/민족을 기반으로 한 것도 있고 원격 근무 상태를 기반으로 한 것도 있어요.그러니까 이런 것들이 그룹 간의 차이예요.하지만 그룹에 상관없이 SOT Leader 평가 점수는 여전히 참여도나 직무 만족도 같은 결과를 예측해요.그게 평가의 타당성을 말해줘요.
그렇긴 해도, SOT 리더 평가에 대한 다문화 연구를 한다면 그건 나중에 나올 것이고 기술 보고서 개정판에 추가할 수 있을 거예요.
우리의 검증 작업은 제품 팀의 알렉스 오코너가 주도했어요.그는 연구 심리학 박사 학위를 받았고, 심리 측정학 교육을 받았고, 이전에 학술지에 검증된 평가를 발표한 적이 있어요.
우리의 검증 작업은 외부 전문가인 Joshua Eng, PhD가 지원했어요.그는 인디애나 대학교 의과대학 교수예요.그는 전국의 외과 레지던트의 학습 및 웰빙 결과를 측정하는 평가를 검증하는 일을 담당하고 있으며 심리 측정 전문가로서 수십 년 경력을 쌓았어요.
댓글
댓글 0개
이 문서에는 댓글을 달 수 없습니다.