이 보고서는 FranklinCovey의 리더 진단에 대한 심리 측정 속성과 검증 보고서를 제공해요.진단은 리더십과 관련된 포괄적인 기술을 평가해요.각 기술은 관찰 가능한 행동을 포착하는 항목으로 평가돼요.이 보고서 작성 시점 (2023년 10월) 에는 진단이 프랭클린코비 과정 참여 전후에 360도 평가로 배포돼요.180 등급 버전이 개발 중이에요.
평가를 검증하는 과정이 있는데, 심리 측정이라고도 해요.
검증 과정은 업계에 따라 표준화될 수 있어요.하지만 종종 검증 기준이 여러 개 있고 어떤 것들은 다른 것보다 더 중요하다고 말하는 것이 더 정확해요, 하지만 일반적으로 평가가 충족하는 검증 기준이 많을수록 더 좋아요.
평가를 판매하는 많은 조직들이 일종의 검증을 해요.주로 평가에 집중하는 조직은 작성한 모든 평가를 검증할 수 있어요.KornFerry나 Gallup처럼 평가를 사업의 한 부분으로 하는 다른 조직들도 가장 인기 있는 평가에 대해 광범위한 검증/기술 보고서를 발행하고, 정기적으로 보고서를 새 데이터로 업데이트하거나 평가 변경 사항을 문서화해요.
당연하게도 많은 고객들이 FranklinCovey 평가에서 우리가 어떤 검증 작업을 했는지 물어보라고 했어요.
이것은 심리 측정의 두 영역에 초점을 맞춘 ~15페이지 분량의 보고서예요.
- 진단의 신뢰도, 예를 들어 사람들이 일주일 후에 평가를 받을 때 점수가 얼마나 비슷한지 말이에요.
- 진단의 타당성, 예를 들어 점수가 직장 참여도와 직무 만족도를 얼마나 잘 예측하는지 말이에요.이게 보통 검증 프로세스에서 가장 영향력 있는 부분이에요.평가는 믿을 수 있지만 많은 것을 예측하지 못하면 가치가 별로 없어요.당신이 어떤 디즈니 캐릭터인지 알려주는 버즈피드 퀴즈로 이론적으로는 다른 기준에 맞을 수 있지만 디즈니 캐릭터에 대한 선호도 말고는 절대 예측하지 못할 거예요.
전체적으로 23회계연도 버전의 진단 버전에서 약 20,000개의 응답을 분석한 결과 천 명이 넘는 리더가 스스로를 평가했고 500명 이상의 직속 보고자가 24회계연도 진단 버전에서 리더를 평가했어요.
진단은 정규 분포 반응, 여러 형태의 신뢰도, 여러 형태의 유효성 등 여러 검증 기준에 대해 일반적으로 인정되는 표준을 충족하며, 어떤 경우에는 이러한 기준에서 정말 잘 작동해요.
헤드라인 연구 결과는 진단에서 리더를 더 높게 평가하는 것과 참여도, 직무 만족도, 조직에 남아 있을 의향 같은 많은 훌륭한 성과 간의 관계가 정말 강하다는 거예요.리더십에 대한 몇몇 상위 학문적 평가에 필적하는 관계예요.
맞아요.보고서에는 다음 검증 기준이 포함돼요.
- 내부 일관성
- 평가자 간 신뢰도
- 서로 다른 평가자 유형 (예: 자체 평가자, 관리자 평가자, 직속 평가자) 사이
- 평가자 유형 내에서 (예: 360도에서 같은 관리자를 평가한 직속 부하들이 그 관리자를 평가하는 방식에 있어서 서로 간에 일관성이 있다고 보나요?)
- 신뢰도 테스트-재테스트
- 요인 구조 (즉, 진단이 다차원적 측정인가요?)
- 수렴 타당도 (즉, 진단이 검증된 다른 리더십 척도랑 관련이 있나요?)
- 자체 평가자 데이터를 기반으로 해요
- 그리고 다이렉트 리포트 평가자 데이터를 기반으로 했어요.
- 기준/동시적 타당도 (즉, 진단이 참여도, 직무 만족도, 관리자 효율성에 대한 인식 등 우리가 예측하려는 결과와 관련이 있나요)
- 응답자 인구통계 (예, 나이, 성 정체성), 팀과 조직 변수 (예: 조직 규모, 원격 근무 상태) 에 따른 진단 점수의 차이예요.
24회계연도 진단 버전은 더 짧고, 정규 분포 응답이 없거나 다른 질문과 상관관계가 너무 높은 (중복됨을 시사함) 질문을 업데이트했어요.이러한 점진적인 개선으로 더 신뢰할 수 있고 유효한 진단이 가능해요.
새 질문을 결정할 때 사용한 테스트에는 기본적으로 두 가지 유형이 있어요.
대체하거나 추가할 수 있는 많은 가능한 질문부터 시작해요.그런 다음 응답자들을 대상으로 작은 테스트를 많이 해서 몇 가지 기준에서 더 나은 질문을 찾아요.우리가 찾고 있는 것은 응답 범위가 넓고, 가급적이면 정규 점수 분포를 가진 질문이에요.그리고 우리는 질문과 연관시키고자 하는 개념과 강한 상관관계가 있는 질문을 찾고 있어요. 예를 들어 리더 효율성에 대한 다른 척도요.이 과정을 통해 거의 마지막 질문까지 갈 수 있었어요.
프로세스의 두 번째 단계는 훨씬 더 복잡해요.그게 기술 보고서에 자세히 나와 있는 검증 노력이에요.
24회계연도 진단 버전에서는 대응 척도의 라벨을 전문성 (1-초보자, 4-능숙자, 7-전문가) 에서 빈도 (1-전혀, 7-항상) 로 변경했어요.참고, 척도는 여전히 1~7점 척도예요.
이렇게 변경한 데에는 몇 가지 이유가 있어요.
- 빈도 척도는 행동과 행동 변화를 측정하기 위한 평가에서 표준적이고 기대되는 것과 더 일치해요.
- 몇몇 응답자와 고객들이 전문성 척도를 이해하고 정의하기 어렵다고 댓글을 달았어요 (저희가 제공하는 초보자, 능숙자, 전문가에 대한 정의를 사용해도).주파수 척도는 평가자 간에 더 일관되게 해석될 거예요.응답자와 고객들이 더 쉽게 이해할 수 있을 거예요.
- 응답자들이 보는 응답 척도 레이블을 다르게 하는 테스트와 실험을 몇 번 진행했는데 (전문성과 빈도수) 척도 레이블이 누락된 데이터 선택과 “평가 불가” 선택에 영향을 준다는 걸 발견했어요.구체적으로 말하자면, 평가자들은 전문성 척도로 평가할 때 등급을 건너뛰거나 “평가할 수 없음”을 선택할 가능성이 빈도 척도에 비해 훨씬 더 많아요.따라서 새 주파수 척도를 사용하면 360도 평가자들로부터 더 완전한 데이터를 얻을 수 있을 것으로 기대해요.
360을 검증하는 추가 단계가 있어요.그 중 두 개는 평가자 유형 간의 일관성/신뢰도를 보고 있어요.이것은 기본적으로 자기 평가가 매니저 평점, 동료 평점 등과 일치하는지 여부를 나타내는 척도예요. 직장 360도는 평가자 유형 간에 겹치는 부분이 별로 안 보여요.하지만 평가자 유형 간에 중복되는 부분이 업계 내 예상과 일치한다는 걸 알게 됐어요.이 결과를 해석하는 가장 좋은 방법은 우리의 360은 학습자들이 다른 평가자들이 어떻게 평가하는지 볼 수 있는 기회를 많이 제공한다는 거예요.
360도 평가를 검증하기 위한 또 다른 단계는 평가자 유형 내에서 일관성/신뢰도를 검사하는 거예요 (예: 같은 관리자를 평점에서도 직속 부하들이 충분히 일관되게 평가하나요?).직속 평가자와 매니저 평가자의 기존 FC 360 데이터를 조사했어요.여기서 우리는 가장 인기 있는 리더십 평가들과 비슷한 평가자 유형 내에서의 일관성을 발견했어요.
이 두 가지 형태의 신뢰성에 대한 세부 사항은 기술 보고서 평가자 간 신뢰성 섹션에 있어요.
기술 보고서는 리더 진단에 초점을 맞추고 있지만, 신뢰성 및 유효성 기준 중 일부는 개별 기여자 버전과 관련이 있어요.특히 개인 효율성과 승리 문화 카테고리에 대한 내부 일관성과 테스트-재테스트 지표 (기술 보고서 표 2, 4에 표시됨) 를 보면 IC 버전을 구성하는 이들 섹션이 신뢰할 수 있다는 것을 알 수 있어요.또한, 이 두 범주는 이 보고서에 자세히 설명된 모든 수렴 및 기준 변수와 통계적으로 유의한 관계를 보여줬어요.이러한 통계는 기술 보고서에는 없지만 요청 시 제공될 수 있어요.
저희 검증 테스트는 미국에서만, 영어로만 진행됐어요.한 국가 및 언어 내에서 검증을 시작하고 문화 간 검증이 필요한 경우 나중에 추가 연구를 통해 검증을 하는 경우가 거의 대부분이에요.
우리는 또한 평가가 문화 간에 유효한지 여부와 단순히 문화에 따른 차이가 있는지 여부 간에는 중요한 차이가 있다는 점에 주목해요.예를 들어, 미국 기반 데이터에서 인구 통계학적 차이를 발견했어요. 인종/민족을 기반으로 한 것도 있고 원격 근무 상태를 기반으로 한 것도 있어요.그러니까 이런 것들이 그룹 간의 차이예요.하지만 그룹에 상관없이 진단 점수는 여전히 참여도나 직무 만족도 같은 결과를 예측해요.그게 평가의 타당성을 말해줘요.
그렇긴 해도, 진단에 대한 문화 간 연구를 한다면 그것은 미래에 나올 것이고 기술 보고서 개정판에 추가할 수 있을 거예요.
우리의 검증 작업은 제품 팀의 알렉스 오코너가 주도했어요.그는 연구 심리학 박사 학위를 받았고, 심리 측정학 교육을 받았고, 이전에 학술지에 검증된 평가를 발표한 적이 있어요.
우리의 검증 작업은 외부 전문가인 Joshua Eng, PhD가 지원했어요.그는 인디애나 대학교 의과대학 교수예요.그는 전국의 외과 레지던트의 학습 및 웰빙 결과를 측정하는 평가를 검증하는 일을 담당하고 있으며 심리 측정 전문가로서 수십 년 경력을 쌓았어요.
댓글
댓글 0개
이 문서에는 댓글을 달 수 없습니다.