타당도와 신뢰도 차이 비교 및 관계. 측정의 표준오차.

타당도, 신뢰도 차이 비교 및 관계. 측정의 표준오차.

  안녕하세요. 오늘은 검사 도구의 타당도와 신뢰도에 대한 이론적인 내용을 살펴볼까 합니다. 타당도와 신뢰도를 검증하는 방법에는 다양한 방법과 타당도와 신뢰도와의 관계 및 이와 관련된 용어들에 대해서도 살펴볼 부분이 꽤 있으니 이번 포스팅에서 찬찬히 살펴보도록 하겠습니다. 다음은 오늘 다룰 내용의 목차입니다.

1. 타당도(내용타당도, 준거관련타당도, 구인타당도, 타당도 계수)
2. 신뢰도(검사-재검사 신뢰도, 동형검사 신뢰도, 내적일관성 신뢰도, 채점자간 신뢰도, 신뢰도 계수)
3. 측정의 표준 오차(획득점수와 진점수, 신뢰구간, 신뢰수준)
4. 타당도와 신뢰도의 관계

타당도 신뢰도 측정의 표준오차 표지

 

 

#1. 타당도(Validity)

  타당도는 검사 도구가 측정하고자 하는 능력이나 특성을 실제로 측정하고 있는 정도를 의미합니다. 검사 목적에 적합한 검사 도구를 사용하고 있는 정도라고도 정의할 수 있으며 검사 도구의 적합성이라고도 합니다. 타당도에는 대표적으로 내용타당도, 준거관련타당도(공인타당도, 예언타당도), 구인타당도 등이 있습니다.

 

1. 내용타당도

  내용 타당도는 측정하고자 하는 영역을 검사 문항의 내용이 대표하고(반영하고) 있는 정도를 의미합니다. 일반적으로 해당 영역 전문가에 의해 판단되는 주관적 타당도이며 수량적으로(수치로) 나타내지 않습니다.

 

2. 준거관련타당도

  준거관련타당도는 검사 도구의 측정 결과와 준거가 되는 변인 사이의 관련된 정도를 말합니다. 준거관련타당도는 준거 변인의 측정 결과가 얻어지는 시점에 따라 공인타당도와 예언타당도로 나뉩니다.

  1) 공인타당도

  타당도를 측정하고자 하는 검사 도구를 동일한 시기에 실시된 타당도가 입증된 다른 검사의 결과와 비교하여 그 둘의 일치하는 정도를 통해 타당도를 산출합니다. 이때의 준거 변인은 타당도가 입증된 다른 검사입니다. 따라서 공인타당도는 현재 시점에서 바로 산출이 가능한 타당도입니다. 예를 들어 한 피검자가 새로 개발된 지능 검사에서의 수행과 타당도가 이미 입증된 K-WISC 지능 검사에서의 수행이 일치한다면 새로 개발된 지능 검사 도구의 공인타당도는 높게 측정될 것입니다.

  공인타당도를 측정하는 목적은 다음과 같습니다.

• 새로운 검사 도구의 타당도 입증
• 예언타당도의 필요성 결정
• 이미 공인된 검사와 비교하여 새로운 검사 도구를 간단하게 재구성하기 위함

  2) 예언타당도

  예언타당도는 미래의 특정 시점에서의 수행과 현재 검사 결과의 수행이 일치하는 정도를 의미합니다. 이때의 준거 변인은 피검자의 미래 시점에서의 수행이고, 따라서 현시점에서 산출할 수 없습니다. 예를 들어 수능을 잘 본 사람이 대학에서 높은 성적을 받는다면 수능은 예언타당도가 높은 시험이라고 할 수 있습니다.

 

3. 구인타당도

  구인(construct)은 지능, 창의력, 인성, 동기 등과 같이 눈으로 직접 관찰되지 않는 추상적이고 가설적인 심리적 특성을 의미합니다. 구인타당도는 이러한 구인을 검사 도구가 실제로 측정하고 있는 정도를 의미합니다. 구인타당도는 보이지 않는 심리적 특성을 측정하기 때문에 타당도 유형 중 가장 입증이 어렵고 입증하는데 오랜 시간이 걸립니다.

  예를 들어 K-WISC 4(지능검사)는 언어이해, 지각추론, 작업기억, 처리속도라는 4가지 척도로 구성되어있습니다. 이 검사에서는 지능이 위의 4가지 척도로 구성된다고 간주하고 있는 것이죠. 이때 구인타당도는 이 척도들이 실제로 지능을 구성하는 것이 맞는가를 확인하는 것입니다.

 

4. 타당도 계수

  타당도 계수는 0 에서 1 사이의 수치로 나타내는 타당도의 수치입니다. 절대적인 기준은 없지만 0.6에서 0.8의 범위는 ‘높음’, 0.8에서 1.0의 범위는 ‘매우 높음’이라고 판단합니다.

 

 

#2. 신뢰도(Reliability)

  신뢰도는 검사 도구가 측정하고자 하는 특성이나 능력을 얼마나 오차 없이 정확하게 측정하는 정도입니다. 즉, 신뢰도가 높다면 동일한 검사를 반복해서 실시해도 유사한 결과가 일관되게 나타납니다. 신뢰도는 대표적으로 검사-재검사 신뢰도, 동형검사 신뢰도, 내적일관성 신뢰도, 채점자간 신뢰도가 있습니다.

 

1. 검사-재검사 신뢰도

  검사-재검사 신뢰도는 동일한 검사를 동일한 집단에게(또는 개인에게) 일정 기간의 간격을 두고 두 번 실시하여 얻은 결과를 비교하여 산출된 신뢰도입니다.

  이는 검사 도구에 대한 피검자의 반응이 얼마나 안정적인지를 나타내는 ‘안정성’에 대한 지표가 됩니다. 검사 기간의 간격은 가까울수록 연습 효과로 인해 신뢰도가 높아집니다. 따라서 연습 효과를 줄이기 위해 최소한 2주의 간격을 두고 검사를 두 번 실시하는 것이 좋습니다.

 

2. 동형검사 신뢰도

  동형검사란 검사 내용, 검사 형태, 검사 절차 및 난이도 등 검사의 여러 요소가 동일한 유형의 두 검사를 말합니다. 다만 두 검사는 서로 다른 문항을 갖기 때문에 연습 효과가 발생하지 않는다는 특징이 있습니다.

  동형검사 신뢰도는 두 개의 동형검사를 동일한 집단에게 일정한 간격을 두고 실시하여 얻은 점수 간의 상관계수로 신뢰도를 추정합니다. 동형검사는 검사-재검사 신뢰도와 달리 정확한 결과를 얻기 위해 가능한 가까운 시일 내에 실시해야 합니다.

 

3. 내적일관성 신뢰도

  본 검사와 검사를 구성하고 있는 부분 검사 간의 일관성 정도 또는 본 검사의 문항들 간의 일관성 정도를 측정하여 얻은 신뢰도를 의미합니다.

  1) 반분신뢰도

  반분신뢰도는 한 번 실시한 검사를 두 부분으로 나누어 각 부분의 검사 점수 간의 상관계수를 산출하여 신뢰도를 측정합니다.

 

  2) 문항내적일관성신뢰도

  문항내적일관성신뢰도는 개별 문항들을 하나의 검사로 간주하여 문항들 간의 일관성 정도로 신뢰도를 산출합니다.

 

  3) 내적일관성 신뢰도의 장단점

  내적일관성 신뢰도의 장점은 한 번만 실시해도 신뢰도를 파악할 수 있다는 점이고, 단점은 반분하는 방법에 따라 신뢰도가 바뀐다는 점입니다.

 

4. 채점자 간 신뢰도

  채점자 간 신뢰도는 두 검사자가 동일한 피검자에 대해 부여한 점수들 간의 상관계수로 신뢰도를 측정합니다. 즉, 채점자들의 채점이 얼마나 유사한가를 나타냅니다.

 

5. 신뢰도 계수

  신뢰도 계수는 0에서 1 사이의 수치로 나타내는 신뢰도의 수치입니다. 타당도 계수와 마찬가지로 절대적인 기준은 없지만, 검사 도구를 선정할 때 일반적으로 0.8 이상을 기준으로 합니다. 다만 특수교육의 적격성 결정과 같은 중요한 교육적 의사결정과 관련될 때는 0.9 이상의 신뢰도를 갖춘 검사 도구가 요구됩니다.

 

#. 타당도와 신뢰도의 관계

  타당도는 검사 도구의 적합성을 의미하고 신뢰도는 검사 도구의 일관성을 의미합니다. 둘의 관계는 다음과 같습니다.

 

1. 신뢰도는 타당도의 필요조건이지 충분조건은 아닙니다.

  즉, 타당도가 높으려면 신뢰도가 높아야 하지만, 신뢰도가 높다고 해서 타당도가 꼭 높은 것은 아닙니다. 예를 들어 설명해 보겠습니다.  만약 아래 그림처럼 과녁이 있다고 가정해 보겠습니다. 하얀 부분은 쏜 화살이 맞은 곳이고 화살의 목표는 과녁의 중간을 맞추는 것입니다. 화살을 쏘는 것이 검사를 실시하는 것이라고 비유하면 타당도와 신뢰도의 관계는 아래와 같이 해석할 수 있습니다.

신뢰도와 타당도의 관계

그림 1: 타당도 낮음. 신뢰도 높음

그림 1은 모든 결과가 한곳에 모여있으므로 결과에 일관성이 있다는 점에서 신뢰도는 높다고 할 수 있습니다. 하지만 결과가 원하는 목표와는 거리가 있기 때문에 타당도가 높다고 할 수는 없습니다.

 

그림 2: 타당도 높음, 신뢰도 높음

그림 2를 보면 모든 결과가 일관성 있게 한곳에 모여있고 목표한 지점에 대부분 위치하기 때문에 타당도와 신뢰도 모두 높다고 할 수 있습니다.

 

그림 3: 타당도 낮음, 신뢰도 낮음

그림 3은 모든 결과가 일관성 없이 흩어져 있기 때문에 신뢰도가 낮습니다. 또한 목표한 결과를 얻지도 못했기 때문에 타당도도 낮습니다.

 

그림 4: 타당도 높음, 신뢰도 낮음

그림 4는 모든 결과가 약간씩 흩어져 있지만 상대적으로 목표한 결과를 얻었습니다. 그림 4의 과녁을 통해 알 수 있는 것은 신뢰도가 높다고 해서 타당도가 높은 것은 아니지만, 타당도가 높다면 모든 화살이 과녁의 중앙 근처로 모이기 때문에 신뢰도는 당연히 높아진다는 사실입니다.

 

2. 타당도는 신뢰도보다 높을 수 없다

  검사 도구에는 측정하고자 하는 바를 정확히 반영하는 타당한 문항도 있고, 그렇지 않은 문항도 있습니다. 타당도는 타당한 문항의 비율을 가지고 산출하지만, 신뢰도는 타당하지 않은 문항까지도 포함하여 산출하기 때문입니다.

  위와 같은 두 가지 이유로 검사 도구의 양호성을 판단할 때는 신뢰도 보다 타당도를 우선해서 고려해야 합니다. 검사 도구의 양호성을 판단할 때 보통 [타당도 > 측정의 표준 오차 > 신뢰도]의 순서로 고려합니다.

#. 측정의 표준 오차(SEM: Standard Error of Measurement)

1. 개념

  측정의 표준 오차는 획득 점수로 진점수를 추정할 때 생기는 오차의 정도를 의미합니다. 다시 말해, 검사 실시 전반에 걸쳐서 발생하는 모든 오차를 대표하는 수치로서 보통 검사 도구마다 각각의 표준 오차가 정해져 있습니다. 측정의 표준 오차는 검사 도구가 피검자를 정확히 측정할 수 없다는 것과 더불어 피검자의 수행이 그 사람의 능력을 정확히 반영할 수 없다는 것을 전제합니다.

 

2. 획득 점수와 진점수

  획득 점수는 검사 도구를 통해 피험자가 얻은 점수입니다. 획득 점수에는 검사자의 훈련 정도, 검사 장소의 물리적 환경, 검사 도구 자체의 오차, 검사 장소의 분위기, 당일 피검사자의 컨디션 등 수많은 조건에 의해 발생한 오차가 포함됩니다. 따라서 측정의 표준 오차를 ‘0’로 만드는 것(진점수)은 사실상 불가능합니다.

  진점수는 피험자가 검사 수행에서 오차가 전혀 없이 검사했을 때 얻을 수 있는 점수입니다. 즉, 진점수는 검사 과정의 전반에서 전혀 오차가 없는 가상의 상황에서 피검자가 실제 능력을 정확히 발휘했을 때 얻을 수 있는 가상의 점수입니다. 진점수는 같은 피험자에 대해 동형 검사를 무한히 반복하여 얻은 점수 분포의 평균이라고도 표현됩니다. 이와 같이 진점수는 가상의 점수이므로 실제로는 얻을 수 없습니다. 대신에 진점수가 분포할 것으로 예상되는 점수 구간(신뢰구간)을 설정하여 검사 결과 해석에 활용합니다.

 

3. 측정의 표준 오차와 신뢰도

  측정의 표준 오차는 검사 과정에서 발생하는 모든 오차를 대표하는 값입니다. 측정의 표준 오차는 신뢰도 계수 이외에 신뢰도를 추정할 수 있는 방법입니다. 측정의 표준 오차와 신뢰도는 서로 반비례하는 관계입니다. 측정에 표준 오차가 높다는 것은 검사 도구의 신뢰도가 높지 않음을 의미하겠죠. 반대로 신뢰도가 높을수록 측정의 표준 오차는 더 작아집니다. 측정의 표준 오차는 아래에서 언급할 신뢰구간의 형성을 위해서도 필요합니다.

 

4. 신뢰구간

  신뢰구간은 획득 점수(원점수)를 기준으로 해당 아동의 진점수가 포함되는 점수 범위를 말합니다. 신뢰구간은 다음과 같이 설정할 수 있습니다.

신뢰구간 = 획득 점수 ± Z 점수 * 측정의 표준 오차(SEM)

  위의 계산식에서 획득점수는 검사 결과로 알 수 있으며, 측정의 표준 오차는 보통 검사 도구마다 정해져 있습니다. 따라서 중요한 것은 Z 점수인데, Z 점수가 항상 고정되어 있는 것은 아닙니다. Z 점수는 신뢰 구간을 몇 % 만큼 신뢰할 수 있는가를 나타내는 ‘신뢰수준’에 따라 바뀝니다. 예를 들어 68% 신뢰수준에서 Z 점수는 1.00이고, 99%의 신뢰수준에서 z 점수는 2.58입니다.

  신뢰구간을 설정하는 이유는 피검자가 획득한 점수를 보고 그의 수행이나 기능을 단정 지을 수 없다고 판단하기 때문입니다. 아동의 진짜 수행에 대한 가상의 점수인 진점수를 알 수 없기 때문에 진점수가 들어갈만한 범위(신뢰구간)를 두어 검사 해석 시 융통성을 발휘할 공간을 남겨두어야 합니다.

 

5. 신뢰수준

  신뢰수준은 진점수가 신뢰구간에 있을 확률을 의미합니다. 예를 들어 ‘99% 신뢰수준’의 의미는 아동의 진점수가 99%의 확률로 신뢰구간에 있다는 것을 의미합니다.

  앞서 언급했듯 Z 점수는 신뢰수준에 따라서 그 값이 변합니다. 아래의 표는 신뢰수준에 따른 Z 점수의 값입니다.

신뢰수준(%)	Z점수
68	1.00
85	1.44
90	1.65
95	1.96
99	2.58

  위의 표를 보시면 신뢰수준이 커질수록 Z 점수의 값이 커진다는 것을 알 수 있습니다. 신뢰수준과 Z 점수의 관계를 이해하기 위해 위에서 설명한 신뢰구간을 구하는 식을 다시 가져와서 예를 들어보겠습니다.

- 신뢰구간: 획득 점수 ± Z점수 * 측정의 표준 오차(SEM)
- 획득 점수 : 70
- 측정의 표준 오차 : 3

  위와 같이 검사 결과가 나왔을 때 68% 신뢰수준에서 피검자의 신뢰 구간은 다음과 같습니다.

[70 – 1 x 3 ≤ 진점수 ≤ 70 + 1 x 3] = [67 ≤ 진점수 ≤ 73]

  위의 신뢰 구간을 해석하면 ‘아동의 진점수가 68%의 확률로 67-73사이에 있다’입니다. 만약 신뢰수준이 커지면 Z 점수가 커지고 신뢰구간이 더 넓어지겠죠. 위에서 알 수 있듯이 신뢰수준이 커질수록 z 점수가 커지는 이유는 높은 확률로 아동의 진점수를 추정하려면 신뢰구간이 더 넓어져야 하기 때문입니다.

 

  지금까지 타당도와 신뢰도에 대해 알아보았습니다. 도움이 되셨기를 바라면서 오늘 포스팅은 여기까지 하도록 하겠습니다. 긴 글 읽어주셔서 감사합니다.

다과와 서재

공부 끝.