Evidence of Construct Validity for New TEPS

ABSTRACT

The purpose of this study is to obtain evidence of construct validity for the revised TEPS. Multiple data sets were obtained from the operational TEPS administrations before and after the revision and four pilot tests during the revision process and used for correlation analysis and confirmatory factor analysis. Inter-section correlation coefficients and standardized factor loadings were compared across forms, and the model-data fit indices were examined for each form. Based on the results, it was found that the original TEPS and the revised TEPS measured very similar or virtually the same construct. Even though the revision introduced major changes to the TEPS, the underlying factor structure was the same for all the forms examined in this study.

Evidence_of_Construct_Validity_for_New_TEPS.pdf

0.43MB

TEPS는 ‘한국인의 실질적 영어활용능력’을 측정하기 위해 개발되어 1999년에 처음 시행 된 이래로 20년간 다양한 기관에서 활용되어왔다. 그 사이에 정보통신 기술의 발달로 인해 의사소통 방식과 영어 사용 상황에 큰 변화가 있었고 영어시험에 대한 수험자의 요구도 많이 변화했을 뿐만 아니라 영어교육 및 평가 분야에서도 여러 연구성과와 이론적 변화가 이루어졌 다. 이러한 변화된 상황과 추세를 시험 설계와 제작에 반영하여 TEPS시험의 진정성과 타당 도를 높여야 할 필요성이 꾸준히 제기되어왔고, 오랜 연구와 네 차례의 파일럿 검사 시행 끝에 2018년 5월 개정 TEPS가 처음 시행되었다. 개정 TEPS는 검사 길이, 하위점수의 구성, 문 항 유형 등 여러 측면에서 기존 TEPS와 차이가 있다. 특히 개정 후에 문법과 어휘 영역의 시행 순서가 바뀌었고, 어휘와 문법 영역의 시험 시간을 통합하여 시행하게 되었으며, 청해와 독해 영역에 1지문 2문항 문제들이 도입된 점 등 상당한 변화가 있다는 점을 고려했을 때 개정 TEPS의 타당도를 검증하는 과정이 반드시 필요하다. 타당도란 검사가 측정하고자 하는 내재적 속성을 실제로 측정하고 있는 정도를 가리킨다. 즉, TEPS의 타당도 검증은 TEPS 점수가 ‘한국인의 실질적 영어활용능력’이라는 비가시적 속성을 나타낸다는 것을 뒷받침하는 증거를 수집하는 것이라 할 수 있다(TEPS Center, 2019). 전통적으로, 시험의 타당도를 뒷받침하는 증거는 크게 세 가지로 구분된다(Crocker & Algina, 1986). 먼저 내용에 대한 타당도 증거는 검사에 포함된 문항의 내용과 형식이 측정하고자 하는 내재적 속성을 포괄하는 정도를 가리킨다. 이는 사전에 제작된 시험 평가틀 (test specification)이 측정하고자 하는 내용을 잘 반영하고 있는지, 그리고 실제 개발된 검사 의 내용이 평가틀과 얼마나 일치하는지 점검하여 그 증거를 확보할 수 있으며, 내용 전문가의 경험과 지식을 바탕으로 판단하게 된다. 다음으로 외적 증거와 관련된 타당도 증거는 검사 점수가 측정하고자 하는 내재적 속성과 관련된 외부 변수와의 관계를 통해 확보된다. 이미 타당도가 인정된 다른 검사 점수, 혹은 시험을 치른 사람들이 추후에 보이는 수행 수준 등이 검사 점수의 타당도를 뒷받침할 준거가 된다. 예를 들어 동일한 수험자 집단에 TEPS와 해외 에서 개발된 영어능력검사를 치르게 하여 그 점수 간 상관관계를 확인함으로써 TEPS 점수가 영어능력을 적절하게 평가하고 있음을 확인할 수 있다. 마지막으로 검사가 측정하고자 하는 내재적 속성의 구조가 실제 문항에 대한 반응과 얼마나 일치하는지 분석하여 타당도의 증거로 삼을 수 있다. 즉 수험자들의 응답 자료를 통계적으로 분석하여 그 구성이 사전에 정의한 내재 적 속성의 요인 구조와 같은지 확인함으로써 검사의 구인타당도 증거를 확보하게 된다. TEPS의 총점은 청해, 어휘, 문법, 독해의 하위 영역 점수로 구성되어 있다. 영어평가 분야 의 전문가들은 외국어 능력이 여러 개의 상호 연관된 요소들(multicomponentiality)로 이루 어져 있다는 점에 동의하고 있고, 수험자들은 총점뿐만 아니라 영역별로 보다 세부적인 평가 정보를 제공받기를 원한다. 요인분석은 구인타당도 증거 확보를 위해 사용되는 대표적인 연구 방법으로, 이를 통해 검사의 내적 구조를 파악하는 한편 수험자에게 영역별 점수와 총점을 제공하는 것이 적절한지 뒷받침할 수 있다(Sawaki, Stricker, & Oranje, 2009, p. 7). 본 연구에서는 네 차례에 걸쳐 시행된 파일럿 검사와 개정 전후 TEPS의 요인구조를 비교 분석하고, 개정 TEPS의 구인타당도 증거를 제시하고자 한다. 이를 통해 TEPS가 측정하고 자 하는 ‘한국인의 실질적 영어활용능력’의 내재적 구조를 재확인하고 개정 후 그 요인구조에 변화가 있었는지 점검하고자 한다. 이를 위하여 실제 수험자들이 치른 검사 자료를 활용하여 상관분석 및 확인적 요인분석(confirmatory factor analysis)을 실시하였다.