메인메뉴 바로가기 본문으로 바로가기

SEARCH

통합검색

통합검색버튼
통합검색닫기

전체메뉴

연구보고서

한국교육과정평가원에서는 교육과정, 교수·학습, 교과서, 교육평가 등과 관련된 원내 연구진의 논문 및 자료를 pdf파일로 서비스 하고 있습니다. 전신기관 자료는 한국교육과정평가원 개원 이전 해당 업무를 담당하였던 국립교육평가원(1992~1997)의 발간자료입니다.

  • 작성자자료기록물관리부
  • 조회수1518
성과물 ID RRE 2021-1 성과물 분류코드 기본연구보고서 주제 교육평가
분류체계 대분류 교육 분류체계 중분류 초중고교육
성과물 한글명 국가수준 학업성취도 평가의 컴퓨터 기반 평가 체제 구축 방안 (RRE 2021-1)
성과물 영문명
총서명 연구보고 RRE 2021-1
책임자 명 구남욱 연구유형 분류코드 정책 페이지수 178
공동연구자 김미림, 이소라, 곽민호, 김동호(성균관대학교), 한경택(GMAC), 김지혜(연구조원)
연구 참여자수 7 발간년도 2021 ISBN 979-11-91582-60-4 93370
첨부파일 RRE202100100.pdf   다운로드횟수 : 13
목차

I. 서론 15
  1. 연구의 필요성 및 목적 16
  2. 연구 내용 및 방법 19

Ⅱ. 컴퓨터 기반 평가 전환에 따른 척도 연계성 점검 21
  1. 매체효과 점검 22
  2. 매체 간 점수연계 방안 52

Ⅲ. 컴퓨터 기반 평가 전환 결과 활용 방안 탐색 65
  1. 컴퓨터 기반 평가의 결과 활용 방안 탐색의 이론적 접근 66
  2. 컴퓨터 기반 평가결과표 구성(안)  89

 

Ⅳ. 컴퓨터 기반 평가 전환 및 발전 방안: 단계적 적응형 검사(MST) 구조 설계 105
  1. 라우팅 방식 비교 106
  2. 단계별 적정 소검사 수 탐색 120
  3. 학업성취도 평가를 위한 MST 설계(안)  131

 

Ⅴ. 요약 및 제언 133
  1. 요약 134
  2. 제언 141

 

· 참고문헌 160


· ABSTRACT 175

▼ 펼쳐 보기 ▲ 접어 두기
연구필요성
및 목적
▼ 펼쳐 보기 ▲ 접어 두기
한글개요 영문개요
연구내용

 국가수준 학업성취도 평가는 평가 문항의 특성, 평가 방식 및 시기 등에서 새로운 전환점을 맞이하고 있다. 2022년부터 두 가지 형태의 국가수준 학업성취도 평가가 시행될 예정이다. 즉, 기존의 표집방식 평가는 현행대로 학생들의 성취수준 및 그 추이를 파악하여 교육과정 개선 및 교육 정책 수립의 참고자료 등으로 활용되며, 이에 더하여 ‘맞춤형 학업성취도 자율평가 지원시스템(i성취)’을 구축하여 학교의 희망에 따라 자율적으로 역량 중심 평가에 참여할 수 있도록 계획하고 있다(교육부, 2021.6.1.). 또한 이러한 두 종류의 국가수준 학업성취도 평가는 모두 컴퓨터 기반 평가로 시행될 예정이다. 이처럼 국가수준 학업성취도 평가에 컴퓨터 기반 평가 체제를 도입하기 위한 준비 차원에서 2021년에는 지필평가와 컴퓨터 기반 평가가 병행시행 되었다. 그리고 2022년에는 지필평가 대신 컴퓨터 기반 평가가 전면 도입될 예정이며, 2023년에는 문제은행 및 자동검사구성 시스템 구축을 완료하고, 2024년에는 개별 학생의 능력에 적합한 평가가 제공되는 컴퓨터 적응형 평가가 도입될 예정이다.
 이에 본 연구에서는 국가수준 학업성취도 평가가 지필평가에서 컴퓨터 평가 체제로 안정적으로 전환하는데 가장 중요하고 시급한 연구 주제를 선택하였으며, 본 연구의 결과는 성공적인 컴퓨터 기반 국가수준 학업성취도 평가 체제 구축에 토대가 될 것으로 기대된다. 본 연구의 첫 번째 연구 목적은 지필평가가 컴퓨터 기반 평가로 자연스럽게 연계될 수 있도록 지필평가와 컴퓨터 기반 평가의 점수 연계 방안을 제시하는 것이며, 두 번째 연구 목적은 컴퓨터 기반 국가수준 학업성취도 평가에서 수집되는 로그 데이터를 활용하여 학생들의 학습에 도움이 되는 요소를 추출하고 제공하는 방안을 탐색하는 것이고, 마지막 세 번째 연구 목적은 국가수준 학업성취도 평가에 최적화된 컴퓨터 적응형 평가의 설계방안을 마련하는 것이다.

 

o 컴퓨터 기반 평가 전환에 따른 척도 연계성 점검
 첫 번째 연구 목적과 관련하여, 기존의 지필평가와 컴퓨터 기반 평가의 점수 연계방안을 도출하기 위해서 먼저 두 종류의 평가 간에 평가 도구의 차이로 인한 학생 점수 차이가 발생하는지에 대한 매체효과를 2020년 국가수준 학업성취도 지필평가와 2020년에 일부 학교에서 시행된 국가수준 학업성취도 CBT(computer-based test, 이하 CBT) 평가결과 자료를 토대로 다양한 통계방법을 활용하여 분석하였으며, 그 결과 국어 및 영어 교과의 서답형 문항 유형에서 지필평가보다 CBT 평가 점수가 통계적으로 유의하게 더 높은 매체효과를 확인하였으며, 이러한 매체효과 분석 결과 및 선행 연구 분석에 기반하여 지필평가와 컴퓨터 기반 평가의 구체적인 점수 연계 방안에 대해 제시하였다.

 

o 컴퓨터 기반 평가 전환 결과 활용 방안 탐색
 두 번째 연구 목적인 로그 데이터 활용을 통한 학습 요소 추출 및 결과 제공을 위해서 먼저 CBT 기반 성취도 평가에서 추출할 수 있는 이벤트들을 목록화 하였고, 다음으로 학습자 심리 및 인지 이론에 기초하여 유용한 학습 및 검사 행동을 정의한 후, 세 번째로 상태 시퀀스와 추출된 로그 이벤트를 연결하여 학습 및 검사 행동과 관련된 피드백 내용을 구성하였다. 또한 지면으로 제공되는 평가결과표를 대신하여 웹 기반 평가결과 시스템에서 이러한 피드백을 제시할 수 있도록 대쉬보드(dashboard) 형태로 제공하는 설계를 구체적으로 제안하였다.

 

o 컴퓨터 기반 평가 전환 및 발전 방안: 단계적 적응형 검사(MST) 구조 설계
 세 번째 연구 주제인 컴퓨터 기반 적응형 평가에서는 PISA 및 NAEP 등에서 활용되는 단계적 적응형 평가(multistage adaptive testing: 이하 MST)를 활용하여 국가수준 학업성취도 평가에 최적화된 MST 설계 방안을 탐색하기 위해 두 개의 모의실험 연구를 실시하였다. 첫 번째 연구에서는 학업성취도 평가에 알맞은 소검사 배정 방식, 즉 라우팅(routing) 방식을 찾기 위해 5개의 라우팅 방식을 비교하였다. 두 번째 연구에서는 MST 단계별 소검사 수를 결정하기 위해 총 6개의 MST 구조를 비교하였다. 이러한 연구 결과를 통해 MST 형태의 학업성취도 평가에서 활용할 수 있는 라우팅 방식의 후보에 대해 제안하였으며, 향후 MST 형태의 학업성취도 평가의 단계별 적정 소검사 수에 대해 제안하였다.

 본 연구의 결과는 향후 컴퓨터 기반 국가수준 학업성취도 평가 체제 구축의 기초 연구가 될 것이며, 본 연구의 결과에 기반하여 ‘맞춤형 학습시스템 구축을 위한 데이터 연계방안 지원’, ‘학교교육의 질 향상을 위한 표집평가와 맞춤형 학업성취도 자율평가 지원시스템(i성취)의 성공적인 시행 지원’, ‘서·논술형 문항을 이용한 평가의 CBT 확대 적용’, ‘MST 기반 학업성취도 평가의 시행 및 확산을 위한 환경 구축 지원’이라는 네 가지 정책 제언을 제안하고, 각 정책 제언에 대한 구체적인 추진 과제도 논의하였다. 

기대효과 정책기여 내용
연구방법 성과물 주제어 국가수준 학업성취도 평가, 컴퓨터 기반 평가 체제
연구 시작기간 연구 종료기간
공개여부 공개 비공개 사유