진단평가 · Diagnostic Assessment
학습 시작 전에 선수지식, 오개념, 수준과 준비도를 파악해 동일한 콘텐츠를 모든 학습자에게 제공하는 문제를 줄입니다.
- 목적: 분류가 아니라 출발점 확인
- AI 활용: 질문 적응, 오류유형 추정
- 주의: 초기 진단을 고정된 능력판정으로 사용하지 않기
ASSESSMENT CYCLE · 평가순환
진단 → 수행 → 피드백 → 수정 → 재평가
형성평가 · Formative Assessment
학습 중간에 이해상태를 확인하고 즉시 교수전략과 학습행동을 조정하기 위한 평가입니다.
- 도구: 퀴즈, 자기설명, 짧은 수행, 토론
- 핵심: 결과가 다음 학습행동으로 연결
- AI 활용: 즉시 오류분류와 맞춤 질문
피드백 · Feedback
틀렸다는 사실만 알려주는 것이 아니라 현재 수준, 목표와의 차이, 오류원인, 다음 행동을 이해하도록 돕습니다.
- 좋은 피드백: 구체적·적시적·행동가능
- AI 위험: 길고 그럴듯하지만 실행하기 어려운 피드백
- 연구포인트: 양보다 수정행동과 재성과 측정
루브릭 · Rubric
수행의 질을 여러 평가차원과 수준별 기준으로 명시한 도구입니다. AI 평가에서도 기준의 명료성과 일관성을 높이는 핵심 장치입니다.
- 구성: 평가차원, 수준, 기술자
- AI 활용: 초안평가와 피드백 보조
- 주의: 기준 밖의 창의적 수행을 기계적으로 감점하지 않기
수행·진정성 평가 · Authentic Assessment
실제 상황과 유사한 문제에서 지식을 적용·판단·설계하는 능력을 평가합니다. 생성형 AI 시대에는 단순 산출물보다 과정과 구두설명, 근거제시가 중요해집니다.
- 평가대상: 적용, 판단, 전이, 창작
- 방법: 프로젝트, 사례, 포트폴리오
- AI 연결: AI 사용기록과 인간 판단을 함께 평가
재평가 · Reassessment
피드백을 받은 뒤 학습자가 수정하고 다시 수행하게 함으로써 평가를 학습과정 자체로 만듭니다.
- 핵심: 초회점수보다 향상과정 확인
- 측정: 오류감소, 자기수정, 전이
- AI 활용: 반복피드백의 비용을 낮춤
FEEDBACK QUALITY · 피드백 품질
좋은 AI 피드백의 판단기준
정확성
사실과 기준에 맞는지 확인합니다. 잘못된 AI 피드백은 학습자의 오개념을 강화할 수 있습니다.
구체성
“더 자세히 쓰세요”가 아니라 어느 부분이 부족하고 어떤 근거를 추가해야 하는지 제시합니다.
행동가능성
학습자가 다음에 무엇을 해야 하는지 명확히 알 수 있어야 합니다.
인지적 깊이
답을 직접 주기보다 자기설명, 비교, 근거검토를 유도해 학습자의 사고를 남겨둡니다.
일관성·공정성
동일 기준이 학습자와 집단에 일관되게 적용되는지 검토하고 편향을 확인합니다.
CORE CONCEPTS · 핵심 개념
평가연구의 기본 용어
Validity · 타당도
평가가 실제로 측정하려는 능력이나 성취를 제대로 측정하는 정도입니다.
Reliability · 신뢰도
평가 결과가 반복측정, 평가자 또는 문항이 달라져도 안정적으로 유지되는 정도입니다.
Feedback Literacy · 피드백 리터러시
학습자가 피드백을 이해하고 판단하며 실제 수정행동으로 활용할 수 있는 능력입니다.
Self-Assessment · 자기평가
학습자가 기준을 사용해 자신의 수행을 판단하고 개선점을 찾는 과정입니다.
Academic Integrity · 학업진실성
AI 활용 여부보다 학습성과의 주체가 누구인지, 출처와 기여를 어떻게 투명하게 표시하는지에 관한 원칙입니다.
CORE LITERATURE · 핵심 문헌축
원전과 한글 해설
Black & Wiliam, Assessment and Classroom Learning『평가와 교실학습』
형성평가가 학습성과를 개선하는 핵심 메커니즘을 정리한 대표 문헌입니다.
Hattie & Timperley, The Power of Feedback『피드백의 힘』
피드백이 어디로 가는가, 현재 어디에 있는가, 다음에 무엇을 해야 하는가라는 질문을 중심으로 효과적인 피드백 구조를 설명합니다.
Nicol & Macfarlane-Dick, Formative Assessment and Self-Regulated Learning『형성평가와 자기조절학습』
피드백을 학습자의 자기조절능력 강화와 연결하는 설계원리를 제시합니다.
Sadler, Formative Assessment and the Design of Instructional Systems『형성평가와 교수시스템 설계』
학습자가 질적 기준을 이해하고 현재 수행과 목표 사이의 차이를 스스로 줄이는 과정이 중요하다고 설명합니다.
RESEARCH PRACTICE · 연구 적용
AI 평가를 학습개선으로 연결하기
AI 피드백 형식 비교
정답제공형, 힌트형, 질문형 피드백을 비교해 즉시 정답률뿐 아니라 재시험과 전이 성과를 측정합니다.
AI 루브릭 평가의 일관성
동일 산출물을 반복평가해 점수 안정성, 인간평가자와의 일치도, 집단별 편향을 분석합니다.
AI 사용 과제의 진정성 평가
최종 산출물, 프롬프트·수정과정, 구두설명과 자기성찰을 결합해 실제 학습자 역량을 확인합니다.
운영기준: AI가 평가를 자동화했는지가 아니라 평가가 학습자의 다음 행동과 실제 성취를 개선했는지가 핵심입니다.