정확성·환각 · Accuracy & Hallucination
AI가 사실과 다른 내용을 자신 있게 생성하거나 출처를 잘못 제시하는 위험입니다. 교육에서는 오개념이 학습자의 장기기억에 남을 수 있어 일반 검색 오류보다 영향이 큽니다.
- 통제: 근거제시, 출처검증, 검증에이전트
- 측정: 사실오류율, 수정률, 오개념 전이
- 인간개입: 고위험·전문내용 검토
RISK MAP · 위험지도
교육 AI에서 우선 검토할 6개 위험
개인정보·학습데이터 · Privacy
학습데이터에는 성취, 행동, 관심, 취약점과 상담정보가 포함될 수 있습니다. 개인화를 이유로 필요 이상의 데이터를 수집하지 않아야 합니다.
- 원칙: 목적제한, 최소수집, 보관기간
- 통제: 역할별 접근권한과 삭제
- 연구: 개인화 이익과 프라이버시 비용의 균형
편향·공정성 · Bias & Fairness
언어, 장애, 연령, 사회경제적 배경에 따라 AI의 추천·평가·피드백 품질이 달라질 수 있습니다.
- 검증: 집단별 오류율과 성과차이
- 주의: 평균 정확도만으로 공정성을 판단하지 않기
- 통제: 인간검토와 이의제기 절차
설명가능성 · Explainability
학습자와 교수자가 왜 특정 추천, 경고, 평가가 나왔는지 이해할 수 있어야 합니다. 설명은 기술적 세부정보보다 사용자가 다음 행동을 판단할 수 있는 수준이어야 합니다.
- 설명대상: 추천이유, 평가근거, 위험신호
- 원칙: 목적과 사용자에 맞는 설명
- 연구: 설명이 신뢰와 수용성에 미치는 효과
학습자 주도권 · Human Agency
AI가 계획과 과제를 지나치게 대신하면 학습자의 판단·연습·성찰 기회가 줄어들 수 있습니다.
- 통제: 선택권, 승인요구, 도움단계
- 측정: 자기효능감, SRL, AI 의존성
- 핵심: 편의성과 학습자 주도권을 함께 측정
인간감독·오류대응 · Human Oversight
AI 판단을 사람이 검토하고 수정·중단할 수 있는 절차가 있어야 합니다. 특히 성적, 학습자 배제, 상담과 같은 고위험 상황은 자동화 범위를 제한합니다.
- 절차: 감지 → 신고 → 검토 → 수정 → 통지
- 로그: AI 행동과 인간결정 기록
- 핵심: 책임소재보다 먼저 통제가능성 확보
CONTROL DESIGN · 통제설계
위험을 실제 설계요소로 바꾸기
권한단계
정보제공 → 추천 → 초안생성 → 승인후 실행 → 자동실행으로 단계화하고 학습목적에 필요한 최소권한만 부여합니다.
검증단계
사실·출처·계산·평가결과를 별도 검증과정으로 확인하고 오류가 발견되면 자동으로 사용자에게 알립니다.
인간개입
고위험 판단, 반복오류, 학습자 이의제기와 취약학습자 상황에서 교수자 또는 관리자가 개입합니다.
투명성
AI 사용 여부, 주요 기능, 데이터 사용, 한계와 이의제기 방법을 학습자에게 이해 가능한 언어로 제공합니다.
CORE CONCEPTS · 핵심 개념
책임 있는 교육 AI의 기본 용어
Human-in-the-Loop · 인간개입형 설계
중요한 AI 판단이나 행동에서 사람이 검토·승인할 수 있도록 하는 구조입니다.
Contestability · 이의제기 가능성
학습자가 AI 평가·추천에 문제를 제기하고 인간의 재검토를 요청할 수 있는 능력과 절차입니다.
Audit Trail · 감사추적 기록
어떤 입력, 모델, 규칙과 사람이 어떤 결정을 했는지 사후 확인할 수 있도록 남기는 기록입니다.
Proportionality · 비례성
위험과 영향이 클수록 더 강한 검증, 설명과 인간감독을 요구하는 원칙입니다.
Data Governance · 데이터 거버넌스
수집, 사용, 접근, 공유, 보관, 삭제와 책임자를 포함한 데이터 관리체계 전체를 뜻합니다.
CORE FRAMEWORKS · 핵심 기준
국제 기준과 한글 해설
UNESCO, Recommendation on the Ethics of Artificial Intelligence『인공지능 윤리 권고』
인권, 인간의 존엄성, 공정성, 투명성, 책임성과 데이터 보호를 AI 정책의 국제 기준으로 제시합니다.
UNESCO, Guidance for Generative AI in Education and Research『교육과 연구에서 생성형 AI 활용 가이드』
생성형 AI를 교육기관에서 도입할 때 인간중심성, 연령 적합성, 개인정보와 교육목표를 함께 검토하도록 합니다.
NIST, AI Risk Management Framework『AI 위험관리 프레임워크』
Govern, Map, Measure, Manage의 구조를 통해 AI 위험을 조직적으로 관리하는 실무기준을 제공합니다.
OECD AI Principles『OECD 인공지능 원칙』
포용적 성장, 인간중심 가치, 투명성, 견고성, 책임성을 정책과 시스템 설계의 기본원칙으로 제시합니다.
RESEARCH PRACTICE · 연구 적용
책임성을 교육성과와 함께 측정하기
설명가능한 AI Tutor
추천 이유를 제공하는 조건과 제공하지 않는 조건을 비교해 신뢰, 수용성, 성취와 잘못된 AI 권고를 거부하는 능력을 측정합니다.
Agentic AI 권한통제
추천형·승인형·자동실행형을 비교해 편의성, SRL, 오류빈도와 학습자 통제감을 분석합니다.
AI 평가 이의제기
AI 평가 후 인간 재검토 절차가 공정성 인식, 신뢰와 학습자 수용성에 미치는 영향을 연구합니다.
Responsible AI는 교육연구의 주변 법제항목이 아니라 학습성과를 안전하게 만들기 위한 설계조건으로 취급합니다.