프로토타입 · Prototype
핵심 학습기능과 사용자 흐름을 최소한의 형태로 구현해 설계가 실제로 작동하는지 빠르게 확인합니다.
- 목적: 완성품 제작이 아니라 가설검증
- 범위: 핵심 기능과 실패지점
- 기준: 어떤 연구질문을 검증하는지 명확히 함
FIELD CYCLE · 현장실증 순환
설계 → 프로토타입 → 파일럿 → 평가 → 개선 → 확장
파일럿 테스트 · Pilot Study
소규모 실제 사용자에게 적용해 사용성, 학습시간, 오류, 데이터수집 절차와 측정도구가 적절한지 확인합니다.
- 확인: 모집, 안내, 과제, 측정시간
- 발견: 예상하지 못한 사용행동
- 결과: 본 연구 전에 설계수정
학습자·교수자 테스트 · User Testing
학습자가 어디에서 막히고 교수자가 어떤 기능을 불신하거나 부담스러워하는지 관찰합니다.
- 자료: 행동관찰, 화면기록, 인터뷰
- 측정: 사용성, 인지부하, 신뢰, 오류
- 핵심: 만족도만으로 성공판정하지 않기
현장 데이터 수집 · Field Data
학습성과, 로그, 설문, 인터뷰와 교수자 기록을 결합해 결과뿐 아니라 과정까지 확인합니다.
- 양적: 성취, 지속성, 시간, 오류
- 질적: 경험, 이유, 맥락
- 원칙: 연구목적에 필요한 최소데이터
반복 개선 · Iterative Improvement
발견된 문제를 UI 수정만으로 처리하지 않고 학습목표, AI 역할, 피드백, 측정과 통제구조까지 다시 검토합니다.
- 원인분석: 기술오류 vs 교수설계 문제
- 수정: 가장 영향이 큰 요소부터
- 재검증: 변경 후 동일 지표로 비교
확장·배포 · Scale & Deployment
소규모 성공이 다른 학습자·과목·기관에서도 유지되는지 확인하고 운영비용, 지원인력과 장애대응까지 포함해 확장성을 평가합니다.
- 외적타당도: 다른 맥락에서 재현되는가
- 운영: 비용, 지원, 장애, 유지보수
- 정책: 개인정보·접근성·책임체계 점검
FIELD EVIDENCE · 현장증거
무엇을 수집하고 어떻게 해석할 것인가
학습성과
사전·사후검사, 전이문항, 과제수행과 장기유지를 통해 실제 학습이 발생했는지 확인합니다.
사용행동
어떤 기능을 얼마나 썼는지보다 어떤 학습단계에서 어떤 목적으로 사용했는지 분석합니다.
사용성
과제성공률, 오류, 소요시간, 사용자의 혼란지점과 지원요청을 관찰합니다.
교수자 경험
업무량이 실제로 감소했는지, 새로운 검토업무가 생겼는지, AI 결과를 신뢰할 수 있는지 확인합니다.
부작용
과잉의존, 잘못된 피드백, 개인정보 우려, 접근성 저하와 비사용자 배제를 함께 기록합니다.
CORE CONCEPTS · 핵심 개념
현장실증의 기본 용어
Living Lab · 리빙랩
실제 사용환경에서 사용자와 연구자가 함께 기술과 서비스를 개발·검증하는 개방형 실증 접근입니다.
Usability · 사용성
사용자가 목표를 얼마나 효과적·효율적·만족스럽게 달성할 수 있는지를 나타냅니다.
Feasibility · 실행가능성
연구나 서비스가 실제 시간, 비용, 인력과 기술조건에서 지속적으로 운영될 수 있는 정도입니다.
Fidelity · 충실도
설계한 교육개입이 실제 현장에서 계획한 방식대로 실행됐는지를 뜻합니다.
Ecological Validity · 생태적 타당도
연구결과가 실제 학습환경과 행동을 얼마나 잘 반영하는지에 관한 개념입니다.
CORE LITERATURE · 핵심 문헌축
현장설계와 실증의 기반
Design-Based Research Collective, Design-Based Research『설계기반연구』
실제 교육환경에서 반복적 설계와 이론개발을 결합하는 현장 에듀테크 연구의 대표적 방법론입니다.
McKenney & Reeves, Conducting Educational Design Research『교육설계연구 수행하기』
문제분석, 해결책 설계, 반복평가와 이론적 산출물을 연결하는 구체적 연구절차를 제공합니다.
ISO 9241-11, Usability『사용성 개념과 평가 기준』
효과성, 효율성, 만족도라는 사용성의 핵심 관점을 사용자 테스트의 기본기준으로 활용할 수 있습니다.
Implementation Science literature『실행과 확산 연구』
좋은 개입이 실제 조직에서 왜 채택되거나 실패하는지, 실행충실도와 맥락을 분석할 때 참고합니다.
NEXUS LIVING LAB · 넥서스 리빙랩
실제 운영환경을 연구장으로 활용
3분 학습웹앱 실증
짧은 학습콘텐츠의 완료율, 반복방문, 기억성과 사용자 피드백을 분석해 마이크로러닝 설계를 개선합니다.
AI Tutor 파일럿
소수 학습자를 대상으로 힌트형·설명형 피드백을 시험하고 오류, 학습시간, 만족도와 전이를 비교합니다.
성인학습자 Agentic AI 코치
주간계획과 진도점검 기능을 제한된 범위로 배포하고 실제 학습지속성과 과잉대행 문제를 관찰합니다.
현장실증의 목적은 “작동한다”를 보여주는 것이 아니라 누구에게, 어떤 조건에서, 어느 정도 효과가 있으며 무엇이 실패하는지를 증거로 남기는 것입니다.