아이큐브 (iQuve)
4~6세 아동을 위한 실시간 영상 기반 AI 튜터링 서비스 - 프로덕션 수준의 멀티모달 AI 에이전트 시스템
2025.04 - 2026.06
AI Agent Engineer (Freelancer)
그로비랩스
ai-agentgemininestjsminimaxwhispermultimodal-airealtime
프로젝트 개요
4~6세 아동을 대상으로 캐릭터가 영상으로 대화하며 아이의 말과 행동에 반응하는 AI 튜터링 서비스 ‘아이큐브(iQuve)’. 서비스를 구동하는 AI 에이전트와 백엔드를 담당.
핵심 문제: 네 살은 기다려주지도, 시키는 대로 하지도 않는다
이 연령대는 성인 학습자 기준의 가정을 대부분 깨뜨린다. 발화가 예측 불가능하고, 수시로 주제를 벗어나며, 응답이 조금만 늦어도 집중이 끊긴다. 발화 종료를 기다렸다가 추론하고 응답하는 표준 파이프라인은 이 환경에서 성립하지 않는다.
따라서 설계의 방향을 세 가지로 잡았다. 상호작용 루프를 집중이 유지되는 길이로 짧게 유지, 콘텐츠 사전 생성으로 실시간 경로 경량화, 그리고 주제를 벗어난 대화를 — 오답을 지적하지 않으면서 — 다시 주제로 유도하는 프롬프트 설계.
주요 역할 및 기여
- 핵심 AI 에이전트 아키텍처 설계·구현 — 캐릭터 동작을 구성하는 상태·턴 처리·콘텐츠 흐름 전반
- 백엔드 시스템 및 실시간 통신 프로토콜 구현 — 클라이언트·에이전트·미디어 계층 간 가교확보
- LLM 벤치마크 기반 작업별 모델 선정 — 단일 모델 의존을 배제하고 품질이 체감되는 지점에만 고성능 모델 배치
- 동적 프롬프트 스캐폴딩 기반 콘텐츠 생성 파이프라인 구축 — 수업별 대본을 수작업하지 않고 자동 생산하는 체계 구축
- 실시간 영상 분석·피드백 루프 개발 — 발화뿐 아니라 아이의 행동에 반응하는 구조
기술 스택
- AI: Gemini Pro, Gemini Flash, MiniMax API, Whisper API
- Backend: NestJS, TypeScript
- Infrastructure: Cloud GPU, Real-time Processing