아이큐브 (iQuve)

4~6세 아동을 위한 실시간 영상 기반 AI 튜터링 서비스 - 프로덕션 수준의 멀티모달 AI 에이전트 시스템

방문하기
2025.04 - 2026.06
AI Agent Engineer (Freelancer)
그로비랩스
ai-agentgemininestjsminimaxwhispermultimodal-airealtime

프로젝트 개요

4~6세 아동을 대상으로 캐릭터가 영상으로 대화하며 아이의 말과 행동에 반응하는 AI 튜터링 서비스 ‘아이큐브(iQuve)’. 서비스를 구동하는 AI 에이전트와 백엔드를 담당.

핵심 문제: 네 살은 기다려주지도, 시키는 대로 하지도 않는다

이 연령대는 성인 학습자 기준의 가정을 대부분 깨뜨린다. 발화가 예측 불가능하고, 수시로 주제를 벗어나며, 응답이 조금만 늦어도 집중이 끊긴다. 발화 종료를 기다렸다가 추론하고 응답하는 표준 파이프라인은 이 환경에서 성립하지 않는다.

따라서 설계의 방향을 세 가지로 잡았다. 상호작용 루프를 집중이 유지되는 길이로 짧게 유지, 콘텐츠 사전 생성으로 실시간 경로 경량화, 그리고 주제를 벗어난 대화를 — 오답을 지적하지 않으면서 — 다시 주제로 유도하는 프롬프트 설계.

주요 역할 및 기여

  • 핵심 AI 에이전트 아키텍처 설계·구현 — 캐릭터 동작을 구성하는 상태·턴 처리·콘텐츠 흐름 전반
  • 백엔드 시스템 및 실시간 통신 프로토콜 구현 — 클라이언트·에이전트·미디어 계층 간 가교확보
  • LLM 벤치마크 기반 작업별 모델 선정 — 단일 모델 의존을 배제하고 품질이 체감되는 지점에만 고성능 모델 배치
  • 동적 프롬프트 스캐폴딩 기반 콘텐츠 생성 파이프라인 구축 — 수업별 대본을 수작업하지 않고 자동 생산하는 체계 구축
  • 실시간 영상 분석·피드백 루프 개발 — 발화뿐 아니라 아이의 행동에 반응하는 구조

기술 스택

  • AI: Gemini Pro, Gemini Flash, MiniMax API, Whisper API
  • Backend: NestJS, TypeScript
  • Infrastructure: Cloud GPU, Real-time Processing