LEE HEEYEON
프로젝트로 돌아가기
AI 서비스 · 성능 최적화

인천공항 AI 챗봇 ‘아라’

반복 LangGraph 실행으로 30–40초 걸리던 유사 질의를 Semantic Cache를 통해 1초 이내로 단축했습니다.

30–40초 → 1초 이내
유사 질의 응답 · 프로젝트 테스트 환경
역할
AI 서버 설계·구현, 성능 개선
기간
2025.07 – 2025.09
팀
KT AIVLE School 빅프로젝트 · 6인 팀
담당 영역
  • DB·Vector DB 설계 및 Django AI 서버 설계·구현
  • 챗봇 응답 흐름 구현과 성능 최적화
  • 공공 API 데이터 수집·갱신 파이프라인 구성
  • Semantic Cache 기반 응답 경로 개선
DjangoLangGraphMongoDB Vector SearchRAG
GitHub
01

핵심 문제

일반 LLM만으로는 항공편·날씨·혼잡도처럼 계속 변하는 공항 정보를 정확히 제공하기 어렵고, 모든 질문마다 공공 API를 직접 호출하면 호출 제한과 외부 지연 문제가 생깁니다. 데이터 성격에 맞춘 수집·갱신·검색 흐름을 설계하고, 반복 질의의 응답 경로를 최적화했습니다.

하나의 질문을 처리하는 동안 LLM이 3–4회 호출되어 응답이 30–40초까지 지연됐습니다.

실시간으로 갱신되는 공공 API 데이터를 안정적으로 반영해야 했습니다.

백엔드와 AI 서버가 서로 다른 정보 구조를 가정해 통합 시점에 스키마를 다시 맞춰야 했습니다.

서비스 시연

사용 흐름을 보여주기 위해 재생 속도를 편집한 영상입니다. 실제 응답 시간 측정 자료와는 구분됩니다.

챗봇 대화 시연
공항 정보 사이드바 시연
02

시스템 구조

사용자 질문을 임베딩해 Semantic Cache를 먼저 조회하고, 캐시 적중 시 즉시 응답하며 미적중 시 LangGraph와 RAG를 거쳐 응답을 생성한 뒤 비동기로 캐시에 저장하는 구조도
03

트러블슈팅과 의사결정

응답 병목과 상태 저장 역할을 분리해 성능과 구조적 명확성을 함께 개선했습니다.

30–40초 응답 병목

문제

유사 질문 응답이 30–40초까지 걸리는 병목이 있었습니다.

CHECKED

응답 생성 단계를 나눠 측정한 결과 반복 LLM 호출 구간이 대부분의 시간을 차지했습니다.

선택

임베딩 기반 Semantic Cache를 조회하는 fast path를 앞단에 두었습니다.

선택 이유

의미가 유사한 질문은 기존 답변을 재사용할 수 있어 반복 실행 비용을 줄일 수 있습니다.

TRADE-OFF

유사도 임계값이 낮으면 부정확한 캐시 응답 위험이 있어 임계값 조정이 필요합니다.

VERIFIED

테스트 환경에서 유사 질문 기준 응답 시간이 1초 이내로 단축되는 것을 확인했습니다.

Semantic Cache와 세션 상태 분리

문제

대화 맥락과 의미 캐시를 같은 저장소로 다루면 역할이 뒤섞입니다.

선택

Semantic Cache는 MongoDB Vector Search로, 대화 세션 상태는 별도 캐시로 분리했습니다.

선택 이유

의미 기반 검색과 세션 상태는 접근 패턴이 달라 저장소를 분리하는 편이 명확합니다.

TRADE-OFF

저장소가 늘어나 데이터 일관성 관리 지점이 증가합니다.

VERIFIED

캐시 미적중 질문은 기존 LangGraph/RAG 경로로 정상 처리되는지 확인했습니다.

04

검증과 한계

검증

  • 테스트 환경에서 유사 질문 응답 시간이 약 30–40초에서 1초 이내로 단축됐습니다.
  • 캐시 미적중 질문은 기존 LangGraph/RAG 경로로 정상 처리되는지 확인했습니다.

한계

  • 측정은 프로젝트 테스트 환경 기준이며 실제 트래픽 분포에서는 결과가 달라질 수 있습니다.
  • 캐시 적중률과 유사도 임계값은 데이터가 쌓일수록 재조정이 필요합니다.
05

확인 가능한 자료