30–40초 응답 병목
유사 질문 응답이 30–40초까지 걸리는 병목이 있었습니다.
응답 생성 단계를 나눠 측정한 결과 반복 LLM 호출 구간이 대부분의 시간을 차지했습니다.
임베딩 기반 Semantic Cache를 조회하는 fast path를 앞단에 두었습니다.
의미가 유사한 질문은 기존 답변을 재사용할 수 있어 반복 실행 비용을 줄일 수 있습니다.
유사도 임계값이 낮으면 부정확한 캐시 응답 위험이 있어 임계값 조정이 필요합니다.
테스트 환경에서 유사 질문 기준 응답 시간이 1초 이내로 단축되는 것을 확인했습니다.