#AI
연간 LLM 호출 비용 25% 절감, 인턴이 도전한 시맨틱 캐싱 도입 기록
당근마켓
•
AI 요약
GPT로 자동 생성된 요약입니다
당근은 채팅 추천 메시지 기능의 LLM 호출 비용을 시맨틱 캐싱 도입으로 연간 2.1억 원 절감에 성공했고, 유사도 기반 캐시 HIT 비율을 높여 비용 효율성을 크게 향상시켰습니다. 기술적으로는 임베디드 벡터 DB와 군집화 알고리즘을 활용하여 대표 문장을 구성했고, 병목 현상 해결과 부하 최적화도 수행하였어요. 실험을 통해 캐시 HIT 비율이 최대 29.55%에 달했으며, 비용 절감 효과가 검증되었습니다. 이번 프로젝트는 인턴의 주도적 아이디어와 팀의 적극적인 지원으로 실현된 성과입니다.