검색 Indexing 파이프라인 개선기 - 데브캐치 - 데브캐치
#BACKEND

검색 Indexing 파이프라인 개선기

당근마켓

AI 요약

GPT로 자동 생성된 요약입니다

당근의 검색 플랫폼팀은 색인 파이프라인을 자동화·안전성 강화하여, 의존성 낮추고 비용을 절감하는 시스템을 구축했습니다. 데이터 스키마 기반 코드 생성, OfflineStorage 활용, 파티셔닝과 배치 처리로 성능을 높였으며, 카프카 이벤트를 안전하게 처리하는 TimeWindow 기술도 도입했습니다. 이를 통해 수억 건 데이터의 빠르고 안정적인 색인과 고가용성을 확보했고, 앞으로도 지속적인 개선을 추진할 계획입니다.

원문 보기

관련 아티클