#AI
실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
네이버
•
AI 요약
GPT로 자동 생성된 요약입니다
팀은 Apache Flink와 Paimon을 활용해 실시간 데이터 수집, 집계 및 유효 광고 선정 파이프라인을 구축하여, 효율성과 안정성을 높였습니다. Paimon의 실시간 처리와 타임 트래블 등 다양한 기능을 통해 빠른 데이터 집계와 관리 자동화가 가능했으며, Iceberg와 비교해 성능 차이와 운영 편의성을 검증하였습니다. 또한, 파티션 만료, 태그 관리, 변경 로그 등 운영 최적화 기술을 도입하여 운영 부담을 줄이고 실시간성 확보를 달성했습니다. 향후 Iceberg와 병행 활용 및 성능 검토를 진행하며, 스트리밍 레이크하우스 구축에 기여하고 있습니다.