알리는사람들의 Amazon Data Firehose로 Amazon DynamoDB를 Amazon S3 tables로 실시간 복제하기

데이터는 흐른다, 연결될 준비가 되었다면

네이버 웹툰의 Cohort System은 유저 세그먼트를 쉽게 정의하고 다양한 액션 채널과 자동 연동하는 시스템으로, 조건 필터링, ML 모델 활용, 중복 제거 기능을 포함합니다. 시스템 구조와 기술 스택, 실제 마케팅 사례를 통해 데이터 인사이트와 액션 연결 과정을 자동화합니다. 이를 통해 데이터 흐름 효율성과 타겟팅 정확성을 높이며, 개발 및 마케팅 활동에 도움을 줍니다. 해당 시스템은 백엔드, 데이터, ML 엔지니어에게 유용하며, 캠페인 성공 사례를 공유합니다. NAVER ENGINEERING DAY는 실무 기술 교류와 성장의 장입니다.

Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix

넷플릭스는 시스템 간 데이터 모델의 일관성 부족 문제를 해결하기 위해 UDA(통합 데이터 아키텍처)를 구축하였으며, 도메인 모델을 재사용하고 schema 생성, 데이터 이동, 검색 등을 자동화하여 데이터 품질과 협업을 향상시켰다. UDA는 지식 그래프로서 RDF와 SHACL 기반으로 개별 시스템과 도메인 개념을 연결하고, GraphQL, Avro 등 다양한 시스템과의 연계를 지원한다. 이를 통해 데이터 발견, 맵핑, 프로젝션, 데이터 소비 효율성을 높였으며, 실시간 운영 보고서인 Sphere도 UDA 기반으로 개선되고 있다. 앞으로는 프로토콜 확장과 인스턴스 데이터 관리 등 활용을 기대한다. 이는 조직 내 데이터 일관성과 연결성을 확보하는 혁신적 접근이다.

Amazon Athena + Quicksight 사용한 데이터 시각화

AWS의 Amazon Athena와 QuickSight를 이용하여 S3 저장 로그 데이터 분석 및 시각화를 간단하게 수행하는 방법을 설명한다. Athena로 데이터를 분석하고, QuickSight로 차트와 대시보드를 만들어 비용 및 사용자별 분석이 가능하다. 데이터 추가, 스키마 변경 등 실무 적용 사례도 포함되어 있어 사용 편의성을 강조한다. 이로써 복잡한 분석 과정을 최소화하면서 빠른 인사이트 도출이 가능하다. 향후 정교한 시각화를 위한 추가 연구 필요성을 언급한다.

AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기

Azar의 AI 기반 실시간 매칭 시스템은 Flink의 KeyedProcessFunction과 TimerService를 활용하여 사용자 이벤트들을 정교하게 조합하고 지연 시간을 최소화합니다. 무중단 배포와 상태 복구를 위해 Savepoint와 Blue-Green 전략을 도입했으며, exactly-once 세큐리티를 Redis를 통한 중복 제거로 보장했습니다. 이를 통해 신뢰도 높은 추천 데이터를 실시간 제공하며, 다양한 서비스와 데이터 플랫폼으로 확장되고 있습니다.