AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기

알리는사람들의 Amazon Data Firehose로 Amazon DynamoDB를 Amazon S3 tables로 실시간 복제하기

알리는사람들은 클라우드 네이티브 메시징 플랫폼 '센드온'을 개발했으며, 실시간 데이터를 Apache Iceberg 테이블로 전환하는 서버리스 데이터 파이프라인을 구축하여 분석성과 효율성을 향상시켰습니다. DynamoDB에서 발생하는 변경 이벤트를 Kinesis, Lambda, Firehose를 통해 S3의 Iceberg 테이블로 실시간 저장하고, Athena와 QuickSight를 이용해 분석 및 시각화가 가능합니다. 이 구조는 분석 지연을 최소화하고, 대용량 메시지 전송과 고객 행동 기반 타겟팅 등을 용이하게 합니다. 또한, Lake Formation 권한 설정을 통해 데이터 보안과 접근 제어를 강화했습니다. 앞으로도 데이터 자동화와 여러 테이블 확장 등을 목표로 발전시켜 고객 커뮤니케이션 효율을 극대화할 계획입니다.

데이터는 흐른다, 연결될 준비가 되었다면

네이버 웹툰의 Cohort System은 유저 세그먼트를 쉽게 정의하고 다양한 액션 채널과 자동 연동하는 시스템으로, 조건 필터링, ML 모델 활용, 중복 제거 기능을 포함합니다. 시스템 구조와 기술 스택, 실제 마케팅 사례를 통해 데이터 인사이트와 액션 연결 과정을 자동화합니다. 이를 통해 데이터 흐름 효율성과 타겟팅 정확성을 높이며, 개발 및 마케팅 활동에 도움을 줍니다. 해당 시스템은 백엔드, 데이터, ML 엔지니어에게 유용하며, 캠페인 성공 사례를 공유합니다. NAVER ENGINEERING DAY는 실무 기술 교류와 성장의 장입니다.

Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix

넷플릭스는 시스템 간 데이터 모델의 일관성 부족 문제를 해결하기 위해 UDA(통합 데이터 아키텍처)를 구축하였으며, 도메인 모델을 재사용하고 schema 생성, 데이터 이동, 검색 등을 자동화하여 데이터 품질과 협업을 향상시켰다. UDA는 지식 그래프로서 RDF와 SHACL 기반으로 개별 시스템과 도메인 개념을 연결하고, GraphQL, Avro 등 다양한 시스템과의 연계를 지원한다. 이를 통해 데이터 발견, 맵핑, 프로젝션, 데이터 소비 효율성을 높였으며, 실시간 운영 보고서인 Sphere도 UDA 기반으로 개선되고 있다. 앞으로는 프로토콜 확장과 인스턴스 데이터 관리 등 활용을 기대한다. 이는 조직 내 데이터 일관성과 연결성을 확보하는 혁신적 접근이다.

Amazon Athena + Quicksight 사용한 데이터 시각화

AWS의 Amazon Athena와 QuickSight를 이용하여 S3 저장 로그 데이터 분석 및 시각화를 간단하게 수행하는 방법을 설명한다. Athena로 데이터를 분석하고, QuickSight로 차트와 대시보드를 만들어 비용 및 사용자별 분석이 가능하다. 데이터 추가, 스키마 변경 등 실무 적용 사례도 포함되어 있어 사용 편의성을 강조한다. 이로써 복잡한 분석 과정을 최소화하면서 빠른 인사이트 도출이 가능하다. 향후 정교한 시각화를 위한 추가 연구 필요성을 언급한다.