#CLOUD
Next Gen Data Processing at Massive Scale At Pinterest With Moka (Part 1 of 2)
핀터레스트
•
AI 요약
GPT로 자동 생성된 요약입니다
Pinterest는 Hadoop 기반 Monarch 플랫폼을 대체하기 위해 Kubernetes 기반의 Moka 플랫폼을 개발하였으며, Spark Operator, YuniKorn, Celeborn 등의 프레임워크와 Autoscaling, 네트워크 셰이핑, 비용 절감 등의 기술을 활용하여 성능과 비용 효율성을 개선하였다. 마이그레이션 과정에서는 검증을 위해 Dry Run 프로세스를 도입하였으며, 다양한 보안 및 모니터링 기능도 구축하였다. 현재 70% 이상 워크로드가 마이그레이션되었으며, 앞으로 전체 Spark 워크로드를 Moka로 이전할 계획이다. 이를 통해 비용 절감, 확장성 강화, 운영 효율성을 기대하고 있다.