How Pinterest Accelerates ML Feature Iterations via Effective Backfill - 데브캐치 - 데브캐치
#AI

How Pinterest Accelerates ML Feature Iterations via Effective Backfill

핀터레스트

AI 요약

GPT로 자동 생성된 요약입니다

Pinterest는 추천 및 광고 모델의 빠른 피쳐 업데이트를 위해 전체 백필 방식에서 두 단계 백필 방식으로 전환해 효율성을 극대화했습니다. 초기 Spark 기반 솔루션은 시간 소모가 컸으나, Iceberg 테이블과 Bucketing 기법 도입으로 처리 속도가 12배 향상됐습니다. 이후 Ray를 활용한 트레이닝 타임 백필로 실시간 데이터 조인도 가능하게 하여 전체 프로세스를 대폭 간소화했습니다. 이러한 기술적 진보는 백필 시간 90배 단축과 데이터 압축률 75% 향상을 이뤄냈습니다. 앞으로는 더욱 빠른 실험과 배포를 위해 온디맨드 피쳐 계산을 추진할 예정입니다.

원문 보기

관련 아티클