#AI
Nota AI가 제안하는 Transformer 모델을 AWS Inferentia/Trainium에 손쉽게 배포하는 방법
AWS코리아
•
AI 요약
GPT로 자동 생성된 요약입니다
Nota AI는 인공지능 모델의 경량화 및 최적화 기술을 개발하며, 특히 AWS Inferentia/Trainium을 활용해 LLM을 최적화하고 비용 효율적으로 배포하는 기술을 연구하고 있습니다. 최근 Hugging Face Transformers 기반의 12개 Transformer 모델을 Neuron SDK를 통해 성공적으로 포팅했으며, 모델의 출력 구조를 단순화하여 다양한 포팅 오류를 해결했습니다. 이로 인해 Nota AI는 운영 비용을 약 85% 절감하고 추론 성능을 개선하는 성과를 달성했습니다. 향후 AWS 기반의 AI 모델 최적화를 지속적으로 추진할 예정입니다.