Зачем Авито нужна своя Inference-платформа для ML/LLM-сервисов: PaaS vs отдельное решение

Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные...
Читать полный текст в источникеhabr.com — habr.com
Материал собран автоматически из открытых RSS-источников. Пересказ приведён в информационных целях в соответствии со ст. 1274 ГК РФ с указанием первоисточника; полное воспроизведение не осуществляется. Мнения авторов оригинала не обязательно отражают позицию ООО «АЛТЕЯ». Все источники проверены по реестру СМИ-иноагентов Минюста РФ (255-ФЗ).