На недавней конференции PyTorch Amazon и Google анонсировали новые инструменты, которые значительно упрощают запуск фреймворка PyTorch на их ИИ-ускорителях. Эти решения направлены на устранение проблем совместимости, которые ранее требовали значительных усилий от разработчиков. Читатели узнают, как новые инструменты могут упростить жизнь разработчикам и повысить эффективность их проектов.

Инструменты от Amazon: TorchNeuron для Trainium

Amazon представила TorchNeuron, который решает проблему совместимости PyTorch с чипами Trainium. Ранее для работы фреймворка на этих ускорителях требовались значительные усилия.

• Легкость использования: Запуск проектов на Trainium2 и Trainium3 теперь возможен без масштабных изменений в коде. Достаточно указать нужный параметр.
• Оптимизация производительности: TorchNeuron включает набор готовых операторов языка NKI, что позволяет оптимизировать модели на низком уровне.
• Совместимость: Кроме поддержки PyTorch, Amazon обеспечила совместимость с другими открытыми инструментами, такими как TorchTitan.

Инструмент TorchTPU от Google

Google анонсировала инструмент TorchTPU, разработанный в сотрудничестве с командой PyTorch в Meta. Он предназначен для запуска рабочих нагрузок PyTorch на ускорителях TPU с минимальными изменениями кода.

• Поддержка стандартных API: TorchTPU поддерживает стандартные средства API PyTorch, что исключает необходимость в значительных переделках кода.
• Расширенные инструменты диагностики: Инструмент предлагает встроенные примитивы для распределённых вычислений, обеспечивая высокую производительность.
• Интеграция с Hugging Face: Модели с открытыми весами из библиотеки Hugging Face поддерживают работу с TPU «из коробки».

Преимущества перехода на новые технологии

С запуском новых инструментов как от Amazon, так и от Google, переход на использование их ускорителей стал более привлекательным для разработчиков. Это позволит сократить время разработки и снизить затраты.

• Упрощение процессов: Новые инструменты значительно упрощают интеграцию существующих проектов в новую среду.
• Снижение затрат времени: Разработчики могут сосредоточиться на улучшении своих моделей вместо решения проблем совместимости.
• Поддержка популярных инструментов: Ускорители теперь работают с уже известными инструментами развития ИИ, такими как vLLM и Ray.

«Эти новшества делают переход на новое оборудование более плавным и менее трудоемким,» — отметили представители Google Cloud. Таким образом, Amazon и Google создают более доступную экосистему для разработчиков ИИ-приложений, помогая им достигать лучших результатов быстрее и эффективнее.