После трёх лет интенсивной работы компания Modular создала полноценную альтернативу CUDA — популярному инструменту разработки от Nvidia. Их движок для инференса ИИ под названием Max демонстрирует производительность, сопоставимую с CUDA на графических процессорах Nvidia A100 и H100. В отличие от других решений, Max обеспечивает переносимость между различными типами оборудования без потери производительности.
Команда Криса Латтнера, состоящая из 120 сотрудников компании Modular, провела последние три года, стремясь заменить не только CUDA, но и весь стек ИИ-программного обеспечения с нуля.
«Что для этого нужно? Ну, создание замены для CUDA — это действительно трудно. Это занимает годы», — сказал Латтнер в интервью отраслевому изданию. «Последние три года мы работали над языком программирования, компилятором графов, оптимизациями для языковых моделей, доводя все эти компоненты до совершенства, внедряя их в масштабах, проводя тестирование и валидацию».
Проблемы существующего стека программного обеспечения для искусственного интеллекта связаны с тем, что он был создан очень быстро и продолжает стремительно развиваться; новые уровни добавляются в спешке, чтобы поспеть за новыми приложениями и моделями. Сама CUDA, как отметил Латтнер, существует уже 16 лет. Иными словами, она появилась задолго до появления генеративного ИИ.
Движок инференса ИИ компании Modular под названием Max был представлен в 2023 году с поддержкой процессоров x86 и Arm, а недавно была добавлена поддержка GPU от Nvidia. Это означает, что Modular теперь имеет полноценную замену CUDA, включая язык программирования CUDA и стек поддержки языковых моделей, построенный на его основе.
Что важно, Латтнер заявил, что Max может достичь производительности, сопоставимой с CUDA на GPU Nvidia A100 и H100.
«[Nvidia] имела определённое преимущество — у них была помощь всего мира, который оптимизировал под их оборудование, а A100 на тот момент уже существовал четыре года и был очень хорошо изучен и оптимизирован, так что планка была установлена очень высоко».
Поддержка GPU, не относящихся к Nvidia, и других типов ускорителей от Modular начнётся в конце 2025 года.
Команда Криса Латтнера, состоящая из 120 сотрудников компании Modular, провела последние три года, стремясь заменить не только CUDA, но и весь стек ИИ-программного обеспечения с нуля.
«Что для этого нужно? Ну, создание замены для CUDA — это действительно трудно. Это занимает годы», — сказал Латтнер в интервью отраслевому изданию. «Последние три года мы работали над языком программирования, компилятором графов, оптимизациями для языковых моделей, доводя все эти компоненты до совершенства, внедряя их в масштабах, проводя тестирование и валидацию».
Проблемы существующего стека программного обеспечения для искусственного интеллекта связаны с тем, что он был создан очень быстро и продолжает стремительно развиваться; новые уровни добавляются в спешке, чтобы поспеть за новыми приложениями и моделями. Сама CUDA, как отметил Латтнер, существует уже 16 лет. Иными словами, она появилась задолго до появления генеративного ИИ.
Движок инференса ИИ компании Modular под названием Max был представлен в 2023 году с поддержкой процессоров x86 и Arm, а недавно была добавлена поддержка GPU от Nvidia. Это означает, что Modular теперь имеет полноценную замену CUDA, включая язык программирования CUDA и стек поддержки языковых моделей, построенный на его основе.
Что важно, Латтнер заявил, что Max может достичь производительности, сопоставимой с CUDA на GPU Nvidia A100 и H100.
«[Nvidia] имела определённое преимущество — у них была помощь всего мира, который оптимизировал под их оборудование, а A100 на тот момент уже существовал четыре года и был очень хорошо изучен и оптимизирован, так что планка была установлена очень высоко».
Поддержка GPU, не относящихся к Nvidia, и других типов ускорителей от Modular начнётся в конце 2025 года.