Запускаем гигантские локальные модели на простой видеокарте на 4 ГБ — гении дропнули настоящую бомбу. Библиотека AirLLM позволяет запускать даже огромные 405В-модели на бюджетных и маломощных ПК.
• Тулза сжимает параметры нейронки, а не файлы — можно уменьшить параметры нейронки и при этом не потерять ни возможности, ни функционал.
• Для сервиса подойдет любая видеокарта даже на 4 ГБ или процессор даже без видяхи.
• Напрямую поддерживает модели с Hugging Face.
• Работает со всеми популярными форматами LLM: OCR-модели, чат-боты, генераторы пикч и прочее.
Юзаем тут: