Mistral представила Small 3: компактная ИИ-модель с высокой производительностью

Европейский ИИ-стартап Mistral AI презентовал новую языковую модель, которая, по заявлению компании, соответствует производительности моделей втрое большего размера при значительно меньших вычислительных затратах. Mistral Small 3 имеет 24 миллиарда параметров и достигает 81% точности в стандартных тестах, обрабатывая 150 токенов в секунду. Модель выпущена под лицензией Apache 2.0, что позволяет бизнесу свободно модифицировать и развёртывать её.

Характеристики Mistral Small 3

Mistral Small 3 позиционируется как одна из самых эффективных моделей в своей категории. Она имеет 24 миллиарда параметров и демонстрирует высокую производительность, сопоставимую с моделями в три раза большего размера. По словам Гийома Лампля, научного директора Mistral, модель фактически не уступает Meta’s Llama 3.3 70B, выпущенной пару месяцев назад, которая в три раза больше.

Высокая производительность и низкие вычислительные затраты

Mistral Small 3 достигает 81% точности в тесте MMLU, обрабатывая 150 токенов в секунду. Это делает её одной из самых эффективных моделей в своей категории. Модель оптимизирована для минимальной задержки и локального развёртывания, что делает её практичной для использования в реальных условиях. Представьте себе: высокая точность и скорость обработки данных при минимальных затратах!

Оптимизация обучения

Mistral достигла улучшений в основном через оптимизацию обучения, а не наращивание вычислительной мощности. Модель обучена на 8 триллионах токенов (против 15 у конкурентов) и может работать на одном GPU, обрабатывая 80-90% типичных бизнес-задач. Это особенно важно для предприятий, требующих локального развёртывания по соображениям конфиденциальности и надёжности, включая финансовые услуги, здравоохранение и производство. Впечатляет, не правда ли?

Применение и возможности

Mistral Small 3 особенно интересна для предприятий, требующих локального развёртывания по соображениям конфиденциальности и надёжности. Она может быть использована в различных сферах, от медицины до робототехники, что открывает широкие возможности для её применения. Например:

• Финансовые услуги: Выявление попыток мошенничества.
• Здравоохранение: Направление пациентов к нужным специалистам.
• Производство и робототехника: Функции управления и контроля.
• Виртуальное обслуживание клиентов: Анализ настроений и отзывов.

Модель может быть запущена на системе с одной видеокартой Nvidia GeForce RTX 4090 или на актуальном Apple MacBook с 32 Гбайт оперативной памяти.

Доступность и лицензия

Mistral Small 3 доступна на платформе Hugging Face и нескольких других платформах. Компания утверждает, что их новая модель показывает лучшие результаты, чем GPT-4o mini от OpenAI, согласно внутренним тестам. Модель оптимизирована для минимальной задержки и выпускается с предобученной и настроенной на выполнение инструкций точками контроля, что позволяет использовать её для широкого спектра задач. Модель доступна по лицензии Apache 2.0, что позволяет её использование как в академических, так и в коммерческих целях.

Как вы думаете, сможет ли Mistral Small 3 стать новым стандартом для компактных ИИ-моделей, сочетая высокую производительность и низкие вычислительные затраты? Возможно, именно такие решения помогут снизить затраты на разработку ИИ и сделать эти технологии более доступными для широкого круга пользователей.

Для меня это важно, потому что я верю, что доступные и эффективные ИИ-модели могут значительно улучшить множество процессов в различных сферах, от финансовых услуг до здравоохранения и производства. В конечном счете, это может привести к более эффективному и безопасному использованию искусственного интеллекта в повседневной жизни.