Китайский стартап DeepSeek представил вместе с улучшенной версией ИИ-модели R1 со способностью к рассуждению на базе 685 млрд параметров ещё одну, гораздо меньшую версию R1, созданную методом дистилляции — DeepSeek-R1-0528-Qwen3-8B. По словам разработчиков, новая версия превосходит сопоставимые по размеру модели в ряде тестов.
Сообщается, что DeepSeek-R1-0528-Qwen3-8B, созданная методом дистилляции с использованием в качестве основы модели Qwen3-8B, выпущенной компанией Alibaba в мае этого года, показала лучшие результаты, чем Gemini 2.5 Flash от Google в математическом бенчмарке AIME 2025. Кроме того, DeepSeek-R1-0528-Qwen3-8B «почти соответствует» недавно представленной модели рассуждений Phi 4 Plus от Microsoft в другом тесте математических навыков — HMMT.
Хотя модели, полученные методом дистилляции, как правило, уступают полноразмерным аналогам по эффективности, они значительно менее требовательны к вычислительным ресурсам. Согласно данным облачной платформы NodeShift, для работы Qwen3-8B требуется GPU с 40–80 Гбайт оперативной памяти (например, Nvidia H100). Для сравнения, полноразмерной обновлённой версии R1 требуется около дюжины GPU с объёмом памяти 80 Гбайт каждый.
В процессе обучения модели DeepSeek-R1-0528-Qwen3-8B стартап использовал текст, сгенерированный обновлённой моделью R1, для тонкой настройки Qwen3-8B. В описании на платформе разработки ИИ Hugging Face стартап указал, что эта модель рассуждений может применяться «как для академических исследований, так и для промышленной разработки, ориентированной на модели малого масштаба».
DeepSeek-R1-0528-Qwen3-8B распространяется по разрешительной лицензии MIT, что позволяет использовать её в коммерческих целях без ограничений. Несколько приложений, включая LM Studio, уже предлагают эту модель через API.