CPU-only инференс MoE моделей
Исследование аппаратных требований для запуска современных Mixture-of-Experts моделей на многосокетных CPU-системах без использования GPU
Kimi K3 представляет собой модель с 2.8 триллиона параметров, относящуюся к типу Mixture-of-Experts (MoE) с 104 миллиардами активных параметров на токен. Модель имеет 69 слоев Kimi Delta Attention (KDA), использует собственную визуальную кодировку MoonViT-V2 и поддерживает окно контекста 1,048,576 токенов.
Критическая находка: Для самообслуживания Kimi K3 требуется значительные аппаратные ресурсы, начиная с официальной минимальной конфигурации vLLM на 8x NVIDIA GB300 или 8x AMD MI355X/MI350X ускорителях.
Целевые модели и их характеристики
Анализ ключевых Mixture-of-Experts моделей, предназначенных для запуска на CPU-only системах
Kimi K3
Параметры: 2.8T (MoE)
Активные параметры: 104B на токен
Контекст: 1,048,576 токенов
Лицензия: kimi-k3
Qwen3.8-Max
Параметры: 2.4T (MoE)
Активные параметры: ~95B на токен
Контекст: 1,000,000 токенов
Статус: Ожидается открытие весов
DeepSeek V4 Pro
Параметры: 1.6T (MoE)
Тип: Мультимодальная модель
Релиз: Первые открытые веса 2026
Архитектура: Двухуровневая
MiniMax M3: Мощная модель для кодинга
M3 достигает уровня фронтирных достижений по специализированным задачам, таким как кодинг и агентская работа. Модель поддерживает ультра-длинные окна контекста до 1 миллион токенов. M3 завершила 147 задач в тестовых бенчмарках, демонстрируя высокую эффективность.
Важно: M3 потребляет 9000 токенов мышления на простые задачи, что может повлиять на эффективность инференса.
GLM-5.3: Кодинг с кибервозможностями
GLM-5.3 достигает 34.5% при примерно 75K токенов вывода на задачу. Оценка проводится с максимальной длиной контекста 300,000 токенов, что делает модель подходящей для сложных аналитических задач.
Локальный инференс: Unsloth опубликовала 1-битные GGUF квантизации, которые работают со скоростью ~21.6 токенов в секунду на Mac Studio M3 Ultra с 256 ГБ ОЗУ.
Аппаратные платформы для CPU-only инференса
Анализ многосокетных серверных систем, поддерживающих большие объемы памяти и высокую пропускную способность
Архитектурные особенности
Процессоры серии E7 v3 поддерживают два интегрированных контроллера памяти, четыре высокоскоростных интерфейса масштабируемой памяти 2 (SMI2) и восемь каналов DDR3, что обеспечивает масштабируемую пропускную способность памяти для приложений с высокими требованиями к памяти.
Семейство процессоров Intel® Xeon® E7 v2 поддерживает до 96 слотов DIMM с максимальным объемом памяти на DIMM 64 ГБ RDIMM, что обеспечивает трехкратное увеличение объема памяти.
Технические характеристики памяти
Анализ пропускной способности памяти, типов DIMM и влияния на производительность инференса
DDR3 против DDR4: Сравнение производительности
Серверы Lenovo System x3850 X6 и x3950 X6 поставляются с памятью стандарта 8 ГБ или 16 ГБ высокоскоростной PC3-12800 DDR3 ECC или PC4-17000 DDR4, что обеспечивает гибкость выбора в зависимости от требований производительности.
Поддерживаемые скорости передачи данных включают 1066 МГц, 1333 МГц, 1600 МГц и 1866 МГц, но это зависит от установленных поддерживаемых процессоров. Все модули памяти должны быть одинаковыми по типу, размеру и скорости для оптимальной работы.
Влияние на инференс: Более новый процессор с более быстрой оперативной памятью может увеличить скорость инференса LLM. Выбор памяти имеет решающее значение для производительности.
Типы DIMM и каналы памяти
Каждая вычислительная книга имеет четыре канала памяти, восемь каналов DDR3 или DDR4 (два канала DDR3 или DDR4 на канал памяти) и каждый канал DDR3 или DDR4 может поддерживать до 128 ГБ памяти.
Коннекторы DIMM: 96 для 4-сокетной и 192 для 8-сокетной конфигурации, с 24 коннекторами DIMM на вычислительную книгу. Поддерживаются как DDR3, так и DDR4.
x3950 X6 поддерживает ECC DDR3 1600 МГц LP LRDIMM, что обеспечивает надежную работу с большими объемами памяти.
Пропускная способность памяти: Ключевой фактор производительности
Максимальная пропускная способность памяти
Ожидаемая пропускная способность SMB
Канала памяти на процессор
Анализ производительности и оптимизация
Влияние архитектуры NUMA, квантования и оптимизации на скорость генерации токенов
Влияние NUMA архитектуры
Использование нескольких сокетов процессора потенциально снижает производительность при одиночных рабочих нагрузках инференса из-за задержки доступа к перекрестной NUMA и узкого места пропускной способности.
llama.cpp не оптимизирован для материнских плат с двумя сокетами процессора, и невозможно использовать полную мощность таких конфигураций для ускорения инференса LLM.
Предупреждение: При отключенной NUMA пропускная способность памяти значительно снижается до около 73 ГБ/с, что составляет треть от той же системы с включенной NUMA.
Для сценариев инференса, ограниченных процессором, это может улучшить скорость генерации токенов на 10-25% за счет NUMA-осознанного распределения экспертов MoE.
Оптимизация квантования и производительность
Различия в скорости генерации токенов (токенов/сек) между всеми четырьмя процессорами. Драматическое влияние высокоскоростной оперативной памяти (XMP/EXPO) на производительность LLAMA.
Пропускная способность инференса работает с одним экземпляром на сокет. Реальное время инференса работает с несколькими экземплярами, 4 ядра на экземпляр.
Это дает скорость инференса более 10 токенов в секунду. Больше ядер могут улучшить обработку запросов, но генерация токенов не будет.
Значительное улучшение: Скорость генерации токенов увеличилась с примерно 9 токенов в секунду до более чем 167 токенов в секунду благодаря оптимизации.
Результаты бенчмарков на реальных системах
Dell T7910 с двумя процессорами Xeon E5-2660v3 (поддержка AVX2) и восемью DIMM DDR4-2133 достиг следующих скоростей генерации токенов с помощью llama.cpp: 8B модель (Q4_K_M, контекст 4096): ~2.5 токена/сек; 14B модель (Q4_K_M, контекст 16384): ~1.5 токена/сек; 32B модель (Q4_K_M, контекст 32768): ~0.8 токена/сек; 70B модель (Q4_K_M, контекст 4096): ~0.5 токена/сек; 120B модель (Q4_K_M, контекст 8192): ~0.3 токена/сек.
STREAM бенчмарк результаты на системе B (Xeon Gold 5318H): Копирование: 115,099.7 МБ/с, Масштабирование: 92,615.0 МБ/с, Сложение: 101,803.5 МБ/с, Триада: 102,617.1 МБ/с. Система использует 72 потока OpenMP через все сокеты с чередующимся распределением памяти.
Kimi K3 на 8 ГБ RAM
На машине с только 8 ГБ оперативной памяти измеряется не токены в секунду, а секунды на токен. Для генерации одного токена требуется примерно 33 секунды.
Kimi K3 на 29 ГБ RAM
Запуск Kimi K3 с использованием 29 ГБ оперативной памяти при скорости 0.50 токена/с.
DeepSeek V4 Flash
Скорость обработки запросов: ~200 токенов/сек, скорость генерации токенов: ~11 токенов/сек на 4x5060ti16gb с DDR4.
Источники данных о ценах и характеристиках
Обзор существующих обновляемых источников информации о компонентах вторичного рынка
Обновляемые источники данных
Платформа Spare Cores Navigator предоставляет инструменты с открытым исходным кодом, публичные наборы данных, точки доступа API и SDK для сбора и публикации надежных, воспроизводимых данных о тысячах облачных серверов на различных облаках. Необработанные собранные данные лицензированы под CC BY-SA 4.0, а программные компоненты под MPL 2.0.
Объем данных: 580 зон доступности, 5,950 типов серверов, 2,629,812 бенчмарк-оценок, 592,330 записей актуальных цен и более 100 миллионов исторических записей.
Обновление данных происходит часто, с обновлением примерно 5,000 записей в час. Платформа также предлагает коммерческие услуги корпоративного класса, включая API и доступ к базе данных с SLA для команд, требующих высокой надежности.
Новый инструмент бенчмаркинга памяти был выпущен компанией Spare Cores для решения проблем, найденных в старых инструментах, таких как LMbench. Новый инструмент разработан как переносимый (работает на x86/arm64/BSD), легкий в запуске через Docker и эффективный с использованием OpenMP для многопоточных измерений.
Коммерческие платформы
ServerMonkey продает высококачественное восстановленное оборудование для серверов и сетевого оборудования, предоставляя как новые, так и восстановленные серверы, системы хранения и сетевое оборудование.
ServerMonkey предлагает TekShield — стороннюю сервисную поддержку серверов, предназначенную для обеспечения поддержки восстановленного оборудования. Эта услуга включает такие функции, как поддержка программного и аппаратного обеспечения EOL и решения для ремонта, которые часто недоступны от оригинальных производителей оборудования (OEM).
GovDeals — онлайн-рынок, который предоставляет услуги правительственным, образовательным и связанным с ними организациям для продажи избыточного имущества общественности.
API GovAuctions.app: Предоставляет доступ к данным о торгах на избыточных аукционах в США, Великобритании, Канаде и Австралии, включая сравнения реальных продажных цен, тренды цен и оценки перепродажи.
Специализированные API и инструменты
eBay Inventory API
Позволяет создавать, обновлять, удалять и получать записи об инвентаре. Включает методы для получения отдельных предметов, массового получения до 25 предметов и всех определенных продавцом предметов.
WebDataInsights eBay Dataset
Структурированная база данных списков продуктов и данных о ценах, собранная с eBay. Включает более 4.5 миллионов проверенных записей с исторической глубиной более трех лет.
Заключение и рекомендации
Ключевые выводы
- Многосокетные системы: Lenovo x3950 X6 с процессорами Intel Xeon E7 v2/v3/v4 обеспечивают необходимую пропускную способность памяти (до 102 ГБ/с) и объем (до 24 ТБ) для запуска MoE моделей.
- Типы памяти: DDR4 память с частотой до 1866 МГц обеспечивает лучшую производительность по сравнению с DDR3, но DDR3 остается совместимой с большинством систем.
- NUMA оптимизация: Включение NUMA критично для производительности — отключение NUMA снижает пропускную способность памяти до одной трети от максимальной.
- Объем памяти: Для моделей с 2.8T параметров (Kimi K3) требуется минимум 8x NVIDIA GB300 или 8x AMD MI355X/MI350X ускорителей, что указывает на необходимость больших объемов оперативной памяти.
- Скорость инференса: Оптимизация квантования может увеличить скорость генерации токенов с 9 до 167 токенов в секунду, что демонстрирует важность программной оптимизации.
Рекомендуемые конфигурации
Минимальная конфигурация
- • Lenovo x3950 X6 (8-сокет)
- • 8x Intel Xeon E7 v4 (24 ядра/48 потоков)
- • 12 ТБ DDR4-1866 ECC LRDIMM
- • 8 каналов памяти на сокет
- • NUMA включена
Рекомендуемые оптимизации
- • Использование квантизации Q4_K_M
- • NUMA-осознанное распределение экспертов MoE
- • Оптимизация с использованием llama.cpp
- • Многопоточная обработка (OpenMP)
- • Использование XMP/EXPO профилей памяти
Источники данных для мониторинга
Для создания обновляемой базы данных цен и характеристик рекомендуется использовать следующие источники:
- • Spare Cores Navigator API (5,000 записей в час)
- • eBay Inventory API для актуальных цен
- • WebDataInsights eBay Dataset (4.5M записей)
- • GovAuctions.app API для государственных аукционов
- • ServerMonkey и другие коммерческие платформы
Важно помнить: Производительность CPU-only инференса в первую очередь ограничена пропускной способностью памяти, а не вычислительной мощностью. Оптимизация памяти и архитектуры NUMA имеют первостепенное значение для достижения желаемой скорости генерации токенов ≥1 токен/с.