ЖелезоLLM — калькулятор вторичного железа для CPU-инференса MoE

Быстрые пресеты (клик — загрузить в калькулятор)

Модель

Квантование

Движок

Контекст (вход)

1K10K100K1M

Платформа (шасси)

CPU

Сокетов

Тип RAM

Эфф. скорость

Объём RAM

⚡ Питание и стойка:
Электрика 24/7 ≈

Генерация

—

токенов/сек

Prefill (промпт)

—

tok/s обработки контекста

Модель в RAM

Размер модели

—

KV-кэш контекста

—

Макс. выход

—

Сборка целиком

—

Цена за 1 tok/s

—

Эфф. пропускная

—

Пресеты для текущей модели:

tok/s генерации

Редактируемая база цен (вторичный рынок, € за шт / € за ГБ)

Цены сохраняются в localStorage. Ориентиры: аукционы EU/US, ServerMonkey, eBay, август 2026. «Первичку» добавим следующим шагом.

₽/€ $/€ ⬆ Импорт

Процессоры (б/у)

CPU	Ядра	AVX	Каналы	Цена €

Память (€/ГБ, б/у)

Тип	€/ГБ	≈ ₽/ГБ

GPU (справочно, для будущей «первички»)

GPU	VRAM	BW	Цена €

Платформы (шасси, б/у)

Шасси	S	RAM	Макс	База €

Модели и калибровочные коэффициенты (k_route, KV/токен) хранятся в коде как константы исследования — они получены из реальных замеров сообщества (8×E7-8880 v3 + 1 ТБ, 2×5090 + 768 ГБ DDR5) и помечены в таблице калибровки.

Модель расчёта

tok/s = ( S × CH × MT/s × 8 / 1000 ) × k_NUMA × k_engine × k_route / ( P_act × байт_quant )

k_NUMA: 1S=0.88 · 2S=0.72 · 4S=0.56 · 8S=0.45 — деградация из-за QPI и удалённых обращений.

k_engine: ik_llama.cpp (NUMA-opt)=1.0 · llama.cpp --numa distribute=0.7 · vanilla=0.5.

k_route — эмпирический штраф маршрутизации MoE: чем больше экспертов и мельче каждый, тем хуже использование BW (Kimi K2/K3 ≈ 0.14).

Реальные замеры vs предсказание

Машина-якорь: Lenovo x3950 X6, 8×Xeon E7-8880 v3, 1 ТБ DDR4-1866, 144c/288t, без GPU.

🎮 Гибрид (вне CPU-модели): 2×RTX 5090 + 768 ГБ DDR5, Kimi K3 Q2_K — измерено ≈4 tok/s. Модель не помещается в VRAM, часть весов идёт через PCIe в RAM.

Сколько токенов даст древний сервер с терабайтами RAM?