Книга на русском, автор — Danil Kondratiuk (luckystrker). 15 глав: устройство трансформера, память и квантование, MoE и KV-кэш, вызов инструментов, бенчмарки и выбор модели под своё железо.
Для тех, кто уже запускает модели через llama-server или Ollama и хочет понимать ограничения памяти, подбирать квантование и контекст, измерять скорость и выбирать модель под свой компьютер. Предполагается базовое знакомство с Python и матричным умножением.
В книге есть короткие выводы по главам, задачи с решениями, вопросы для самопроверки, глоссарий и библиография. Текст и иллюстрации распространяются по CC BY 4.0; расчётные графики не являются результатами замеров.
Читать полную книгу: https://luckystrker.github.io/local-llm-inference-book/00-README.html
Исходники: https://github.com/luckystrker/local-llm-inference-book