Llama.cpp on Блог инженераhttps://ilyabrin.github.io/ru/tags/llama.cpp/Recent content in Llama.cpp on Блог инженераHugoruMon, 04 May 2026 10:00:00 +0300Типы квантизации LLM: памяткаhttps://ilyabrin.github.io/ru/post/llm-quantization-guide/Mon, 04 May 2026 10:00:00 +0300https://ilyabrin.github.io/ru/post/llm-quantization-guide/<p>Хочешь запустить большую языковую модель локально, но не знаешь, какой файл скачать? Q4_K_M, IQ3_S, Q5_K_M - это не случайный набор символов. Это формат квантизации, и от него зависит качество ответов и сколько памяти съест модель.</p>