Типы квантизации LLM: памятка

Хочешь запустить большую языковую модель локально, но не знаешь, какой файл скачать? Q4_K_M, IQ3_S, Q5_K_M - это не случайный набор символов. Это формат квантизации, и от него зависит качество ответов и сколько памяти съест модель.