کاهش مصرف حافظه در LLM با bitsandbytes: آموزش و استنتاج سریع با کوانتیزاسیون 4 و 8 بیتی

کتابخانه bitsandbytes امکان استفاده از مدل‌های زبانی بزرگ (Large Language Models – LLM) را از طریق کوانتیزاسیون k-بیتی (k-bit quantization) در PyTorch فراهم می‌کند. این کتابخانه سه ویژگی اصلی برای کاهش قابل توجه مصرف حافظه در زمان استنتاج (inference) و آموزش (training) ارائه می‌دهد:

بهینه‌سازهای 8-بیتی (8-bit optimizers) از کوانتیزاسیون بلوکی (block-wise quantization) استفاده می‌کنند تا عملکرد 32-بیتی را با بخش کوچکی از مصرف حافظه حفظ کنند.
LLM.int8() یا کوانتیزاسیون 8-بیتی (8-bit quantization) امکان استنتاج مدل‌های زبانی بزرگ را با نیمی از حافظه مورد نیاز و بدون کاهش عملکرد فراهم می‌کند. این روش مبتنی بر کوانتیزاسیون برداری (vector-wise quantization) است که بیشتر ویژگی‌ها را به 8 بیت تبدیل می‌کند و مقادیر پرت (outliers) را به صورت جداگانه با ضرب ماتریسی 16-بیتی (16-bit matrix multiplication) پردازش می‌کند.
QLoRA یا کوانتیزاسیون 4-بیتی (4-bit quantization) امکان آموزش مدل‌های زبانی بزرگ را با چندین تکنیک صرفه‌جویی در حافظه فراهم می‌کند بدون اینکه عملکرد کاهش یابد. در این روش، مدل به 4 بیت کوانتیزه می‌شود و مجموعه کوچکی از وزن‌های قابل آموزش LoRA (Low-Rank Adaptation) اضافه می‌شود تا فرآیند آموزش امکان‌پذیر گردد.

در صورت علاقه در فصل 4 دوره‌ی آموزش هوش مصنوعی مولد با مدل‌های زبانی بزرگ (LLM) با موضوع “فاین‌تیون کردن کارآمد پارامترها (PEFT)” این مفاهیم به زبان ساده و روان فارسی تدریس شده است.