هرس مدل یا Model Pruning در یادگیری عمیق

مقدمه ای بر هرس مدل در هوش مصنوعی

در دنیای پرشتاب هوش مصنوعی، مدل‌های یادگیری عمیق به طور فزاینده‌ای پیچیده و حجیم می‌شوند. این مدل‌ها، اگرچه دقت بالایی دارند، اما اغلب به منابع محاسباتی زیادی برای آموزش و استقرار نیاز دارند. هرس مدل (Model Pruning) یک تکنیک بهینه‌سازی است که با حذف اتصالات غیرضروری در شبکه عصبی، اندازه مدل را کاهش داده و سرعت استنتاج را افزایش می‌دهد. در این مقاله، به بررسی جامع هرس مدل، انواع آن، مزایا و نحوه پیاده‌سازی آن با استفاده از TensorFlow و Keras می‌پردازیم.

این پست به بخش‌های زیر تقسیم شده است:

• مفهوم “عدم اهمیت” در توابع و شبکه‌های عصبی
• هرس یک شبکه عصبی آموزش‌دیده
• قطعه کدهای نمونه و مقایسه عملکرد بین مدل‌های مختلف
• تکنیک‌های نوین هرس

هرس مدل چیست؟

هرس مدل فرایندی است که در آن اتصالات (وزن‌ها) یا نورون‌های کم‌اهمیت در یک شبکه عصبی حذف می‌شوند. این فرایند باعث کاهش پیچیدگی مدل و افزایش کارایی آن می‌شود. در واقع، هرس مدل به دنبال حذف بخش‌هایی از مدل است که کمترین تأثیر را بر عملکرد کلی دارند.

توسعه مفهوم به شبکه‌های عصبی

مفهوم بالا را می‌توان به شبکه‌های عصبی نیز تعمیم داد. برای این کار، نیاز به جزئیات بیشتری است. وزن‌های یک شبکه آموزش‌دیده را در نظر بگیرید. چگونه می‌توان وزن‌های غیرمهم را تفسیر کرد؟ پیش‌فرض این موضوع چیست؟

برای پاسخ به این سوال، فرآیند بهینه‌سازی با گرادیان کاهشی را در نظر بگیرید. همه وزن‌ها با استفاده از مقادیر گرادیان یکسان به‌روز نمی‌شوند. گرادیان‌های یک تابع زیان معین نسبت به وزن‌ها (و بایاس‌ها) محاسبه می‌شوند.

در طول فرآیند بهینه‌سازی، برخی از وزن‌ها با مقادیر گرادیان بزرگ‌تری (هم مثبت و هم منفی) نسبت به سایر وزن‌ها به‌روز می‌شوند. این وزن‌ها توسط بهینه‌ساز برای کمینه‌سازی هدف آموزش، مهم در نظر گرفته می‌شوند. وزن‌هایی که گرادیان‌های نسبتاً کوچک‌تری دریافت می‌کنند، می‌توانند غیرمهم در نظر گرفته شوند.

پس از اتمام آموزش، می‌توانیم مقادیر وزن‌های یک لایه شبکه را لایه به لایه بررسی کرده و وزن‌های مهم را شناسایی کنیم. این تصمیم را می‌توان با استفاده از چندین روش اکتشافی اتخاذ کرد:

• می‌توانیم مقادیر وزن‌ها را به صورت نزولی مرتب کرده و آن‌هایی را که زودتر در صف ظاهر می‌شوند، انتخاب کنیم. این روش معمولاً با سطح پراکندگی (درصد وزن‌هایی که باید هرس شوند) که می‌خواهیم به آن برسیم، ترکیب می‌شود.
• می‌توانیم یک آستانه مشخص کنیم و تمام وزن‌هایی که مقادیر آن‌ها بالاتر از آن آستانه باشد، مهم در نظر گرفته می‌شوند. این طرح می‌تواند چندین نوع داشته باشد:
  • آستانه می‌تواند کمترین مقدار وزن در کل شبکه باشد.
  • آستانه می‌تواند مقدار وزن محلی برای لایه‌های داخل شبکه باشد. در این حالت، وزن‌های مهم به صورت لایه به لایه فیلتر می‌شوند.

اگر درک همه این موارد دشوار است، نگران نباشید. در بخش بعدی، همه چیز روشن‌تر خواهد شد.

روش اول: هرس کردن یک شبکه آموزش دیده با آموزش بیشتر

توصیه می‌شود از این نقطه به بعد، نوت‌بوک Colab ذکر شده در بالا را دنبال کنید.

ما قصد داریم شبکه‌ای را که قبلاً آموزش داده‌ایم، بگیریم و از آنجا هرس کنیم. ما یک برنامه هرس اعمال خواهیم کرد که سطح پراکندگی را در طول آموزش ثابت نگه می‌دارد (که توسط توسعه دهنده مشخص می‌شود). کد برای بیان این موضوع به شرح زیر است:

یک مدل هرس شده قبل از شروع آموزش نیاز به کامپایل مجدد دارد. ما آن را به همان روش کامپایل می‌کنیم و خلاصه آن را چاپ می‌کنیم:

pruned_model.compile(loss='sparse_categorical_crossentropy',
                  optimizer='adam',
                  metrics=['accuracy'])


pruned_model.summary()
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_conv2d ( (None, 26, 26, 12)        230       
_________________________________________________________________
prune_low_magnitude_max_pool (None, 13, 13, 12)        1         
_________________________________________________________________
prune_low_magnitude_flatten  (None, 2028)              1         
_________________________________________________________________
prune_low_magnitude_dense (P (None, 10)                40572     
=================================================================
Total params: 40,804
Trainable params: 20,410
Non-trainable params: 20,394
_________________________________________________________________

می‌بینیم که تعداد پارامترها اکنون تغییر کرده است. این به این دلیل است که tfmot ماسک‌های غیرقابل آموزش را برای هر یک از وزن‌های شبکه اضافه می‌کند تا مشخص کند که آیا یک وزن مشخص باید هرس شود یا خیر. ماسک‌ها یا 0 یا 1 هستند.

اگر در کولب آموزش دهید، می‌توانید ببینید که هرس کردن مدل به عملکرد آن آسیبی نمی‌رساند. خطوط قرمز مربوط به آزمایش‌های هرس کردن هستند.

همچنین می‌توانیم با نوشتن تست‌هایی مانند موارد زیر، بررسی کنیم که آیا tfmot به پراکندگی هدف رسیده است یا خیر:

for layer in model.layers:
    if isinstance(layer, pruning_wrapper.PruneLowMagnitude):
        for weight in layer.layer.get_prunable_weights():
            print(np.allclose(
                target_sparsity, get_sparsity(tf.keras.backend.get_value(weight)), 
                rtol=1e-6, atol=1e-6)
            )


def get_sparsity(weights):
    return 1.0 - np.count_nonzero(weights) / float(weights.size)

اجرای بررسی بر روی مدل هرس شده باید مقدار True را برای تمام لایه‌هایی که هرس شده‌اند، برگرداند.

دستورالعمل 2: مقداردهی اولیه تصادفی شبکه، هرس آن با آموزش از ابتدا

در این حالت، همه چیز مشابه دستورالعمل قبلی است، با این تفاوت که به جای شروع با یک شبکه از قبل آموزش دیده، با یک شبکه با مقداردهی اولیه تصادفی شروع خواهیم کرد.

def get_gzipped_model_size(file):
    _, zipped_file = tempfile.mkstemp('.zip')
    with zipfile.ZipFile(zipped_file, 'w', compression=zipfile.ZIP_DEFLATED) as f:
        f.write(file)


    return os.path.getsize(zipped_file)

می‌توانیم مدل‌های خود را با استفاده از TensorFlow Lite کوانتیزه کنیم تا اندازه آن‌ها را بدون افت عملکرد بیشتر کاهش دهیم. توجه داشته باشید که هنگام انتقال مدل‌های هرس‌شده به مبدل TensorFlow Lite، باید آن‌ها را پس از حذف پوشش‌های هرس منتقل کنید. این گزارش جزئیات بیشتری در مورد کوانتیزاسیون ارائه می دهد.

https://wandb.ai/authors/pruning/reports/Diving-Into-Model-Pruning-in-Deep-Learning–VmlldzoxMzcyMDg