مدل SegGPT

SegGPT یک مدل عمومی است که اجازه می‌دهد ، دامنه‌ای از وظایف تقسیم‌بندی در تصاویر و ویدئوها را بصورت خودکار  از طریق استنباط در زمینه به انجام برسانید.

در این بلاگ پست شما با مطالب ‌‌‌ذیل آشنا خواهید شد 

• مقایسه مدل SegGPT با سایر مدل های لیبل زنی خودکار

• معرفی نمونه ای از یک مسئله و حل آن توسط SegGPT

• نحوه استفاده از SegGPT

مقایسه مدل SegGPT با سایر مدل های لیبل زنی خودکار

همانند دیگر مدل های هوشمند لیبل زنی مانند SAM(Segment Anything Model) و مدل های پایه پیشگامانه اخیر، مانند Grounding DINO  مدل SegGPT هم میتواند برای لیبل زنی خودکار و هوشمند داده ها استفاده شود .

اما چه تفاوت هایی بین این مدل ها وجود دارد و چرا SegGPT را برای تسک های خاص منظوره  خودمان باید استفاده کنیم؟

یکی از دلایل اصلی ترجیح SegGPT بر سایر مدل ها مانند SAM ، دفت بالای این مدل برای تسک های چالش دار و خاص منظوره و همچنین عدم نیاز به آموزش مجدد آن با داده های موجود هست .

شاید بگویید SAM هم نیازی به آموزش مجدد ندارد ،  بله حق باشماست اما SAM در برخی موارد همانند چالشی که در ادامه معرفی خواهد شد نمیتواند دفت خوبی را داشته باشد(حتی با در نظر گرفتن تمامی قابلیت هایی که دارد مانند نقطه گذاری و…) و  نیاز به finetune شدن دارد .

نتایج بدست آمده از مدل های مختلف که برتری SegGPT به وضوح قابل مشاهده هست.

برخی از ویژگی های کلیدی SegGPT

• برچسب گذاری سریعتر

براساس نتایج گزارش شده، زمانی که از SegGPTبه همراه یک ابزار annotationعکس خوب استفاده کنید امکان کاهش چشمگیر زمان لازم برای برچسب گذاری وجود دارد .

معرفی نمونه ای از یک مسئله و حل آن توسط SegGPT

یکی از چالشهایی که تشخیص ماسک اشیا رو دشوار میکند، همپوشانی داشتن دو یا چند آبجکت با توزیع رنگی مشابه با یکدیگر هست که تشخیص ماسک برای  آنها را دشوار میکند .

در نمونه ای که بررسی خواهد شد وقی انگشتان دست با چهره همپوشانی دارند ، تشخیص درست بخش های مختلف چهره و ماسک کردن آنها دشوار خواهد بود و مدل هایی همانند SAMبا تمامی قابلیت هایی که داشتند فادر به ماسک گذاری با دقت خوبی نبودند .

در نمونه مورد بررسی ما تعداد کمی عکس برچسب زده شده (5 تا) رو به مدل SegGPT دادیم و سپس پیشبینی مدل را برای داده های مختلف بررسی کردیم که دقت بسیار خوبی داشت .

5 نمونه عکسی که به مدل نشان دادیم :

حال بعد از شناساندن تسک به مدل با این 5تا عکس ماسک گذاری شده ، از مدل خواستیم تا عکس ورودی زیر را برای ما ماسک گذاری کند و همانطور که میبینید ، با دقت بسیار مطلوبی نتیجه میدهد :

توجه : میتوان با نشون دادن سمپل های بیشتر به SegGPT به افزایش دقت آن کمک کرد اما معمولا با همین تعداد سمپل کم نهایتا 5 تا میتوان نتیجه خوبی رو از مدل انتظار داشت .

نحوه استفاده از SegGPT 

با استفاده از این  نوتبوک شما هم میتوانید از SegGPT برای تسک خاص منظوره خودتان استفاده کنید .

راهنمایی استفاده از نوتبوک  :  ابتدا نیاز دارید تا اکانت خود را در Roboflow که امروزه در زمینه های Computer Vision استفاده گسترده ای دارد ، ایجاد کنید . سپس پروژه خود را ایجاد کرده و تعدادی از دادگان تسک خود را آپلود کنید ( حداکثر 10) .

حال تعداد بسیار کمی از داده های خود را ماسک گذاری کنید (پیشنهاد ما  2الی 3 ، البته که هرچقدر این تعداد بیشتر باشد بهتر خواهد بود) و مابقی داده های خود را دست نزده باقی بگذارید ، سپس طبق مراحل گفته شده در نوتبوک پیش بروید .

امیدواریم که این بلاگ پست برای شما مفید واقع شده باشد .

منبع