در دیپ لرنینگ corpus به چه معناست؟ تفاوت corpus و dataset

تفاوت corpus و مجموعه داده (Dataset)

در یادگیری ماشین، اصطلاحات “corpus” و “dataset” اغلب به مفاهیم مشابهی اشاره دارند، حتی گاها به یک معنا استفاده می‌شوند، اما تفاوت‌هایی نیز وجود دارد.

اصطلاح “corpus” عمدتاً در حوزه پردازش زبان طبیعی (NLP) یا زمینه های مرتبط با متن/اسناد استفاده می شود، زیرا به معنای “مجموعه ای از متون نوشته شده، به ویژه کل آثار یک نویسنده خاص یا بدنه ای از نوشتن در مورد یک موضوع خاص” است.

a collection of written texts, especially the entire works of a particular author or a body of writing on a particular subject.

در مقابل، اصطلاح “دیتاست” (“dataset“) در هر حوزه کاربرد از جمله متن، تصویر، صوت، و داده های ساختاریافته استفاده میشود.

البته تفاوتی که بیان شد خیلی دقیق نیست، چرا که در حوزه متن بین corpus و دیتاست تفاوت وجود دارد، و در حوزه های غیر متنی، مثل سیستم های توصیه گر هم ما corpus را مشاهده میکنیم!

مثلا اگر کل داده های ویکی پدیا را برای آموزش یک مئل بدون سرپرست جمع آوری کنیم، میگوییم یک CORPUS متنی داریم، اما اگر تعدادی متن با لیبل یا برچسب برای طبقه بندی جمع آوری کنیم میگوییم یک دیتاست متنی داریم! (صد البته که اصطلاح labeled corpus به معنای corpus برچسب دار هم استفاده میشه!)

Data corpus refers to all data collected for a particular research project, while data set refers to all the data from the corpus that is being used for a particular analysis.

Braun, Virginia and Clarke, Victoria (2006) Using thematic analysis in psychology. Qualitative Research in Psychology, 3 (2). pp. 77-101. ISSN 1478-0887

فرض کنید می خواهید یک پروژه تحقیقاتی در مورد رفتار خرید مشتریان انجام دهید. برای این کار، باید داده های مختلفی را جمع آوری کنید، مانند:

* داده های جمعیتی مشتریان، مانند سن، جنسیت، درآمد و محل زندگی
* داده های خرید مشتریان، مانند محصولات خریداری شده، تاریخ خرید و مقدار خرید

این مجموعه کامل از داده ها، corpus نامیده می شود.

حالا فرض کنید می خواهید تجزیه و تحلیلی را بر روی داده های خرید مشتریان انجام دهید. برای این کار، باید یک زیرمجموعه از corpus را انتخاب کنید که شامل داده های خرید مشتریان باشد. این زیرمجموعه، مجموعه داده (dataset) نامیده می شود.

به عبارت دیگر، corpus مجموعه کاملی از داده های جمع آوری شده برای یک پروژه تحقیقاتی خاص است، در حالی که مجموعه داده (dataset) زیرمجموعه ای از مجموعه داده است که برای تجزیه و تحلیل خاص مورد استفاده قرار می گیرد.

در مثال بالا، corpus شامل تمام داده های جمعیتی و خرید مشتریان است. مجموعه داده (dataset) نیز شامل تمام داده های خرید مشتریان است، اما ممکن است فقط داده های مربوط به یک گروه خاص از مشتریان، مانند مشتریانی که در یک منطقه خاص زندگی می کنند، باشد.

corpus معمولاً بزرگتر از مجموعه داده (dataset) است. این به این دلیل است که corpus شامل تمام داده های جمع آوری شده برای یک پروژه تحقیقاتی است، در حالی که مجموعه داده (dataset) فقط شامل داده هایی است که برای تجزیه و تحلیل خاص مورد استفاده قرار می گیرد.