Unsupervised Learning چیست؟ – توضیح به زبان ساده

یادگیری ماشین زیرشاخه‌ای مهم از هوش مصنوعی است که کامپیوترها را قادر می‌سازد تا پیش‌بینی کرده و از محیط اطراف خود یاد بگیرند. همچنین از طریق پیش‌بینی و بررسی اطلاعات ورودی، به انسان‌ها نیز در تصمیم‌گیری کمک می‌کند. به نسبت نوع و ماهیت مسئله، برخی مدل‌های یادگیری ماشین به مجموعه‌داده‌های از قبل برچسب‌گذاری شده نیاز داشته و برخی دیگر فرایند یادگیری مستقلی دارند. روش «یادگیری نظارت نشده» (Unsupervised Learning) زیرمجموعه‌ای از یادگیری ماشین و متمرکز بر کشف الگوها و ساختارهای موجود در داده است که نیازی به داده‌های برچسب‌گذاری شده ندارد. در این مطلب از مجله فرادرس، به پرسش مهم یادگیری نظارت شده چیست پاسخ می‌دهیم و با گستره رایجی از انواع مختلف آن آشنا می‌شویم. نوعی ویژه از هوش مصنوعی که علاوه‌بر ایجاد توانایی یادگیری در الگوریتم‌ها، به آن‌ها این امکان را می‌دهد تا بدون نیاز به دخالت انسان، خود را با داده‌های جدید تطبیق دهند.

در این مطلب از مجله فرادرس، پس از آشنایی با مبانی اولیه یادگیری نظارت نشده به بررسی تفاوت آن با یادگیری نظارت شده پرداخته و به نقش داده‌های برچسب‌دار در این دسته از الگوریتم‌ها پی می‌بریم. پس از معرفی انواع و کاربردهای یادگیری نظارت نشده، شرحی از چالش‌ها و روش‌های پیشرفته ارائه می‌دهیم. در انتهای این مطلب، از تاثیر دو رویکرد یادگیری عمیق و یادگیری انتقالی در یادگیری نظارت نشده می‌گوییم و به چند مورد از پرسش‌های متداول در این زمینه پاسخ می‌دهیم.

مبانی Unsupervised Learning چیست؟

فیلم مجموعه آموزش داده کاوی و یادگیری ماشین – مقدماتی تا پیشرفته در فرادرس

کلیک کنید

• پیچیدگی محاسباتی بالا.
• احتمال بالای وقوع خطا در خروجی.
• مدت زمان آموزش طولانی.
• نیاز به انسان برای سنجش خروجی.
• تفسیرپذیری پایین روش‌های خوشه‌بندی.

یکی از چالش‌های اصلی در یادگیری نظارت شده، تعیین تعداد مناسب «خوشه‌ها» (Clusters) یا ابعاد لازم برای تحلیل داده است. چالشی که اغلب با عنوان «مسئله انتخاب مدل» (Model Selection Problem) از آن یاد می‌شود. در یادگیری نظارت شده از تکنیک‌هایی مانند روش Elbow و «تحلیل نیم‌رخ» (Silhouette Analysis) برای تخمین بهینه تعداد خوشه‌ها یا ابعاد استفاده می‌شود. از آن‌جایی که در این روش خبری از برچسب نیست که با خروجی مقایسه شود، نیاز به معیاری مشخص برای سنجش عملکرد مدل، چالشی دیگر در یادگیری نظارت نشده است.

به‌طور معمول، محققان برای حل این مشکل به معیارهای ارزیابی مبتنی‌بر دامنه بسنده می‌کنند و به دلیل قابلیت سنجش آسان، یادگیری نظارت نشده را به عنوان مرحله‌ای پیش از یادگیری نظارت شده در نظر می‌گیرند. یادگیری نظارت نشده در زمینه‌های بسیاری از جمله الگوریتم‌ها و مجموعه‌داده‌های مورد استفاده، چالش‌ها و کاربردها با یادگیری نظارت شده متفاوت است و بازه گسترده‌ای از کاربردها را دربر می‌گیرد.

تفاوت یادگیری نظارت شده و Unsupervised Learning چیست؟

در جدول زیر به برخی از تفاوت‌های کلیدی میان دو روش یادگیری نظارت شده و نظارت نشده اشاره شده است:

داده ‌های برچسب‌دار و یادگیری نظارت شده

گفتیم که تفاوتی یادگیری نظارت شده و Unsupervised Learning چیست اما در ادامه باید با داده‌های برچسب‌دار نیز آشنا شویم تا درک بهتری از این موضوع پیدا کنیم. نمونه برچسب‌گذاری شده در واقع نوعی داده است که همراه با خروجی صحیح یا همان «متغیر هدف» (Target Variable) ارائه می‌شود. چنین داده‌هایی برای آموزش الگوریتم‌های یادگیری نظارت شده ضرورت دارند؛ تا حدی که فرایند یادگیری الگوریتم‌ها از طریق تحلیل ارتباط میان ویژگی‌های ورودی و خروجی‌های مرتبط صورت می‌گیرد. برچسب‌ها در حقیقت همان پاسخ‌های صحیحی هستند که الگوریتم سعی دارد در مواجهه با داده‌های جدید پیش‌بینی کند. به عنوان مثال، عمل دسته‌بندی تصاویر حیوانات به دسته‌های مختلف مانند سگ یا گربه را در نظر بگیرید. در چنین مسئله‌ای، داده‌های برچسب‌گذاری شده شامل تصاویر سگ‌ها و گربه‌ها همراه با برچسب متناظر با کلاس تصویر می‌شوند. طی فرایند آموزش، الگوریتم از این برچسب‌های نمونه برای یادگیری الگوها و ویژگی‌های متمایزکننده سگ‌ها و گربه‌ها استفاده می‌کند.

انواع Unsupervised Learning چیست؟

همان‌طور که پیش‌تر نیز به آن اشاره شد، یادگیری نظارت نشده، تکنیکی برای گروه‌بندی داده‌های بدون برچسب یا پاسخ است. یادگیری نظارت نشده را می‌توان به دو دسته عمده تقسیم کرد:

• «خوشه‌بندی» (Clustering)
• «کاهش ابعاد» (Dimensionality Reduction)

هدف این روش‌ها، شناسایی الگو و ساختارهای داده، به‌منظور درک و تفسیر بهتر اطلاعات نهفته است.

روش خوشه‌بندی در Unsupervised Learning چیست؟

فیلم آموزش خوشه بندی با الگوریتم های تکاملی و فراابتکاری در فرادرس

کلیک کنید

• گروه‌بندی ستاره‌ها بر اساس میزان روشنایی.
• دسته‌بندی مستندات بر اساس عنوان.
• طبقه‌بندی حیوانات و موجودات زنده.

در ادامه به بررسی دقیق‌تر برخی از رایج‌ترین تکنیک‌های خوشه‌بندی می‌پردازیم.

روش خوشه‌بندی K میانگین

این فرایند تا زمانی ادامه پیدا می‌کند که موقعیت هر مرکز ثابت شده یا تعداد تکرارها به حد نصاب خود رسیده باشد. الگوریتم K میانگین از نظر محاسباتی کارآمد است و با مجموعه‌داده‌های بزرگ به خوبی کار می‌کند. موقعیت اولیه مراکز خوشه از اهمیت بالایی در الگوریتم‌های خوشه‌بندی برخوردار است. اگر انتخاب موقعیت اولیه مناسب نباشد، نتیجه به سمت «کمینه محلی» (Local Minimum) همگرا شده و نتیجه قابل قبولی حاصل نمی‌شود. الگوریتمی بهینه است که در آن کمینه‌سازی درون هر خوشه صورت بگیرد. در فهرست زیر، چند مورد از روش‌های مختلف اندازه‌گیری فاصله میان نمونه‌های هر خوشه را ملاحظه می‌کنید:

فیلم آموزش خوشه‌بندی K-Means با SPSS در فرادرس

کلیک کنید

• «فاصله اقلیدسی» (Euclidean Distance): ابتدا مربع فواصل میان هر دو نمونه به‌دست آمده و ریشه دوم آن محاسبه می‌شود.

$$Euclidean \: Distance = \sqrt{\sum_{k=1}^m(X_{ik} - X_{jk})^2}$$

• «فاصله منهتن» (Manhattan Distance): قدر مطلق فاصله میان جفت نمونه‌ها محاسبه می‌شود.

$$Manhattan \: Distance = max_k\mid X_{ik} - X_{jk}\:\mid$$

• «فاصله چبیشف» (Chebychev Distance): ابتدا تفاضل میان نمونه‌ها را حساب کرده و سپس اندازه مطلق را به‌دست می‌آورد.

$$Chebychev \: Distance = max(\mid X_A - X_B\mid, \mid Y_A - Y_B\mid)$$

• «فاصله مینکوسکی» (Minkowski Distance): معیاری که برای اندازه‌گیری فاصله از آن استفاده می‌شود.

$$Minkowski \: Distance = (\sum_{k=1}^d\mid X_{ik} - X_{jk}\mid^{1/p})^p$$

روش خوشه‌بندی سلسله مراتبی

• خوشه‌بندی ترکیبی: ابتدا هر نمونه یک خوشه است و الگوریتم به‌طور مکرر، نزدیک‌ترین جفت خوشه‌ها را با یک‌دیگر ادغام می‌کند تا زمانی که تنها یک خوشه باقی بماند.
• خوشه‌بندی تقسیمی: در ابتدا تمامی نمونه‌ها در یک خوشه قرار گرفته و سپس هر خوشه به شیوه‌ای بازگشتی، تا زمانی که هر نمونه داده خوشه مجزای خود را تشکیل دهد، تقسیم می‌شوند.

نتیجه نهایی خوشه‌بندی سلسله مراتبی، «دندروگرام‌های» (Dendrograms) قابل تفسیرتری نسبت به سایر روش‌ها دارد. اما هزینه محاسباتی این روش از خوشه‌بندی K میانگین بیشتر بوده و ممکن است برای مجموعه‌داده‌های بزرگ مناسب نباشد.

روش کاهش ابعاد در Unsupervised Learning چیست؟

هر مجموعه‌داده می‌تواند ویژگی‌ها و ابعاد زیادی داشته باشد که پردازش آن را از نظر محاسباتی پیچیده و هزینه‌بر می‌کند. از تکنیک «کاهش ابعاد» (Dimensionality Reduction) برای کاهش تعداد ویژگی‌ها یا ابعاد یک مجموعه‌داده، همزمان با حفظ ساختار و روابط اصلی در یادگیری نظارت نشده استفاده می‌شود. معضل «طلسم ابعاد» (Curse of Dimensionality) به مشکلی گفته می‌شود که در آن با افزایش ابعاد مجموعه‌داده، عملکرد الگوریتم یادگیری ماشین تضعیف می‌شود. تکنیک کاهش ابعاد به حل این معضل کمک کرده و از جمله مزایای آن می‌توان به موارد زیر اشاره کرد:

• بهبود بهره‌وری محاسباتی.
• کاهش نویز.
• بهبود نحوه نمایش داده.

کاهش ابعاد انواع مختلفی دارد؛ اما برخی نسبت به سایر روش‌ها کاربرد بیشتری دارند که در ادامه این مطلب از مجله فردارس، به معرفی چند مورد از آن‌ها می‌پردازیم.

روش تحلیل مولفه اصلی

محدودیت روش PCA

در PCA فرض بر این است که نقاط داده در زیرفضایی خطی واقع شده‌اند. به همین خاطر و از آن‌جایی که به‌طور تخصصی با داده‌های خطی کار می‌کند، محدوده کاربردی چندان وسیعی ندارد.

روش t-توکاری همسایگی تصادفی توزیع شده

• توزیع اول بیان‌گر شباهت‌های «زوجی» (Pairwise) در ابعاد فضایی بالا است.
• توزیع دوم نمایشی از شباهت‌های زوجی در ابعاد فضایی پایین است.

هدف توزیع دوم در حفظ ساختار محلی داده‌ها و کاربرد روش t-SNE برای مصورسازی مجموعه‌داده‌هایی با ابعاد بالا خلاصه می‌شود.

محدودیت الگوریتم های t-SNE

ممکن است روش t-SNE از نظر محاسباتی برای مجموعه‌داده‌های بزرگ گران تمام شود. از طرفی نتایج آن وابسته به انتخاب «ابَرپارامترهای» (Hyperparameters) مناسب است.

دو الگوریتم PCA و t-SNE نقاط قوت و ضعف مختص خود را دارند و انتخاب تکنیک کاهش ابعاد به نوع مسئله و مجموعه‌داده بستگی دارد. یک راه موثر برای کاهش ابعاد، استفاده ترکیبی از روش‌ها است. به عنوان مثال، تکنیک‌های کاهش ویژگی می‌توانند در مرحل پیش‌پردازش داده‌ها قرار گرفته و فرایندهای دیگر مانند خوشه‌بندی و تشخیص ناهنجاری توسط یادگیری نظارت نشده انجام شوند.

کاربرد های Unsupervised Learning چیست؟

فیلم آموزش پردازش زبان‌ طبیعی با Python و NLTK در فرادرس

کلیک کنید

تشخیص ناهنجاری در Unsupervised Learning چیست؟

پس از خوشه‌بندی، نمونه‌هایی که در هیچ خوشه‌ای قرار نداشته یا فاصله قابل توجهی با مرکز خوشه دارند، به عنوان ناهنجاری علامت‌گذاری می‌شوند. همچنین کاهش ابعاد، یکی دیگر از روش‌های مورد استفاده در تشخیص ناهنجاری است که تمرکز آن بر نمایش داده‌ها در فضایی با ابعاد کمتر است. الگوریتم PCA می‌تواند نگاشتی از نمونه‌ها در زیرفضایی با ابعاد کمتر ارائه داده و «خطای بازسازی» (Reconstruction Error) میان نمونه‌های جدید و داده‌های اصلی را به عنوان نمادی از ناهنجاری مورد استفاده قرار دهد. به این خاطر که نمی‌توان نقاط داده با خطای بازسازی بالا را در فضایی با ابعاد پایین به نمایش گذاشت، احتمال آن‌که به عنوان ناهنجاری شناخته شوند زیاد است.

سیستم های توصیه‌گر در Unsupervised Learning چیست؟

الگوریتم‌هایی که بر اساس اولویت‌ها، رفتار و یا دیگر اطلاعات مفهومی، اقلام و محتوای مرتبط را به کاربران پیشنهاد می‌دهند. یادگیری نظارت نشده نقش مهمی در توسعه «سیستم‌های توصیه‌گر» (Recommender Systems) داشته و به شناسایی الگوهای میان داده‌ای برای ارائه پیشنهادات شخصی‌سازی شده کمک می‌کند. در لیست زیر به شرح چند مورد از روش‌های کاربردی در سیستم‌های توصیه‌گر پرداخته‌ایم:

• خوشه‌بندی: این روش، کاربردی رایج از یادگیری نظارت نشده در سیستم‌های توصیه‌گر است. از خوشه‌بندی برای گروه‌بندی کاربران یا اقلام بر اساس میزان شباهت آن‌ها به یک‌دیگر استفاده می‌شود. به عنوان مثال، پس از اجرای الگوریتم K میانگین بر روی مجموعه‌ای از داده‌ها، یک سیستم توصیه‌گر می‌تواند پیشنهاداتی بر اساس خریدها و تاریخچه مرورگر مشتری به او ارائه دهد.
• کاهش ابعاد: دو روش PCA و t-SNE را می‌توان به عنوان راهکارهایی برای ساده‌سازی داده‌ها در سیستم‌های توصیه‌گر معرفی کرد. تکنیک‌هایی که موجب بهبود بیشتر کارآمدی این سیستم‌ها می‌شوند. نحوه کار الگوریتم‌های PCA و t-SNE به این شکل است که به‌منظور شناسایی معیارهای پنهانِ موثر در ردیابی اولویت‌ها و رفتارها، تعاملات میان کاربر و محصول را به فضایی با ابعاد پایین‌تر نگاشت می‌کنند. در نهایت نیز، معیارهای شباهت محاسبه شده و پیشنهادات مختص به هر کاربر تولید می‌شوند.
• «پالایش گروهی» (Collaborative Filtering): فرض بر این گذاشته می‌شود که کاربرانی با سلیقه مشابه در انتخاب و برقراری ارتباط با محصول،‌ در آینده نیز اولویت‌های نزدیکی خواهند داشت. روش پالایش گروهی به دو نوع «کاربر-محور» (User-based) و «محصول-محور» (Item-based) تقسیم می‌شود. وقتی پیشنهادات بر اساس معیارهای مشابه کاربران تولید شوند به آن کاربر-محور گویند و در غیر این‌صورت اگر پیشنهادات مبتنی‌بر شباهت میان محصولات باشند، نتیجه نهایی را محصول-محور می‌نامند. در هر دو حالت، امتیاز شباهت از طریق معیارهای فاصله مختلفی از جمله «شباهت کسینوسی» (Cosine Similarity) یا «ضریب همبستگی پیرسون» (Pearson Correlation Coefficient)  قابل محاسبه است.

پردازش زبان طبیعی

زیرشاخه‌ای از هوش مصنوعی که بر تعاملات میان کامپیوتر و زبان انسان متمرکز است. حوزه «پردازش زبان طبیعی» (Natural Language Processing | NLP) شامل توسعه الگوریتم‌ها و مدل‌های یادگیری ماشین برای درک، تفسیر و تولید زبان انسان به شیوه‌ای قابل فهم و کارآمد می‌شود. به کمک آخرین فناوری‌های هوش مصنوعی، امروزه روش‌های مربوط به حوزه NLP علاوه‌بر درک واژگان و عبارات زبان انسان، می‌توانند الگوهای زبان شناختی را نیز یاد بگیرند. یادگیری نظارت نشده با توانایی کشف الگوهای پنهان و ساختار داده‌های متنی، بدون نیاز به نمونه‌های برچسب‌گذاری شده، بسیار در توسعه سیستم‌های NLP موثر واقع می‌شود.

فیلم آموزش پردازش زبان‌ طبیعی در پایتون در فرادرس

کلیک کنید

کاربرد های پردازش زبان طبیعی

• «تجزیه و تحلیل متن» (Text Analysis): برای پیدا کردن عناوین پنهان متن، استفاده از تکنیکی به نام «تخصیص پنهان دیریکله» (Latent Dirichlet Allocation | LDA) در یادگیری نظارت نشده رواج دارد. در این روش، ابتدا عناوین و موضوعات مختلف خوشه‌بندی شده و سپس تعداد تکرار واژگان بررسی می‌شود.
• «تعبیه‌سازی واژگان» (Word Embedding): بردارهایی پیوسته که مفاهیم معنایی را در خود ذخیره می‌کنند. از جمله روش‌های پر استفاده برای تجزیه و تحلیل متون بزرگ می‌توان به Word2Vec و GloVe اشاره کرد. با استفاده از چنین روش‌هایی می‌توان محتوای متن را پیش‌بینی کرد و از نتیجه آن به عنوان ورودی سیستم‌های NLP در کاربردهایی مانند «تحلیل معنایی» (Sentiment Analysis) و «ترجمه ماشینی» (Machine Translation) بهره گرفت.

یادگیری نظارت نشده در NLP اغلب نیازمند مراحل پیش‌پردازشی همچون «جداسازی» (Tokenization)، «ریشه‌یابی» (Stemming) و حذف «واژگان توقف» (Stop-Words) در جهت تبدیل متون خام به فرمتی مناسب برای تجزیه و تحلیل است. همچنین انتخاب روش‌های یادگیری نظارت نشده به مسئله و مجموعه‌داده بستگی داشته و نتیجه بهینه تنها با شناخت کافی از هدف اصلی حاصل می‌شود.

چالش های Unsupervised Learning چیست؟

فیلم آموزش انتخاب‌ویژگی در داده‌کاوی در فرادرس

کلیک کنید

انتخاب ویژگی

در مقایسه با یادگیری نظارت شده و از آن‌جایی که یادگیری بدون نظارت از داده‌های بدون برچسب استفاده می‌کند، ممکن است «انتخاب ویژگی» (Feature Selection) تبدیل به چالشی بزرگ شود. در انتخاب ویژگی، مفیدترین ویژگی‌ها یا متغیرهای موجود در مجموعه‌داده به عنوان ورودی الگوریتم‌های یادگیری نظارت نشده انتخاب می‌شوند. کیفیت ویژگی‌ها تاثیر به‌سزایی در عملکرد الگوریتم دارند؛ همان‌طور که ویژگی‌های اضافی باعث ایجاد نویز شده و شناسایی الگوهای معنایی داده‌ها را برای مدل یادگیری ماشین دشوار می‌سازند. به‌طور کلی، انتخاب ویژگی در یادگیری نظارت نشده از سه طریق زیر انجام می‌شود:

• «روش‌های جداسازی» (Filter Methods): در چنین روش‌هایی، ویژگی‌ها بر اساس معیاری مشخص مانند واریانس یا «اطلاعات متقابل» (Mutual Information) رده‌بندی شده و زیرمجموعه‌ای با بالاترین امتیاز انتخاب می‌شود. روش‌های جداسازی از نظر محاسباتی بهینه بوده و مستقل از الگوریتم‌های یادگیری عمل می‌کنند. با این حال، روابط میان ویژگی‌ها یا پیش‌نیازهای فرایند یادگیری، در نظر گرفته نمی‌شود.
• «روش‌های پوششی» (Wrapper Methods): روش‌های پوششی ابتدا عملکرد الگوریتم یادگیری نظارت نشده را نسبت به زیرمجموعه‌های مختلفی از ویژگی‌ها ارزیابی کرده و در نهایت، زیرمجموعه‌ای با بهترین نتایج را انتخاب می‌کنند. دقت این روش‌ها از انوع دیگر مانند جداسازی بیشتر است؛ اما باید توجه داشت که از نظر محاسباتی برای مجموعه‌داده‌های بزرگ و فضاهای ویژگی با ابعاد بالا گران‌تر تمام می‌شوند.
• «روش‌های تعبیه شده» (Embedded Methods): در روش‌های تعبیه شده، انتخاب ویژگی به عنوان بخشی از الگوریتم یادگیری با آن ادغام می‌شود. به عنوان مثال، برخی از تکنیک‌های یادگیری نظارت نشده مانند PCA یا «لاسو» (Lasso)، از طریق کاهش ابعاد یا اعمال محدودیت بر پارامترهای مدل، عمل انتخاب ویژگی را اجرا و توازن خوبی میان بهره‌وری محاسباتی و دقت برقرار می‌کنند. با این حال، امکان دارد استفاده از آن‌ها به الگوریتم‌های یادگیری خاص یا فرضیاتی درباره داده‌ها محدود باشد.

گزینش روش انتخاب ویژگی مناسب

گزینش تکنیک انتخاب ویژگی مناسب و همچنین تعداد ویژگی‌های بهینه، اغلب نیازمند تجربه و بررسی دقیق محدودیت‌های مسئله است.

ارزیابی مدل در Unsupervised Learning چیست؟

از آن‌جایی که برچسبی برای مقایسه خروجی الگوریتم وجود ندارد، ممکن است ارزیابی مدل‌های یادگیری نظارت نشده به چالش تبدیل شود. به این شکل، دیگر نمی‌توان مطمئن شد که آیا ساختارهای نهفته داده با موفقیت شناسایی شده و یا تنها برازشی بر نویزها صورت گرفته است. پژوهشگران اغلب برای حل این مشکل، از معیارهای ارزیابی مختص به دامنه و یادگیری نظارت نشده به عنوان مرحله پیش‌پردازش در یادگیری نظارت شده استفاده می‌کنند. به عنوان دو نمونه مهم از روش‌های ارزیابی مدل، معیارهای زیر را در نظر بگیرید:

• «معیارهای ارزیابی داخلی» (Internal Evaluation Metrics): چنین معیارهایی در سنجش کیفیت مدل‌های یادگیری نظارت نشده کاربرد دارند. معیارهای ارزیابی داخلی بر اساس ویژگی‌های مدل مانند «فشردگی» (Compactness) و «تفکیک‌پذیری خوشه‌ها» (Separation of Clusters) در الگوریتم‌های خوشه‌بندی یا خطای بازسازی در تکنیک‌های کاهش ابعاد عمل می‌کنند. معیار «نیم‌رخ» (Silhouette) و «شاخص ارزیابی دیویس-بولدین» (Davies-Bouldin Index)، نمونه‌هایی معمول از معیارهای ارزیابی داخلی هستند. این معیارها، ارزیابی ویژگی‌هایی مانند شباهت، نرخ پراکندگی و تحلیل خوشه‌ها را بر عهده دارند. با این حال، تضمینی در هم‌راستا بدون معیارهای داخلی با ساختار داده‌ها وجود ندارد.
• «معیارهای ارزیابی خارجی» (External Evaluation Metrics): معیارهایی که خروجی مدل‌های یادگیری نظارت نشده را در مقایسه با مجموعه‌ای از برچسب‌های حقیقی یا نمونه‌های شناخته شده قرار می‌دهند. کاربرد اصلی معیارهای ارزیابی خارجی در سنجش مجموعه‌داده‌های برچسب‌دار است. «شاخص رَند اصلاح شده» (Adjusted Rand Index) و «اطلاعات متقابل نرمال‌سازی شده» (Normalized Mutual Information) دو مورد از معیارهای ارزیابی خارجی هستند. اما به‌خاطر وابستگی به داده‌های برچسب‌گذاری شده، معیارهای ارزیابی خارجی تنها در کاربردهای محدودی از یادگیری نظارت نشده استفاده می‌شوند.

انتخاب معیار ارزیابی مناسب وابسته به نوع مسئله و مجموعه‌داده به‌کار گرفته شده است. شاید در مواردی نیاز باشد از ترکیب معیارهای داخلی و خارجی و تکنیک‌های ارزیابی دیگری همچون «بازرسی بصری» (Visual Inspection) یا «قضاوت کارشناسانه» (Expert Judgment) برای ارزیابی کارایی مدل‌های یادگیری نظارت نشده استفاده کرد.

روش های پیشرفته در یادگیری نظارت نشده

کاربرد یادگیری عمیق در Unsupervised Learning چیست؟

هدف یادگیری عمیق، استفاده از شبکه‌های عصبی چند لایه برای مدل‌سازی الگوهای پیچیده موجود در داده است. یادگیری عمیق تا به امروز در زمینه‌های مختلفی از یادگیری نظارت شده مانند «دسته‌بندی تصاویر» (Image Classification) و تشخیص گفتار موفق عمل کرده است. علاوه‌بر آن، در یادگیری نظارت نشده نیز کاربرد داشته و از آن برای کشف ساختارهای پیچیده‌تری درون مجموعه‌داده استفاده می‌شود. در ادامه، چند مورد مهم از این کاربردها را بررسی می‌کنیم.

فیلم آموزش یادگیری عمیق با TensorFlow 2 در فرادرس

کلیک کنید

خودرمزگذارها

شبکه های مولد تخاصمی

یادگیری عمیق با آشکار ساختن الگوهای پیچیده مجموعه‌داده، به عملکردی بهتر و در نهایت مدل‌های یادگیری ماشین موثرتری در یادگیری نظارت نشده ختم می‌شود.

محدودیت های یادگیری عمیق

تکنیک‌های مبتنی‌بر یادگیری عمیق در یادگیری نظارت نشده، اغلب به حجم زیادی از داده و منابع محاسباتی نیاز دارند که نسبت به سایر روش‌ها در پیاده‌سازی با چالش بیشتری روبه‌رو هستند.

کاربرد یادگیری انتقالی در Unsupervised Learning چیست؟

فیلم آموزش یادگیری‌ انتقال در فرادرس

کلیک کنید

بنابراین، با «میزان‌سازی دقیق» (Fine-Tuning) الگوریتم‌های از پیش آموزش دیده، مدل‌های جدیدی حاصل می‌شوند که علاوه‌بر کارآمدی بالا، مصرف محاسباتی کمتری نیز دارند. دانش انتقالی باعث بهبود عملکرد مسائلی با تعداد داده‌های برچسب‌دار محدود می‌شود. به‌طور معمول، کاربرد چنین مدل‌هایی در مسائل NLP مانند تحلیل معنایی، ترجمه ماشینی، سیستم‌های پرسش و پاسخ و «دسته‌بندهای متنی» (Text Classifiers) است.

محدودیت های یادگیری انتقالی

در حالی که یادگیری انتقالی نوعی مدل یادگیری کارآمد است، اما محدودیت‌هایی نیز دارد:

• وابستگی موضوعی: یادگیری انتقالی تنها زمانی بهترین عملکرد خود را به نمایش می‌گذارد که ارتباطی میان مسئله اولیه و هدف وجود نداشته باشد. در غیر این‌صورت، دانش انتقالی و کاربردهای جدید تحت تاثیر قرار می‌گیرند.
• «مجموعه‌داده‌های جهت‌دار» (Biased Datasets): هنگامی که مدل‌های یادگیری ماشین بر روی مجموعه‌داده‌های بزرگ آموزش می‌بینند، دچار سوگیری شده و به عملکردی کمتر از حد مطلوب ختم می‌شوند.
• میزان‌سازی دقیق: مدل‌های یادگیری انتقالی نسبت به تعداد محدود داده‌های هدف «بیش‌برازش» (Overfit) شده و در نتیجه دیگر قادر به شناسایی نمونه‌های جدید نخواهند بود.

سوالات متداول پیرامون Unsupervised Learning چیست؟

اگر مطلب را تا اینجا مطالعه کرده باشید، به خوبی می‌دانید که Unsupervised Learning چیست و حالا زمان خوبی است تا در این بخش به چند مورد از پرسش‌های متداول در این زمینه پاسخ دهیم.

تفاوت بین یادگیری نظارت شده و Unsupervised Learning چیست؟

در یادگیری نظارت شده، الگوریتم‌ها با داده‌هایی آموزش می‌بینند که خروجی مطلوب یا به اصطلاح برچسب‌ها شناخته شده هستند. در مقابل، الگوریتم‌های یادگیری نظارت نشده بدون هیچ دانش پیشینی از خروجی، داده‌ها را تحلیل و دسته‌بندی می‌کنند.

یادگیری نظارت نشده از چه تکنیک‌های استانداردی تشکیل شده است؟

تکنیک‌های استاندارد یادگیری نظارت نشده در دو گروه خوشه‌بندی مانند روش K میانگین و خوشه‌بندی سلسله مراتبی و روش کاهش ابعاد مانند PCA و t-SNE قرار دارند.

نحوه به‌کارگیری یادگیری نظارت نشده در تشخیص ناهنجاری به چه شکل است؟

از یادگیری نظارت نشده در تشخیص ناهنجاری استفاده شده و نقاط داده یا الگوهای خارج از نُرم شناسایی می‌شوند. خوشه‌بندی و کاهش ابعاد روش‌های رایجی در تشخیص ناهنجاری هستند. روش خوشه‌بندی بر اساس فاصله میان نقاط داده و نزدیک‌ترین مراکز خوشه، ناهنجاری‌های موجود در داده را شناسایی می‌کند. از طرفی دیگر، معیار کشف ناهنجاری در کاهش ابعاد، خطای بازسازی نام دارد.

نقش یادگیری نظارت نشده در پردازش زبان طبیعی چیست؟

یادگیری نظارت نشده با آشکار ساختن الگوهای پنهان و ساختار داده‌های متنی بدون نیاز به نمونه‌های برچسب‌دار، نقش مهمی در پردازش زبان طبیعی بازی می‌کنند. روش‌هایی از جمله خوشه‌بندی، کاهش ابعاد و تعبیه‌سازی واژگان در موضوعاتی همچون تحلیل متن، «مدل‌سازی عنوان» (Topic Modeling) و تحلیل معنایی کاربرد دارند.

یادگیری انتقالی چگونه به یادگیری نظارت نشده مرتبط می‌شود؟

رویکرد یادگیری انتقالی از دانش به‌دست آمده در یک مسئله، برای بهبود عملکرد مدل یادگیری ماشین در کاربردی متفاوت بهره می‌برد. یادگیری نظارت نشده با استخراج ویژگی‌های ارزشمند از نمونه داده‌های مرجع و انتقال آن به مسئله هدف، نقش مهمی در یادگیری انتقالی ایفا می‌کند.

جمع‌بندی