دسته بندی دودویی (Binary Classification) – راهنمای کاربردی

۱۴۰۳/۰۷/۱۵

۱۱ دقیقه

۱۵۰۲

آموزش متنی جامع

در این مطلب، روش انجام دسته بندی دودویی (Binary Classification) در پایتون و با استفاده از کتابخانه یادگیری عمیق کرس (Keras) مورد بررسی قرار گرفته است. «کرس» (Keras) یک کتابخانه «پایتون» (Python Programming Language) برای «یادگیری عمیق» (Deep Learning) است که کتابخانه‌های عددی موثر «تنسورفلو» (TensorFlow) و «ثینو» (Theano) را پوشش می‌دهد. کرس این امکان را فراهم می‌کند که به سادگی و با سرعت، مدل‌های «شبکه‌های عصبی مصنوعی» (Artificial Neural Networks) و یادگیری عمیق را آموزش دهد. در این مطلب، چگونگی استفاده موثر از کتابخانه کرس در پروژه «یادگیری ماشین» (Machine Learning) برای «دسته‌بندی دودویی» (Binary Classification) شرح داده شده است. در ادامه، سرفصل‌های زیر مورد بررسی قرار گرفته‌اند:

دسته بندی دودویی (Binary Classification) – راهنمای کاربردی

فهرست مطالب این نوشته

توضیحات پیرامون مجموعه داده

مدل شبکه عصبی خط مبنا برای دسته بندی دودویی

اجرای مجدد مدل مبنا با آماده‌سازی داده‌ها

تنظیم لایه‌ها و تعداد نورون‌ها در مدل

ارزیابی یک شبکه کوچک‌تر

ارزیابی یک شبکه بزرگ‌تر

روش بارگذاری داده‌های آموزش و در دسترس قرار دادن آن برای کرس
روش طراحی و آموزش یک شبکه عصبی برای داده‌های جدولی
روش ارزیابی کارایی یک مدل شبکه عصبی روی داده‌های دیده نشده
روش انجام آماده‌سازی داده‌ها برای بهبود کار هنگام استفاده از شبکه‌های عصبی
چگونگی تنظیم توپولوژی و پیکربندی یک شبکه عصبی در کرس

توضیحات پیرامون مجموعه داده

«مجموعه داده‌ای» (Data Set) که در اینجا استفاده شده است، مجموعه داده «Sonar» [+] است. مجموعه داده سونار (Sonar) توسط «گورمن» (Gorman) و «سجنووسکی» (Sejnowski) طی مطالعاتی که پیرامون دسته‌بندی سیگنال‌های سونار با استفاده از شبکه‌های عصبی مصنوعی داشته‌اند، استفاده شده است. هدف از پژوهش‌های انجام شده توسط این دو پژوهشگر، آموزش دادن یک شبکه برای ایجاد تمایز بین سیگنال‌های سونار گسیل شده از یک استوانه فلزی و مواردی است که از صخره‌های تقریبا استوانه‌ای گسیل شده‌اند.

فیلم آموزش شبکه‌های عصبی مصنوعی در متلب در فرادرس

کلیک کنید

در واقع، این مجموعه داده، آواهای ردیابی شده‌ای که سیگنال‌های گسیل شده گوناگون را باز می‌گرداند، توصیف می‌کند. ۶۰ متغیر ورودی، موارد بازگردانده شده را از زوایای گوناگون قوت می‌بخشند. این یک مسئله دسته‌بندی دودویی است و نیاز به آن دارد که مدل صخره‌ها را از استوانه‌های فلزی تفکیک کند. این مجموعه داده را می‌توان به صورت رایگان دانلود و در پوشه کاری جاری با اسم sonar.csv ذخیره کرد. مجموعه داده سونار به خوبی قابل درک است. همه متغیرها پیوسته و عموما در طیف بین ۰ و ۱ هستند. متغیر خروجی، رشته «M» برای «Mine» و رشته «R» برای «Rock» است که به اعداد صحیح ۰ و ۱ تبدیل خواهد شد.

مزیت استفاده از این مجموعه آن است که یک مساله بنچ‌مارک استاندارد محسوب می‌شود. با استفاده از «اعتبارسنجی متقابل» (Cross-Validation) یک شبکه عصبی باید قادر باشد کارایی در حدود ٪۸۴ را با یک کران بالای در حدود ٪۸۸ روی صحت برای مدل‌های سفارشی به دست آورد.

مدل شبکه عصبی خط مبنا برای دسته بندی دودویی

در ادامه، یک شبکه عصبی خط مبنا و نتایج آن برای این مسئله، ساخته خواهد شد.

فیلم آموزش شبکه‌های عصبی مصنوعی در متلب در فرادرس

کلیک کنید

کار با «وارد کردن» (Import | ایمپورت) همه دسته‌ها و توابعی که مورد نیاز است آغاز می‌شود.

اکنون می‌توان مجموعه داده را با استفاده از «پانداس» (Pandas) و ستون‌ها را در ۶۰ متغیر ورودی (X) و یک متغیر خروجی (Y) بارگذاری کرد.

فیلم آموزش پانداس برای تحلیل داده‌ در پایتون در فرادرس

کلیک کنید

از پانداس برای بارگذاری این داده‌ها استفاده می‌شود زیرا به خوبی رشته‌ها را مدیریت می‌کند (متغیر خروجی)، در حالیکه تلاش برای بارگذاری داده‌ها به طور مستقیم با استفاده از «نام‌پای» (NumPy) دشوارتر خواهد بود.

متغیر خروجی، مقادیر رشته است. کاربر باید آن‌ها را به مقادیر صحیح ۰ و ۱ تبدیل کند. می‌توان این کار را با استفاده از کلاس LabelEncoder از «سایکیت‌لرن» (Scikit-Learn) انجام داد. این کلاس، کدبندی مورد نیاز برای استفاده در کل مجموعه داده را با استفاده از تابع fit()‎ فراهم می‌کند. سپس، کدبندی برای ساخت متغیر خروجی جدید با استفاده از تابع transform()‎ انجام می‌شود.

اکنون، زمان آن رسیده که مدل شبکه عصبی با استفاده از کرس ساخته شود. در ادامه، از کتابخانه سایکیت‌ لرن برای ارزیابی مدل با استفاده از «اعتبارسنجی متقاطع k-لایه» (K-Fold Cross Validation) طبقه‌بندی شده، استفاده شده است. این یک روش «بازنمونه‌گیری» (Re-Sampling) است که تخمینی از کارایی مدل فراهم می‌کند.

فیلم آموزش scikit-learn در پایتون در فرادرس

کلیک کنید

روش اعتبارسنجی متقابل، این کار را با تقسیم کردن داده‌ها به k بخش و آموزش دادن مدل روی همه بخش‌ها به جز یکی که به عنوان تست نگه داشته شده است تا کارایی مدل را ارزیابی کند، انجام می‌دهد. این فرایند، K بار تکرار می‌شود و امتیاز میانگین در همه مدل‌های ساخته شده به عنوان یک تخمین مستحکم از کارایی است. این روش طبقه‌بندی شده است، بدین معنا که به مقادیر خروجی نگاه می‌کند و تلاش می‌کند تا تعداد نمونه‌هایی که به هر کلاس در K بخش از داده‌ها تعلق دارند را موازنه کند.

برای استفاده از مدل‌های کرس با سایکیت‌لِرن، باید از پوشش‌دهنده KerasClassifier استفاده شود. این کلاس، تابعی را دریافت می‌کند که مدل شبکه عصبی را می‌سازد و باز می‌گرداند. همچنین، آرگومان‌هایی را دریافت می‌کند که در کنار فراخوانی به fit()‎ پاس می‌دهد؛ از این جمله می‌توان به تعداد «دوره‌ها» (Epochs) و سایز دسته اشاره کرد.

کار با تعریف تابعی آغاز می‌شود که مدل مبنا را می‌سازد. مدل یک لایه کاملا متصل پنهان را با تعداد مشابهی از نورون‌ها به عنوان متغیرهای ورودی می‌سازد. این مورد، به عنوان یک نقطه شروع پیش‌فرض خوب در هنگام ساخت شبکه‌های عصبی است.

وزن‌ها با استفاده از یک عدد تصادفی گاوسی کوچک مقداردهی اولیه می‌شوند. در اینجا، تابع فعال‌سازی «یکسوساز» (Rectifier) مورد استفاده قرار گرفته است. لایه خروجی، حاوی یک نورون یکتا به منظور انجام پیش‌بینی است. این مورد، از تابع «فعال‌سازی سیگموئید» (Sigmoid Activation Function) به منظور تولید خروجی احتمالی در طیف از ۰ و ۱ استفاده می‌کند که می‌تواند به راحتی و به صورت خودکار به مقادیر کلاس کریسپ تبدیل شود.

در نهایت، از تابع زیان لگاریتمی (binary_crossentropy) در طول آموزش استفاده می‌شود، که تابع زیان ترجیح داده شده برای مساله دسته‌بندی دودویی است. مدل همچنین از الگوریتم بهینه‌سازی موثر «آدام» (Adam Optimization) برای «گرادیان کاهشی» (Gradient Descent) استفاده می‌کند و سنجه‌های صحت هنگامی گردآوری می‌شوند که مدل آموزش دید.

اکنون، زمان آن فرا رسیده که این مدل را با استفاده از اعتبارسنجی متقابل طبقه‌بندی شده در چارچوب سایکیت‌لرن ارزیابی کرد. عدد دوره‌های آموزش مجددا با استفاده از مقادیر پیش‌فرض مناسب، به KerasClassifier پاس داده می‌شود. همچنین، خروجی طولانی نیز خاموش می‌شود که موجب می‌شود مدل ۱۰ بار برای انجام شدن اعتبارسنجی متقاطع ۱۰ لایه ساخته شود.

با قرار دادن کلیه این موارد در کنار هم، مثال کامل به صورت زیر حاصل می‌شود.

با اجرای قطعه کد بالا، خروجی زیر تولید می‌شود که میانگین و انحراف معیار صحت تخمین زده شده از مدل روی داده‌های دیده نشده را نشان می‌دهد.

تذکر: خروجی‌های حاصل در دفعات مختلف اجرا ممکن است متفاوت باشند. دلیل این امر، ماهیت تصادفی الگوریتم یادگیری مورد استفاده است. باید این موضوع را در نظر داشت که الگوریتم را باید چندین بار اجرا و میانگین خروجی‌ها را محاسبه کرد.

Baseline: 81.68% (7.26%)

این یک امتیاز خوب است که بدون انجام دادن کارهای سخت، حاصل شد.

اجرای مجدد مدل مبنا با آماده‌سازی داده‌ها

آماده سازی داده‌ها پیش از مدل‌سازی یک اقدام مثبت و لازم است. مدل‌های شبکه‌های عصبی به طور خاص برای داشتن مقادیر ورودی سازگار، هم در مقیاس و هم توزیع، مناسب هستند. یک شمای آماده‌سازی داده‌های موثر برای داده‌های جدولی هنگام ساخت مدل‌های شبکه عصبی، استانداردسازی است. این جایی است که داده‌ها دوباره مقیاس‌دهی شده‌اند، به طوری که مقدار میانگین برای هر خصیصه برابر با ۰ و انحراف معیار ۱ است. این امر، توزیع گاوسی و شبه گاوسی را حفظ می‌کند، ضمن اینکه معیارهای مرکزی را برای هر خصیصه نرمال‌سازی می‌کند.

فیلم آموزش شبکه‌های عصبی مصنوعی در متلب در فرادرس

کلیک کنید

می‌توان از سایکیت‌لرن برای انجام استانداردسازی مجموعه داده Sonar با استفاده از کلاس StandardScaler استفاده کرد. به جای انجام استانداردسازی روی کل مجموعه داده، بهتر است سعی شود که روال استانداردسازی روی داده‌های آموزش، در طول اجرای اعتبارسنجی متقابل آموزش داده شود و از استانداردسازی آموزش دیده برای آماده‌سازی لایه تست «دیده نشده» استفاده شود. این امر موجب می‌شود استانداردسازی یک گام در آماده‌سازی مدل در فرایند اعتبارسنجی متقابل باشد و از آنکه الگوریتم دانشی پیرامون «داده‌های دیده نشده» در طول ارزیابی داشته باشد، جلوگیری می‌کند؛ دانشی که ممکن است از شمای آموزش داده‌ها همچون توزیعی خرد، پاس داده شود.

می‌توان این خواسته را با استفاده از «پایپ‌لاین» (Pipeline) کتابخانه سایکیت‌لرن به دست آورد. این پایپ‌لاین، پوششی است که یک یا تعداد بیشتری مدل را درون یک پاس از روال اعتبارسنجی متقابل اجرا کند. در اینجا، می‌توان پایپ‌لاینی را با StandardScaler که به وسیله مدل شبکه عصبی دنبال می‌شود، تعریف کرد.

با قرار دادن کلیه این موارد در کنار یکدیگر، خروجی به صورت زیر خواهد بود.

با اجرای مثال بالا، نتایج زیر حاصل می‌شود.

تذکر: نتایج ممکن است به دلیل ماهیت تصادفی الگوریتم در اجراهای مختلف متفاوت باشد. بنابراین، بهتر است که چندین بار خروجی گرفته شود و کارایی میانگین در نظر گرفته شود. می‌توان بهبود اندک اما خیلی خوبی را در صحت میانگین مشاهده کرد.

Standardized: 84.56% (5.74%)

تنظیم لایه‌ها و تعداد نورون‌ها در مدل

چیزهای زیادی وجود دارد که باید در یک شبکه عصبی تنظیم شوند که از این جمله می‌توان به مقداردهی اولیه وزن‌ها، تابع فعال‌سازی، روال بهینه‌سازی و دیگر موارد اشاره کرد. جنبه‌ای که ممکن است یک تاثیر بزرگ داشته باشد، ساختار خود شبکه است که به آن، توپولوژی شبکه گفته می‌شود. در این بخش، نگاهی به دو تجربه روی ساختار شبکه انداخته می‌شود: بزرگ‌تر کردن و کوچک‌تر کردن آن. این‌ها تجربیات خوبی برای اجرا در هنگام تنظیم شبکه روی مسئله هستند.

فیلم آموزش شبکه‌های عصبی مصنوعی در متلب در فرادرس

کلیک کنید

ارزیابی یک شبکه کوچک‌تر

به نظر می‌رسد که «افزونگی» (Redundancy) زیادی در متغیرهای ورودی برای مسئله وجود دارد. داده‌ها سیگنال مشابهی را از زوایای گوناگون توصیف می‌کنند. ممکن است برخی از این زوایا نسبت به دیگر موارد مرتبط‌تر باشند. می‌توان نوعی از استخراج ویژگی را در شبکه با محدود کردن فضای بازنمایی در اولین لایه پنهان انجام داد.

در این آزمایش، مدل مبنا با ۶۰ نورون در لایه پنهان و کاهش آن به ۳۰ گرفته می‌شود. این موجب می‌شود در طول آموزش، فشار روی شبکه قرار بگیرد تا مهم‌ترین ساختارها در داده‌های ورودی برای مدل انتخاب شوند.

همچنین، داده‌ها در آزمایش پیشین با آماده‌سازی داده‌ها استانداردسازی می‌شوند و تلاش می‌شود تا از مزایای آن در بالا رفتن جزئی در کارایی استفاده شود.

با آزمودن کلیه این موارد با یکدیگر، مثال کامل به صورت زیر خواهد بود.

اجرای این مثال، نتایج زیر را به دست می‌دهد. می‌توان مشاهده کرد که تقویت جزئی در صحت میانگین تخمین زده شده و کاهش مهمی در «انحراف معیار» (Standard Deviation) (توزیع میانگین) از امتیاز صحت برای مدل اتفاق افتاده است.

نکته: نتایج در اجراهای مختلف ممکن است به دلیل ماهیت تصادفی الگوریتم یادگیری، متفاوت باشد. بنابراین، توصیه می‌شود که چندین اجرا گرفته و کارایی میانگین در نظر گرفته شود. این نتیجه خوبی است زیرا کار با شبکه‌ای با اندازه نصف، بهتر است و در نتیجه، نیمی زمان برای آموزش شبکه می‌برد.

Smaller: 86.04% (4.00%)

ارزیابی یک شبکه بزرگ‌تر

توپولوژی شبکه عصبی با لایه‌های بیشتر منجر به فرصت‌های بیشتری برای شبکه عصبی به منظور استخراج ویژگی‌های کلیدی و ترکیب مجدد آن‌ها در راه‌های مفید غیر خطی می‌شود. می‌توان ارزیابی کرد که افزودن لایه‌های بیشتر به شبکه، کارایی را به سادگی با انجام پیچش ناچیزی در تابع مورد استفاده برای ساخت مدل بهبود داد. در اینجا، یک لایه جدید (یک خط) به شبکه اضافه می‌شود که لایه پنهان دیگری با ۳۰ نورون را پس از لایه اول، معرفی می‌کند. شبکه اکنون دارای توپولوژی زیر است.

60 inputs -> [60 -> 30] -> 1 output

ایده در اینجا آن است که به شبکه فرصت آن که همه متغیرهای ورودی را پیش از قرار گرفتن در تنگنا و نصف کردن ظرفیت ارائه شود، مدل کند؛ درست مانند آنچه در مثال بالا و با شبکه کوچک‌تر انجام شد. به جای فشرده‌سازی نمایش خود ورودی‌ها، لایه پنهان دیگری وجود دارد تا در فرایند کمک کند.

با آزمودن کلیه این موارد همراه با هم، خروجی کامل به صورت زیر خواهد بود.

با اجرای مثال بالا، خروجی‌های زیر حاصل می‌شوند.

فیلم مجموعه آموزش شبکه‌ های عصبی مصنوعی – مقدماتی تا پیشرفته در فرادرس

کلیک کنید

تذکر: به دلیل ماهیت تصادفی الگوریتم یادگیری،‌ ممکن است نتایج در اجراهای مختلف متفاوت باشند. در نتیجه، باید مثال را چندین بار اجرا کرد و کارایی میانگین را در نظر گرفت.

Larger: 83.14% (4.52%)

با تنظیمات بیشتر جنبه‌هایی مانند الگوریتم بهینه‌سازی و تعداد دوره‌های آموزش، انتظار می‌رود که بهبودهای بیشتری امکان‌پذیر باشند.

اگر مطلب بالا برای شما مفید بوده، آموزش‌های زیر نیز به شما پیشنهاد می‌شود:

محصول، خدمات یا برند خود را در مجله فرادرس معرفی کنید.

کلیک کنید

مطالب مجله فرادرس را در جستجوی گوگل سریع‌تر ببینید

بر اساس رای ۱ نفر

آیا این مطلب برای شما مفید بود؟

اگر پرسشی درباره این مطلب دارید، آن را با ما مطرح کنید.

ثبت نظر

منابع:

Machine Learning Mastery

علوم کامپیوتر.هوش مصنوعی

الهام حصارکی (+)

«الهام حصارکی»، فارغ‌التحصیل مقطع کارشناسی ارشد مهندسی فناوری اطلاعات، گرایش سیستم‌های اطلاعات مدیریت است. او در زمینه هوش مصنوعی و داده‌کاوی، به ویژه تحلیل شبکه‌های اجتماعی، فعالیت می‌کند.

مطالب مرتبط