تشخیص نفرت پراکنی با یادگیری ماشین – راهنمای کاربردی

۱۴۰۲/۰۴/۱۱

۴ دقیقه

۵۳۶

آموزش متنی جامع

در این مطلب، روش ساخت یک سیستم «تشخیص نفرت پراکنی» (Hate Speech Detection) آموزش داده شده است. امروزه در اینترنت، اتفاقات خیلی عجیبی به وقوع می‌پیوندد. نفرت‌پراکنی پیرامون جنسیت یا قومی خاص در «شبکه‌های اجتماعی» (Social Networks) بسیار شایع است و این ناهنجاری‌ها در فضای مجازی، معمولا منجر به تشدید ترس و نفرت در جوامع واقعی می‌شود. هدف ازاین مطلب، ارائه ابزاری است که به تمایز کاربران عادی شبکه‌های اجتماعی از ترول‌هایی که به نفرت‌پراکنی هدفمند می‌پردازند کمک کند؛ این کار با استفاده از یک مدل یادگیری ماشین که توانایی تفکیک سخنان نفرت‌انگیز از جملات عادی را دارد، انجام می‌شود.

تشخیص نفرت پراکنی با یادگیری ماشین – راهنمای کاربردی

فهرست مطالب این نوشته

گردآوری داده‌ها

برداری‌سازی TF-IDF

مدل رگرسیون لجستیک جهت تشخیص نفرت پراکنی

به منظور ساخت الگوریتم تشخیص نفرت‌پراکنی، از روش‌های «پردازش زبان طبیعی» (Natural Language Processing | NLP) مبتنی بر «زبان برنامه‌نویسی پایتون» (Python Programming Language) استفاده شده است. «یادگیری ماشین» (Machine Learning) در واقع آموزش دادن به ماشین‌ها با بهره‌گیری از داده‌ها، به منظور استفاده از آن‌ها برای انجام وظایف گوناگون است. در همین راستا، برای ساخت سیستم تشخیص نفرت‌پراکنی نیز ابتدا نیاز به گردآوری داده است. در این مطلب، از مجموعه داده یک وب‌سایت که به ترویج نفرت علیه یک جنسیت خاص می‌پرداخت استفاده شده است (وب‌سایت کره‌ای Womad). کاربران می‌توانند از هر مجموعه داده دیگری که تمایل دارند استفاده کنند؛ البته مجموعه داده باید حاوی برچسب‌های مناسبی باشد (این مطلب برای نشان دادن قالب کلی یک پروژه تشخیص نفرت‌پراکنی در شبکه‌های اجتماعی تدوین شده است و توصیه می‌شود کاربران از مجموعه داده مناسب خودشان استفاده کنند. در همین راستا، مطالعه مطالب «مجموعه داده‌های رایگان و قابل دانلود برای علم داده و یادگیری ماشین» و «مجموعه داده‌های عمومی برای داده‌کاوی و هوش مصنوعی — راهنمای کاربردی» توصیه می‌شود.).

سپس، از روش پردازش زبان طبیعی با عنوان برداری‌سازی فراوانی وزنی تی‌اف-آی‌دی‌اف (TF–IDF Weight Vectorization) استفاده و کلیدواژه‌هایی که در برگیرنده سخنان نفرت‌انگیز هستند استخراج می‌شوند. در نهایت، با استفاده از روش یادگیری ماشین «رگرسیون لجستیک» (Logistic Regression) که روشی محبوب برای محاسبات احتمال است استفاده می‌شود و مدل طوری آموزش می‌بیند که با استفاده از داده‌های استخراج شده از مجموعه داده مورد استفاده، بتواند نفرت‌پراکنی‌ها را تشخیص دهد.

گردآوری داده‌ها

برای گردآوری داده‌ها، از «خزش در وب» (Web Crawling) استفاده می‌شود که روشی برای گردآوری داده‌ها از صفحات وب با استفاده از یک فرایند خودکار است. خزش در وب با استفاده از زبان برنامه‌نویسی پایتون و با بهره‌گیری از کتابخانه «beautifulsoup» انجام‌پذیر است.

فیلم آموزش یادگیری‌ ماشین در پایتون 1 در فرادرس

کلیک کنید

با استفاده از این روش، نظرات موجود در وب‌سایت Womad (یک وب‌سایت کره‌ای که نفرت‌پراکنی علیه یک جنسیت خاص در آن به صورت متمرکز انجام می‌شود) گردآوری شده‌اند.

با بهره‌گیری از کتابخانه beautifulsoup، همه متن‌ها با تگ‌های آن‌ها گردآوری شده‌اند و یک مجموعه داده از نفرت‌پراکنی‌ها ساخته می‌شود. به منظور آماده‌سازی داده‌ها برای «هوش مصنوعی» (Artificial Intelligence)، مجموعه داده با جملات عادی فاقد نفرت‌پراکنی ترکیب می‌شود.

فیلم آموزش یادگیری ماشین – جامع و با مفاهیم کلیدی در فرادرس

کلیک کنید

در مجموعه داده مذکور، نظرات سایت (حاوی محتوای نفرت‌پراکنی) برچسب ۱ و جملات معمولی برچسب ۰ زده می‌شوند. بنابراین، مدل می‌تواند از آن‌ها برای «دسته‌بندی» (Classification) محتوا استفاده کند.

تشخیص نفرت پراکنی

برداری‌سازی TF-IDF

اکنون که داده‌ها آماده‌سازی شده‌اند، زمان تبدیل متن‌ها به اعداد، به منظور قابل درک ساختن آن‌ها برای کامپیوتر، رسیده است. پرسشی که در این وهله مطرح می‌شود این است که ماشین چگونه یک سند متنی را می‌خواند؟ پاسخ این است: به همان شکلی که انسان‌ها این کار را انجام می‌دهند؛ با تمرکز روی کلمانی که اهمیت دارند.

فیلم آموزش انتخاب مدل‌های یادگیری‌ماشین در پایتون در فرادرس

کلیک کنید

کامپیوترها نیز به شیوه‌ای مشابه با انسان‌ها، کلیدواژه‌ها را از یک متن استخراج می‌کنند تا آن را بفهمند. برداری‌سازی TF-IDF، روش مناسبی برای انجام این کار است. این فرایند با تخصیص رتبه TF-IDF (که یک عنصر عددی است و میزان اهمیت یک عبارت را به تصویر می‌کشد) به هر کلمه در سند انجام می‌شود. امتیاز TF-IDF از طریق فرمول زیر محاسبه می‌شود.

تشخیص نفرت پراکنی

می‌توان «اَبْر برچسب» (Word Cloud) کلماتی که با فرمول بالا به دست آمده‌اند را ترسیم کرد تا دیدگاه بهتری نسبت به کلمات مهم استخراج شده توسط الگوریتم، حاصل شود.

مدل رگرسیون لجستیک جهت تشخیص نفرت پراکنی

در نهایت، زمان آموزش دادن مدل از راه رسیده است. از مدل رگرسیون لجستیک به منظور ساخت برنامه‌ای که سخنان نفرت‌انگیز را از جملات عادی متمایز می‌سازد استفاده خواهد شد. رگرسیون لجستیک مدلی برای محاسبه احتمال بین ۰ و ۱ است.

فیلم آموزش تحلیل رگرسیون لجستیک در SPSS در فرادرس

کلیک کنید

همانطور که پیش‌تر بیان شد، سخنان نفرت‌انگیز با ۱ و جملات عادی با ۰ برچسب‌گذاری شده‌اند و ضرایب تابع لجستیک با استفاده از بردارهای TF-IDF محاسبه می‌شود.

تشخیص نفرت پراکنی

در نتیجه، با موفقیت مدلی حاصل می‌شود که می‌تواند جملات نفرت‌انگیز را با «صحت» (Precision) برابر با ٪۸۵ تشخیص دهد.

نکته قابل توجه آن است که چون در اینجا مجموعه داده برچسب‌دار حاوی سخنان نفرت‌انگیز مورد استفاده به زبان کره‌ای بوده، اسامی ستون‌ها نیز به همین زبان هستند و در کد موارد مرتبط با جزئیات مجموعه داده متناسب با مجموعه داده مورد استفاده کاربر قابل تغییر هستند.

اگر نوشته بالا برای شما مفید بوده است، آموزش‌های زیر نیز به شما پیشنهاد می‌شوند:

محصول، خدمات یا برند خود را در مجله فرادرس معرفی کنید.

کلیک کنید

مطالب مجله فرادرس را در جستجوی گوگل سریع‌تر ببینید

بر اساس رای ۱۲ نفر

آیا این مطلب برای شما مفید بود؟

اگر پرسشی درباره این مطلب دارید، آن را با ما مطرح کنید.

منابع:

«الهام حصارکی»، فارغ‌التحصیل مقطع کارشناسی ارشد مهندسی فناوری اطلاعات، گرایش سیستم‌های اطلاعات مدیریت است. او در زمینه هوش مصنوعی و داده‌کاوی، به ویژه تحلیل شبکه‌های اجتماعی، فعالیت می‌کند.

مطالب مرتبط