MAPE چیست؟ – میانگین درصد قدر مطلق خطا

صنایع بسیاری از مدل‌های یادگیری ماشین برای پیش‌بینی رویدادهای احتمالی آینده مانند میزان تقاضا و فروش استفاده می‌کنند. برای سنجش دقت پیش‌بینی مدل می‌توان از معیار ارزیابی «میانگین درصد قدر مطلق خطا» (Mean Absolute Percentage Error | MAPE) کمک گرفت. عمده کاربرد MAPE در ارتقاء دقت پیش‌بینی‌ها و بهینه‌سازی عوامل تاثیرگذار در پروژه است. با اتمام این مطلب از مجله فرادرس یاد می‌گیریم MAPE چیست و چگونه محاسبه می‌شود. معیاری که در سنجش کیفیت مدل‌های یادگیری ماشین بسیار اهمیت دارد.

در این مطلب ابتدا به پرسش MAPE چیست پاسخ می‌دهیم و با نحوه محاسبه آن آشنا می‌شویم. سپس به معرفی یکی از مهم‌ترین کاربردهای MAPE یعنی سنجش دقت پیش‌بینی‌های مدل و همچنین محدودیت‌های این معیار می‌پردازیم. در انتهای این مطلب، نحوه پیاده‌سازی معیار MAPE را با استفاده از زبان برنامه‌نویسی پایتون یاد می‌گیریم و از کاربرد آن در پایش مدل‌های یادگیری ماشین می‌گوییم.

معیار MAPE چیست؟

پیش از آشنایی با فرمول و نحوه محاسبه، بهتر است ابتدا به پرسش MAPE چیست پاسخ دهیم. به بیان ساده، میانگین درصد قدر مطلق خطا یا MAPE، دقت پیش‌بینی‌های مدل را نسبت به مقادیر حقیقی مورد ارزیابی قرار می‌دهد. سنجش عملکرد مدل‌های یادگیری ماشین همچون تحلیل سری‌های زمانی از طریق معیاری مانند MAPE ضروری است. همچنین از آنجا که نتیجه یا خروجی MAPE به صورت درصدی است، تفسیر و تحلیل دقت مدل نسبت به سایر روش‌ها آسان‌تر خواهد بود. برای یادگیری بیشتر درباره انواع شاخص‌های آماری، می‌توانید فیلم آموزش مفاهیم آماری در داده کاوی فرادرس را از طریق لینک زیر مشاهده کنید:

فیلم آموزش مفاهیم آماری در داده کاوی و پیاده سازی آن در پایتون Python در فرادرس

کلیک کنید

نحوه محاسبه MAPE چگونه است؟

حالا که می‌دانیم MAPE چیست و با توجه به اهمیت این معیار ارزیابی، این بخش را به آموزش نحوه محاسبه MAPE اختصاص می‌دهیم. فرمول محاسبه میانگین درصد قدر مطلق خطا یا MAPE به شرح زیر است:

$$MAPE = \frac{1}{n}\sum_{i=1}^n\mid\frac{A_i - F_i}{A_i}\mid \times\:100$$

معنی و مفهوم هر کدام از نماده‌های به‌کار رفته در فرمول MAPE عبارت است از:

• $$n$$: تعداد نمونه‌های داده.
• $$A_i$$: مقدار حقیقی برای نمونه‌ای که در جایگاه $$i$$اُم قرار دارد.
• $$F_i$$: مقدار پیش‌بینی شده برای نمونه‌ای که در جایگاه $$i$$اُم قرار دارد.

با پایش تمام نمونه‌های داده و میانگین گرفتن از آن‌ها پس از محاسبه درصد قدر مطلق خطا، مقدار MAPE به‌دست می‌آید. نتیجه حاصل از این محاسبه، درصدی بیانگر میانگین فاصله مقادیر پیش‌بینی شده از حقیقی است.

چگونه تحلیل سری های زمانی را با فرادرس یاد بگیریم؟

میانگین درصد قدر مطلق خطا (MAPE) یکی از معیارهای مهم در ارزیابی دقت پیش‌بینی‌ها است. این معیار، میانگین تفاوت نسبی بین مقادیر پیش‌بینی شده و حقیقی را محاسبه و به صورت درصدی بیان می‌کند. سری‌های زمانی، مجموعه‌ای از داده‌ها هستند که در طول زمان جمع‌آوری شده‌اند. این داده‌ها می‌توانند شامل میزان فروش ماهانه، قیمت روز سهام یا دما هوا باشند. تحلیل سری‌های زمانی به ما کمک می‌کند تا الگوهای داده را شناسایی کنیم و پیش‌بینی دقیق‌تری از آینده داشته باشیم.

معیار MAPE در تحلیل سری‌های زمانی کاربرد گسترده‌ای دارد. با بهره‌گیری از این معیار می‌توانیم دقت مدل‌های مختلف را با یک‌دیگر مقایسه و بهترین گزینه را برای داده‌های خود انتخاب کنیم. به عنوان مثال در پیش‌بینی فروش ماهانه، مقدار MAPE پایین‌تر، نشان ‌دهنده مدلی است که پیش‌بینی‌های دقیق‌تری ارائه می‌دهد. برای کار با سری‌های زمانی و محاسبه معیارهایی مانند MAPE، دو زبان برنامه‌نویسی پایتون و R بسیار محبوب و کاربردی هستند. این زبان‌ها کتابخانه‌های مناسبی برای تحلیل داده و مدل‌سازی سری‌های زمانی در اختیار کاربر قرار می‌دهند.

اگر می‌خواهید زبان‌های برنامه‌نویسی پایتون و R را به‌طور پروژه محور یاد بگیرید و سپس از معیارهای ارزیابی مانند MAPE در تحلیل سری‌های زمانی استفاده کنید، مشاهده مجموعه‌ای از فیلم‌های آموزشی جامع فرادرس را به ترتیب زیر پیشنهاد می‌کنیم:

• فیلم آموزش برنامه‌نویسی پایتون فرادرس
• فیلم آموزش زبان برنامه‌ نویسی R فرادرس
• فیلم آموزش تحلیل سری‌های زمانی با پایتون و R فرادرس

سنجش دقت پیش بینی با میانگین درصد قدر مطلق خطا

پس از آنکه یاد گرفتیم MAPE چگونه محاسبه می‌شود، در این بخش با جنبه دیگر این معیار ارزیابی مهم یعنی سنجش دقت پیش‌بینی مدل‌ها آشنا می‌شویم. به‌طور کلی از جمله مزایا MAPE می‌توان به موارد زیر اشاره کرد:

• سنجش دقت مدل: با مقایسه MAPE در مدل‌های مختلف، می‌توان بهترین مدل را از نظر دقت نهایی انتخاب کرد.
• تفسیر MAPE: هر چه مقدار MAPE پایین‌تر باشد یعنی دقت بالاتر است. به عنوان مثال، MAPE با مقدار ۵، بیانگر خطا ۵ درصدی مقادیر پیش‌بینی نسبت به مقادیر حقیقی است.
• اشتراک‌گذاری عملکرد: با توجه به درصدی بودن نتیجه MAPE، اشتراک‌گذاری عملکرد مدل برای افراد غیر فنی اما دخیل در پروژه مانند سهام‌داران به راحتی امکان‌پذیر است.

با این حال به خاطر داشته باشید که MAPE محدودیت‌هایی نیز دارد. مانند زمانی که برخی از نمونه‌های دیتاست شامل مقادیر صفر بوده و مطابق با فرمول، به تقسیم بر صفر منتهی می‌شود. همچنین MAPE گاهی تخمین بالاتری از عملکرد مدل‌های ضعیف، به‌ویژه مدل‌هایی که پیش‌بینی آن‌ها به مراتب کمتر از مقادیر حقیقی یا نزدیک به صفر است ارائه می‌دهد. برای درک بهتر، دو مثال با مقادیر متفاوت را مورد بررسی قرار می‌دهیم.

مثال ۱

اطلاعات این مثال به شرح زیر است:

• مقدار حقیقی: ۱۰
• مقدار پیش‌بینی شده: ۲۰

مقدار MAPE برابر است با:

$$MAPE = (\mid10 - 20\mid /\:10) * 100\% = 100\%$$

مثال ۲

مقادیر حقیقی و پیش‌بینی شده برای این مثال عبارت‌اند از:

• مقدار حقیقی: ۱۰
• مقدار پیش‌بینی شده: ۰

محاسبه مقدار MAPE مانند نمونه انجام می‌شود:

$$MAPE = (\mid10 - 0\mid /\:10) * 100\% = 100\%$$

مقدار MAPE در هر دو مثال فوق برابر با ۱۰۰ درصد است. هر چند مطابق با مثالی که در ادامه مطرح می‌کنیم، اگر پیش‌بینی حاصل شده بسیار نزدیک اما مساوی صفر نباشد، همچنان MAPE بسیار بالا خواهد بود.

مثال ۳

در این مثال مقادیر حقیقی و پیش‌بینی شده مانند زیر تعریف می‌شوند:

• مقدار حقیقی: ۱۰
• مقدار پیش‌بینی شده: ۰/۰۰۰۱

نحوه محاسبه مقدار MAPE به شرح زیر است:

$$MAPE = (\mid10 - 0.0001\mid /\:10) * 100\% = 99.999\%$$

همان‌طور که پیش‌تر و در مثال دوم بررسی کردیم، اگر مقدار حقیقی و پیش‌بینی شده به ترتیب برابر با ۱۰ و ۰ باشند، همچنان MAPE برابر با ۱۰۰ درصد است. به همین خاطر است که گاهی نمی‌توان به نتایج MAPE اطمنیان کرد. به‌طور ویژه زمانی که مقادیر پیش‌بینی شده نزدیک یا مساوی صفر باشند. حالا که به پرسش MAPE چیست پاسخ دادیم، در ادامه این مطلب از مجله فرادرس به معرفی چند مورد از محدودیت‌های MAPE می‌پردازیم.

محدودیت های MAPE چیست؟

مانند هر معیار ارزیابی دیگری، MAPE نیز محدودیت‌هایی دارد. آشنایی با این محدودیت‌ها به شما کمک می‌کند بهتر در مورد زمان استفاده از این معیار تصمیم‌گیری کنید. برخی از این محدودیت‌ها عبارت‌اند از:

• دقت پایین برای مقادیر حقیقی کوچک: هر چه مقادیر حقیقی بیشتر به صفر میل کنند، درصد خطا بیشتر است. حتی اگر دقت مقادیر پیش‌بینی شده بالا باشد. در چنین موقعیتی نتایج حاصل از MAPE قابل اتکا نیستند.
• عدم پشتیبانی از مقادیر حقیقی برابر با صفر: اگر مقادیر حقیقی برابر با صفر باشند، مطابق با فرمول، تقسیم بر صفر اتفاق می‌افتد و در نتیجه مقدار MAPE تعریف نشده است.
• وابستگی به مقیاس: با توجه به درصدی بودن مقدار MAPE، تفسیر و تحلیل آن هنگام مقایسه با واحد یا مقیاس‌های مختلف دشوار است.
• نامناسب برای مقایسه میان دیتاست‌های مختلف: از آنجا که MAPE با مشکل وابستگی مقیاس روبه‌رو است، گزینه ایده‌آلی برای مقایسه دقت پیش‌بینی‌های به‌دست آمده از چند دیتاست با مقیاس‌های مختلف به شمار نمی‌رود.

با در نظر گرفتن این محدودیت‌ها و برای درک بهتر عملکرد مدل، استفاده از MAPE در کنار دیگر معیارهای ارزیابی مانند میانگین خطای مطلق (MAE) یا خطای جذر میانگین مربعات (RMSE) پیشنهاد می‌شود. همچنین هنگام بررسی معیارهای ارزیابی باید به نوع دیتاست و پیش‌نیازهای مسئله مورد نظر خود دقت داشته باشید. در مجله فرادرس، مطلب جامعی درباره مباحث آمار و احتمال برای یادگیری ماشین نگارش شده است که می‌توانید آن را از طریق لینک زیر مطالعه کنید:

پیاده سازی MAPE در پایتون

تا اینجا به‌خوبی می‌دانیم MAPE چیست، چگونه محاسبه می‌شود و چه محدودیت‌هایی دارد. اما برای آشنایی با جنبه عملی استفاده از میانگین درصد قدر مطلق خطا، در این بخش به شرح نحوه پیاده‌سازی MAPE با کتابخانه Scikit-learn زبان پایتون می‌پردازیم. برای این کار ابتدا لازم است متد mean_absolute_percentage_errorاز کتابخانه Scikit-learn بارگذاری شود:

فیلم آموزش کتابخانه scikit-learn در پایتون – الگوریتم های یادگیری ماشین در فرادرس

کلیک کنید

1from sklearn.metrics import mean_absolute_percentage_error

سپس مقادیر حقیقی و پیش‌بینی شده را به ترتیب در متغیرهایی به نام y_tureو y_predذخیره می‌کنیم:

1y_true = [3, -0.5, 2, 7]
2y_pred = [2.5, 0.0, 2, 8]

در آخر متد mean_absolute_percentage_errorبا دو متغیر y_trueو y_predفراخوانی می‌شود:

1mean_absolute_percentage_error()

خروجی مانند زیر است:

0.3273

همچنین ممکن است پارامترهای ورودی متد mean_absolute_percentage_errorبه شکل دو بعدی و مانند زیر باشند:

1y_true = [[0.5, 1], [-1, 1], [7, -6]]
2y_pred = [[0, 2], [-1, 2], [8, -5]]
3mean_absolute_percentage_error(y_true, y_pred)

در چنین حالتی خروجی زیر حاصل می‌شود:

0.5515

حالا که نحوه پیاده‌سازی معیار میانگین درصد قدر مطلق خطا را یاد گرفتیم، در بخش بعدی، با کاربرد MAPE در پایش مدل‌های یادگیری ماشین آشنا می‌شویم.

کاربرد MAPE در پایش مدل

معیار MAPE نه فقط در ارزیابی بلکه در پایش مداوم عملکرد مدل نیز پس از توسعه و پیاده‌سازی کاربرد دارد. از جمله روش‌های به‌کارگیری MAPE در پایش مدل می‌توان به موارد زیر اشاره کرد:

• تعیین حد آستانه: می‌توان حد آستانه‌ای مشخص برای MAPE تعیین کرد تا هنگام عبور از آن، پایداری و ثبات عملکرد مدل بررسی شود.
• شناسایی تغییر در داده‌ها: تغییر زیاد در معیار MAPE می‌تواند نشانه‌ای از تغییر در توزیع داده‌ها باشد. با پیگیری مداوم MAPE، ‌می‌توانیم در زمان مناسب از این تغییرات مطلع شویم.
• آموزش مجدد مدل: با بررسی منظم MAPE، اطلاعات خوبی از زمان مناسب برای آموزش مجدد مدل با داده‌های جدید و در نتیجه بهبود دقت پیش‌بینی‌ها به‌دست می‌آوریم.

معیارهای ارزیابی مانند MAPE هرچند مهم و کاربردی، تنها بخش کوچکی از جهان گسترده یادگیری ماشین را تشکیل می‌دهند. حوزه متنوع و پیچیده‌ای که از الگوریتم‌های پایه تا تکنیک‌های پیشرفته هوش مصنوعی را در بر می‌گیرد.

شما برای تبدیل شدن به متخصصی توانمند در حوزه هوش مصنوعی و یادگیری ماشین، به یک برنامه آموزشی جامع و ساختارمند نیاز دارید. به همین منظور، پلتفرم فرادرس مجموعه‌ای از دوره‌های آموزشی را تهیه و تولید کرده است که با بهره‌گیری از آن‌ها می‌توانید گام به گام مهارت‌های خود را در این زمینه توسعه دهید. برای مشاهده مجموعه فیلم‌های آموزش داده کاوی و یادگیری ماشین روی لینک زیر کلیک کنید:

• مجموعه فیلم‌های آموزش داده کاوی و یادگیری ماشین فرادرس

جمع‌بندی

درک مفهوم میانگین درصد قدر مطلق خطا برای افراد فعال در حوزه یادگیری ماشین، به‌ویژه آن دسته که وظیفه ارزیابی و پایش مدل‌ها را بر عهده دارند امری ضروری است. در این مطلب از مجله فرادرس علاوه‌بر آنکه یاد گرفتیم MAPE چیست، با چگونگی محاسبه، پیاده‌سازی و محدودیت‌های آن نیز آشنا شدیم. کسب آگاهی از نوع داده‌ها و مسئله مورد نظر، باعث اتخاذ تصمیمات بهتری در مورد انتخاب معیار ارزیابی مناسب می‌شود.