MAPE چیست؟ – میانگین درصد قدر مطلق خطا

صنایع بسیاری از مدل‌های یادگیری ماشین برای پیش‌بینی رویدادهای احتمالی آینده مانند میزان تقاضا و فروش استفاده می‌کنند. برای سنجش دقت پیش‌بینی مدل می‌توان از معیار ارزیابی «میانگین درصد قدر مطلق خطا» (Mean Absolute Percentage Error | MAPE) کمک گرفت. عمده کاربرد MAPE در ارتقاء دقت پیش‌بینی‌ها و بهینه‌سازی عوامل تاثیرگذار در پروژه است. با اتمام این مطلب از مجله فرادرس یاد می‌گیریم MAPE چیست و چگونه محاسبه می‌شود. معیاری که در سنجش کیفیت مدل‌های یادگیری ماشین بسیار اهمیت دارد.

در این مطلب ابتدا به پرسش MAPE چیست پاسخ می‌دهیم و با نحوه محاسبه آن آشنا می‌شویم. سپس به معرفی یکی از مهم‌ترین کاربردهای MAPE یعنی سنجش دقت پیش‌بینی‌های مدل و همچنین محدودیت‌های این معیار می‌پردازیم. در انتهای این مطلب، نحوه پیاده‌سازی معیار MAPE را با استفاده از زبان برنامه‌نویسی پایتون یاد می‌گیریم و از کاربرد آن در پایش مدل‌های یادگیری ماشین می‌گوییم.

معیار MAPE چیست؟

نحوه محاسبه MAPE چگونه است؟

$$MAPE = \frac{1}{n}\sum_{i=1}^n\mid\frac{A_i - F_i}{A_i}\mid \times\:100$$

معنی و مفهوم هر کدام از نماده‌های به‌کار رفته در فرمول MAPE عبارت است از:

• $$n$$: تعداد نمونه‌های داده.
• $$A_i$$: مقدار حقیقی برای نمونه‌ای که در جایگاه $$i$$اُم قرار دارد.
• $$F_i$$: مقدار پیش‌بینی شده برای نمونه‌ای که در جایگاه $$i$$اُم قرار دارد.

چگونه تحلیل سری های زمانی را با فرادرس یاد بگیریم؟

میانگین درصد قدر مطلق خطا (MAPE) یکی از معیارهای مهم در ارزیابی دقت پیش‌بینی‌ها است. این معیار، میانگین تفاوت نسبی بین مقادیر پیش‌بینی شده و حقیقی را محاسبه و به صورت درصدی بیان می‌کند. سری‌های زمانی، مجموعه‌ای از داده‌ها هستند که در طول زمان جمع‌آوری شده‌اند. این داده‌ها می‌توانند شامل میزان فروش ماهانه، قیمت روز سهام یا دما هوا باشند. تحلیل سری‌های زمانی به ما کمک می‌کند تا الگوهای داده را شناسایی کنیم و پیش‌بینی دقیق‌تری از آینده داشته باشیم.

اگر می‌خواهید زبان‌های برنامه‌نویسی پایتون و R را به‌طور پروژه محور یاد بگیرید و سپس از معیارهای ارزیابی مانند MAPE در تحلیل سری‌های زمانی استفاده کنید، مشاهده مجموعه‌ای از فیلم‌های آموزشی جامع فرادرس را به ترتیب زیر پیشنهاد می‌کنیم:

• فیلم آموزش برنامه‌نویسی پایتون فرادرس
• فیلم آموزش زبان برنامه‌ نویسی R فرادرس
• فیلم آموزش تحلیل سری‌های زمانی با پایتون و R فرادرس

سنجش دقت پیش بینی با میانگین درصد قدر مطلق خطا

پس از آنکه یاد گرفتیم MAPE چگونه محاسبه می‌شود، در این بخش با جنبه دیگر این معیار ارزیابی مهم یعنی سنجش دقت پیش‌بینی مدل‌ها آشنا می‌شویم. به‌طور کلی از جمله مزایا MAPE می‌توان به موارد زیر اشاره کرد:

• سنجش دقت مدل: با مقایسه MAPE در مدل‌های مختلف، می‌توان بهترین مدل را از نظر دقت نهایی انتخاب کرد.
• تفسیر MAPE: هر چه مقدار MAPE پایین‌تر باشد یعنی دقت بالاتر است. به عنوان مثال، MAPE با مقدار ۵، بیانگر خطا ۵ درصدی مقادیر پیش‌بینی نسبت به مقادیر حقیقی است.
• اشتراک‌گذاری عملکرد: با توجه به درصدی بودن نتیجه MAPE، اشتراک‌گذاری عملکرد مدل برای افراد غیر فنی اما دخیل در پروژه مانند سهام‌داران به راحتی امکان‌پذیر است.

مثال ۱

اطلاعات این مثال به شرح زیر است:

• مقدار حقیقی: ۱۰
• مقدار پیش‌بینی شده: ۲۰

مقدار MAPE برابر است با:

$$MAPE = (\mid10 - 20\mid /\:10) * 100\% = 100\%$$

مثال ۲

مقادیر حقیقی و پیش‌بینی شده برای این مثال عبارت‌اند از:

• مقدار حقیقی: ۱۰
• مقدار پیش‌بینی شده: ۰

محاسبه مقدار MAPE مانند نمونه انجام می‌شود:

$$MAPE = (\mid10 - 0\mid /\:10) * 100\% = 100\%$$

مقدار MAPE در هر دو مثال فوق برابر با ۱۰۰ درصد است. هر چند مطابق با مثالی که در ادامه مطرح می‌کنیم، اگر پیش‌بینی حاصل شده بسیار نزدیک اما مساوی صفر نباشد، همچنان MAPE بسیار بالا خواهد بود.

مثال ۳

در این مثال مقادیر حقیقی و پیش‌بینی شده مانند زیر تعریف می‌شوند:

• مقدار حقیقی: ۱۰
• مقدار پیش‌بینی شده: ۰/۰۰۰۱

نحوه محاسبه مقدار MAPE به شرح زیر است:

$$MAPE = (\mid10 - 0.0001\mid /\:10) * 100\% = 99.999\%$$

همان‌طور که پیش‌تر و در مثال دوم بررسی کردیم، اگر مقدار حقیقی و پیش‌بینی شده به ترتیب برابر با ۱۰ و ۰ باشند، همچنان MAPE برابر با ۱۰۰ درصد است. به همین خاطر است که گاهی نمی‌توان به نتایج MAPE اطمنیان کرد. به‌طور ویژه زمانی که مقادیر پیش‌بینی شده نزدیک یا مساوی صفر باشند. حالا که به پرسش MAPE چیست پاسخ دادیم، در ادامه این مطلب از مجله فرادرس به معرفی چند مورد از محدودیت‌های MAPE می‌پردازیم.

محدودیت های MAPE چیست؟

مانند هر معیار ارزیابی دیگری، MAPE نیز محدودیت‌هایی دارد. آشنایی با این محدودیت‌ها به شما کمک می‌کند بهتر در مورد زمان استفاده از این معیار تصمیم‌گیری کنید. برخی از این محدودیت‌ها عبارت‌اند از:

• دقت پایین برای مقادیر حقیقی کوچک: هر چه مقادیر حقیقی بیشتر به صفر میل کنند، درصد خطا بیشتر است. حتی اگر دقت مقادیر پیش‌بینی شده بالا باشد. در چنین موقعیتی نتایج حاصل از MAPE قابل اتکا نیستند.
• عدم پشتیبانی از مقادیر حقیقی برابر با صفر: اگر مقادیر حقیقی برابر با صفر باشند، مطابق با فرمول، تقسیم بر صفر اتفاق می‌افتد و در نتیجه مقدار MAPE تعریف نشده است.
• وابستگی به مقیاس: با توجه به درصدی بودن مقدار MAPE، تفسیر و تحلیل آن هنگام مقایسه با واحد یا مقیاس‌های مختلف دشوار است.
• نامناسب برای مقایسه میان دیتاست‌های مختلف: از آنجا که MAPE با مشکل وابستگی مقیاس روبه‌رو است، گزینه ایده‌آلی برای مقایسه دقت پیش‌بینی‌های به‌دست آمده از چند دیتاست با مقیاس‌های مختلف به شمار نمی‌رود.

پیاده سازی MAPE در پایتون

فیلم آموزش scikit-learn در پایتون در فرادرس

کلیک کنید

سپس مقادیر حقیقی و پیش‌بینی شده را به ترتیب در متغیرهایی به نام y_tureو y_predذخیره می‌کنیم:

در آخر متد mean_absolute_percentage_errorبا دو متغیر y_trueو y_predفراخوانی می‌شود:

خروجی مانند زیر است:

0.3273

همچنین ممکن است پارامترهای ورودی متد mean_absolute_percentage_errorبه شکل دو بعدی و مانند زیر باشند:

در چنین حالتی خروجی زیر حاصل می‌شود:

0.5515

حالا که نحوه پیاده‌سازی معیار میانگین درصد قدر مطلق خطا را یاد گرفتیم، در بخش بعدی، با کاربرد MAPE در پایش مدل‌های یادگیری ماشین آشنا می‌شویم.

کاربرد MAPE در پایش مدل

معیار MAPE نه فقط در ارزیابی بلکه در پایش مداوم عملکرد مدل نیز پس از توسعه و پیاده‌سازی کاربرد دارد. از جمله روش‌های به‌کارگیری MAPE در پایش مدل می‌توان به موارد زیر اشاره کرد:

• تعیین حد آستانه: می‌توان حد آستانه‌ای مشخص برای MAPE تعیین کرد تا هنگام عبور از آن، پایداری و ثبات عملکرد مدل بررسی شود.
• شناسایی تغییر در داده‌ها: تغییر زیاد در معیار MAPE می‌تواند نشانه‌ای از تغییر در توزیع داده‌ها باشد. با پیگیری مداوم MAPE، ‌می‌توانیم در زمان مناسب از این تغییرات مطلع شویم.
• آموزش مجدد مدل: با بررسی منظم MAPE، اطلاعات خوبی از زمان مناسب برای آموزش مجدد مدل با داده‌های جدید و در نتیجه بهبود دقت پیش‌بینی‌ها به‌دست می‌آوریم.

شما برای تبدیل شدن به متخصصی توانمند در حوزه هوش مصنوعی و یادگیری ماشین، به یک برنامه آموزشی جامع و ساختارمند نیاز دارید. به همین منظور، پلتفرم فرادرس مجموعه‌ای از دوره‌های آموزشی را تهیه و تولید کرده است که با بهره‌گیری از آن‌ها می‌توانید گام به گام مهارت‌های خود را در این زمینه توسعه دهید. برای مشاهده مجموعه فیلم‌های آموزش داده کاوی و یادگیری ماشین روی لینک زیر کلیک کنید:

• مجموعه فیلم‌های آموزش داده کاوی و یادگیری ماشین فرادرس

جمع‌بندی

درک مفهوم میانگین درصد قدر مطلق خطا برای افراد فعال در حوزه یادگیری ماشین، به‌ویژه آن دسته که وظیفه ارزیابی و پایش مدل‌ها را بر عهده دارند امری ضروری است. در این مطلب از مجله فرادرس علاوه‌بر آنکه یاد گرفتیم MAPE چیست، با چگونگی محاسبه، پیاده‌سازی و محدودیت‌های آن نیز آشنا شدیم. کسب آگاهی از نوع داده‌ها و مسئله مورد نظر، باعث اتخاذ تصمیمات بهتری در مورد انتخاب معیار ارزیابی مناسب می‌شود.