استاندارد سازی و نرمال سازی داده‌ ها در پایتون – راهنمای کاربردی

یکی از موضوعات پر اهمیت در حوزه «یادگیری ماشین» (Machine Learning) و «داده‌کاوی» (Data Mining) بخصوص در بخش «آماده‌سازی داده‌ها» (Data Preparation)، موضوع «تغییر مقیاس» (Re-scaling) داده‌ها است که معمولا توسط دو روش «استانداردسازی» (Standardization) و «نرمال‌سازی» (Normalization) صورت می‌گیرد. در همین راستا در ادامه این مطلب قصد داریم به همین موضوع یعنی استاندارد سازی و نرمال سازی داده ها در پایتون بپردازیم.

در این نوشتار، به منظور انجام محاسبات و تبدیل داده‌ها به مقیاس جدید و همچنین انجام تحلیل‌های آماری از زبان برنامه‌نویسی پایتون استفاده خواهیم کرد. همچنین به بررسی و مقایسه این دو نوع تبدیل (استانداردسازی و نرمال‌سازی) می‌پردازیم و آن‌ها را با هم مقایسه می‌کنیم. به این ترتیب قادر خواهیم بود به سوالات زیر پاسخ دهیم.

1. آیا همیشه استفاده از تغییر مقیاس ضروری است؟
2. آیا می‌توان بهترین تبدیل برای استانداردسازی یا نرمال‌سازی را پیدا کرد؟
3. آیا انتخاب نوع تبدیل در نتایج حاصل از الگوریتم‌های دسته‌بندی تاثیر گذار است؟
4. آیا تغییر مقیاس به عنوان یک قسمت مهم در مدل‌سازی محسوب می‌شود؟

استاندارد سازی و نرمال سازی داده‌ ها

تغییر مقیاس در بیشتر روش و «تکنیک‌های چند متغیره» (Multivariate Techniques) به کار می‌رود. به این ترتیب بزرگی یا کوچکی هر یک از ویژگی‌ها مبنا و ملاک انتخاب یا نقش آن متغیر در مدلسازی نبوده و همه متغیرها دارای اهمیتی برحسب وزن‌ها یا ضرایبی که توسط مدل ایجاد می‌شوند، خواهند بود. معمولا از دو گروه تبدیل برای از بین بردن مقیاس استفاده می‌شود. گروه تبدیلات «استانداردسازی» (Standardize) و گروه تبدیلات «نرمال‌سازی (Normalization). در ابتدا با مفهوم استانداردسازی آشنا شده و سپس به نرمال‌سازی خواهیم پرداخت. همچنین در انتها نیز به کارگیری این دو روش را در نتایج حاصل از میزان رابطه بین متغیرها بوسیله کوواریانس مورد تحلیل قرار می‌دهیم.

استانداردسازی (Standardization)

استاندار‌دسازی یا تبدیل Z-score، برای یک مجموعه داده، بدست آوردن مقدارهایی است که دارای میانگین صفر و واریانس یا انحراف استاندارد ۱ باشند. بنابراین اگر میانگین داده‌های اصلی برابر با $$\mu$$ و انحراف معیار آن‌ها نیز $$\sigma$$‌ باشد، مقدار $$Z$$‌ را براساس رابطه زیر می‌توان بدست آورد.

$$\large Z=\dfrac{x-\mu}{\sigma}$$

به این ترتیب مشخص است که داده‌های تبدیل یافته (Z) دارای میانگین صفر و واریانس ۱ است زیرا براساس این تبدیل خواهیم داشت.

$$\large \overline{Z}= \dfrac{1}{n}\sum_{i=1}^nZ_i=\dfrac{1}{n}\sum_{i=1}^n(\dfrac{x_i-\mu}{\sigma})=\\ \large \dfrac{\overline{x}-\mu}{\sigma}=0$$

رابطه آخر از آنجا برابر با صفر است که «اریبی» (Bias) میانگین نمونه با پارامتر مرکزی جامعه (میانگین جامعه یا $$\mu$$) برابر با صفر است. از طرفی نیز برای محاسبه واریانس نیز داریم:

$$\large \sigma^2_Z= \dfrac{1}{n}\sum_{i=1}^n(Z_i-\overline{Z})^2=\dfrac{1}{n}\sum_{i=1}^n Z_i^2= \sum_{i=1}^n(\dfrac{x_i-\mu}{\sigma})^2=\\ \large \dfrac{1}{\sigma^2}\dfrac{1}{n}\sum(x_i-\mu)^2=\dfrac{\sigma^2}{\sigma^2}=1$$

به نظر می‌رسد که تنها روشی که در «یادگیری نظارت شده» (Supervised Learning) بدون در نظر گرفتن مقیاس عمل می‌کند و به شکلی «پایا در مقابل تغییر مقیاس» (Scaled Invariant) است، الگوریتم‌های برمبنای «درخت تصمیم» (Decision Tree) مانند الگوریتم‌CART، هستند زیرا براساس بزرگی و کوچکی مقدارهای در هر بُعد نسبت به یکدیگر عمل کرده و فقط به ترتیب و نه اندازه مشاهدات توجه دارد. در ادامه به معرفی بعضی از الگوریتم‌ها یادگیری ماشین می‌پردازیم که تغییر مقیاس در آن‌ها اهمیت داشته و باعث تغییر در نتایج خواهد شد.

• الگوریتم k-نزدیکترین همسایه (KNN) با تابع فاصله اقلیدسی.
• الگوریتم خوشه‌بندی k-میانگین.
• رگرسیون لجستیک، ماشین بردار پشتیبان (SVM)، شبکه عصبی مصنوعی (ANN) زمانی که از روش بهینه‌سازی گرادیان کاهشی استفاده می‌کنید.
• تحلیل تشخیصی خطی (Linear Discirminant Analysis- LDA)، که به دنبال بهترین تبدیل داده‌ها به منظور بهترین جدا کننده یا تشخیص نقاط، است.

نرمال‌سازی (Normalization)

یکی دیگر از روش‌های تغییر مقیاس، استفاده از روش نرمال‌سازی Min-Max است. به این ترتیب علاوه بر یکسان سازی مقیاس داده‌ها، کران‌های تغییر آن‌ها نیز در بازه $$[0,1]$$ خواهد بود. این تبدیل به صورت زیر تعریف می‌شود.

$$\large X_{norm}=\dfrac{X-X_{min}}{X_{max}-X_{min}}$$

در این رابطه $$X_{min}$$ حداقل مقدارها و $$X_{max}$$ نیز حداکثر مقادیر را نشان می‌دهد.

این شیوه محاسبه اغلب در زمانی استفاده می‌شود که می‌خواهیم میزان شباهت بین نقاط را مشخص کنیم. برای مثال در پردازش تصویر و تشخیص پیکسل‌های مشابه از این تبدیل استفاده شده و سپس از الگوریتم‌های خوشه‌بندی برای کاهش تعداد رنگ استفاده می‌شود.

استانداردسازی و نرمال‌سازی در Scikit-learn

خروجی این دستورات به صورت زیر خواهد بود.

کاملا مشخص است که میزان بزرگی و مقیاس متغیرها در این مجموعه داده متفاوت هستند. بنابراین احتیاج به استانداردسازی یا نرمال‌سازی است. کدهای زیر به منظور «پیش‌پردازش» (Pre-Processing) داده‌ها و استانداردسازی و تبدیل Min-Max نوشته شده است.

خروجی این برنامه به شکل زیر خواهد بود. مشخص است که میانگین برای هر دو متغیر برابر صفر و واریانس یا انحراف استاندارد نیز برابر با واحد (یک) شده است.

همچنین در بخش بعدی محاسبات مربوط به تغییر مقیاس Min-Max صورت گرفته است. به کد زیر توجه کنید.

خروجی برای این دستورات نیز به شکل زیر خواهد بود. همانطور که می بینید دامنه تغییرات برای هر دو متغیر (در هر بُعد) برابر با ۱ و حداقل مقدار حاصل از تبدیل ۰ و حداکثر ۱ محاسبه شده است.

همانطور که در نمودار بالا مشاهده می‌کنید، نقاط سبز رنگ تغییر مکان پیدا کرده و حول مقدار صفر در محور افقی پراکنده هستند. با توجه به دامنه تغییراتی که برای داده‌های استاندارد شده وجود دارد (تقریبا اکثر داده‌ها در فاصله ۳- تا ۳ تغییر می‌کنند) پراکندگی در حالت Standardized بیشتر است ولی برای داده‌هایی که توسط تغییر مقیاس Min-Max ساخته شده‌اند و با رنگ آبی مشخض شده‌اند، پراکندگی کوچکتر بوده و دامنه تغییرات آن کوچکتر از داده‌های استاندارد شده است.

حال بهتر است که برحسب سه کلاس و برچسبی که مشاهدات را به سه گروه تقسیم می‌کرد، نمودارهایی برای نمایش پراکندگی داده‌های واقعی، استاندارد شده و Min-Max ترسیم کنیم. کدی که در زیر مشاهده می‌کنید به این منظور نوشته شده است.

نتیجه اجرای این کد در ادامه دیده می‌شود. نمودارها به خوبی نشان می‌دهند که روی محورها تغییر مقیاس رخ داده است و حدود تغییرات داده‌ها کاملا نمایان است.

محاسبات مربوط به استانداردسازی و نرمال‌سازی

در ادامه به منظور نمایش تفاوت در نحوه تاثیر این تبدیلات بر داده‌ها و تحلیل‌های آماری و مدل‌سازی به بررسی یک مثال در پایتون خواهیم پرداخت. توجه داشته باشید که داده‌ها هم به صورت استاندارد شده و هم نرمال‌شده درآمده سپس تاثیر آن‌ها بر روی مقدار کوواریانس بین دو متغیر مورد بررسی قرار می‌گیرد.

نکته: توجه داشته باشید که برای محاسبه این تبدیل‌ها به فرمول‌هایی که در بالا به آن‌ها اشاره کردیم، نیاز داریم. واضح است که در این رابطه‌ها $$n$$ تعداد مشاهدات را مشخص می‌کند. البته باید توجه داشت که اگر براساس یک نمونه بخواهیم انحراف معیار را محاسبه کنیم، باید از رابطه زیر کمک بگیریم.

$$\sigma =\left(\dfrac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2\right)^{\frac{1}{2}}$$

در ادامه کدهایی را خواهید دید که با استفاده از دستورات اصلی پایتون (بدون استفاده از کتابخانه) و همچنین بهره‌گیری از توابع موجود در کتابخانه‌ها پایتون محاسبات مربوط به فرمول‌های استانداردسازی و نرمال‌سازی را اجرا می‌کند. البته می‌توانید این کار را با استفاده از دستورات برداری و کتابخانه Numpy در پایتون نیز اجرا کنید.

بدون استفاده از کتابخانه

با استفاده از کتابخانه Numpy

نمایش داده‌ها

برای آنکه نشان دهیم، کدهایی که در قسمت قبل نوشته شده، به درستی کار می‌کنند، نمودار هر یک از داده‌های تبدیل یافته را بوسیله کتابخانه matplotlib و دستورات آن ترسیم می‌کنیم.

میانگین و انحراف معیار برای این داده‌ها به ترتیب برابر با $$\mu=3.8571$$  و $$\sigma=1.8070$$ است. همانطور که در نمودارهای زیر می‌بینید، حدود تغییرات مقدارهای تبدیل شده قابل مشاهده و بررسی است. بنابراین مشخص است که کران‌های داده‌های استاندارد شده در بازه $$[-2.0,1.5]$$ و برای داده‌های نرمال‌شده بازه $$[0,1]$$ است. بنابراین به نظر می‌رسد که تبدیلات به درستی صورت پذیرفته است.

تاثیر تغییر مرکز روی ماتریس کوواریانس

$$\large \sigma_{xy}=\dfrac{1}{n-1}\sum(x_i-\overline{x})(y_i-\overline{y})$$

که در آن $$\overline{x}$$ و $$\overline{y}$$ میانگین متغیرهای $$x$$ و $$y$$‌ هستند.

حال با استفاده از تبدیل زیر، اصلاحی انجام می‌دهیم که مرکز (میانگین) متغیرها برابر با صفر شود. این کار را «تبدیل مرکز صفر» (Centering) می‌نامند.

$$\large x^\prime =x-\overline{x}, \;\;\;y^\prime=y-\overline{y}$$

مشخص است که برای داده‌های تبدیل یافته $$x^\prime$$ و $$y^\prime$$، میانگین برابر با صفر است زیرا:

$$\large \overline{x^\prime}=\dfrac{1}{n}\sum_{i=1}^n(x_i-\overline{x})=\overline{x}-\overline{x}=0$$

$$\large \overline{y^\prime}=\dfrac{1}{n}\sum_{i=1}^n(y_i-\overline{y})=\overline{y}-\overline{y}=0$$

با توجه به این تساوی‌ها، مقدار کوواریانس بین دو متغیر $$x$$ و $$y$$ را به شکل زیر محاسبه می‌کنیم.

$$\large \sigma^{\prime}_{xy}=\dfrac{1}{n-1}\sum(x^{\prime}_i-\overline{x^\prime})(y_i^\prime-\overline{y^\prime})$$

همانطور که در قبل نشان داده شد، مرکز یا میانگین هر کدام از متغیرهای تبدیل شده $$x^\prime$$ و $$y^\prime$$، صفر است، فرمول بالا ساده‌تر شده و به شکل زیر در خواهد آمد.

$$\large \sigma^{\prime}_{xy}=\dfrac{1}{n-1}\sum(x^{\prime}_i)(y_i^\prime)$$

که با جایگذاری $$x^\prime=x-\overline{x}$$ و $$y^\prime=x-\overline{x}$$ همان رابطه اولیه برای کوواریانس $$x$$ و $$y$$ حاصل می‌شود. در نتیجه می‌توان گفت که تبدیل مرکز صفر، تاثیری در کوواریانس دو متغیر ندارد.

$$\large \sigma^{\prime}_{xy}=\dfrac{1}{n-1}\sum(x^{\prime}_i-\overline{x^\prime})(y_i^\prime-\overline{y^\prime})=\\ \large \dfrac{1}{n-1}\sum(x^{\prime}_i-0)(y_i^\prime-0)=\\ \large \dfrac{1}{n-1}\sum(x_i-\overline{x})(y_i-\overline{y})=\sigma_{xy}$$

از آنجایی که در شیوه محاسبه تبدیل استاندارد از تغییر مرکز به نقطه صفر استفاده می‌شود، می‌توان گفت که استاندارد‌سازی بوسیله تغییر مکان بر روری کووریانس داده‌ها تاثیر گذار نخواهد بود. همین امر را برای تبدیل Min-Max نیز می‌توان در نظر گرفت. از آنجایی که تغییر مکان داده‌ها باعث تغییر یکسانی در حداکثر و حداقل داده می‌شود، می‌توان گفت که نرمال‌سازی نیز به شکل تغییر مکان، تاثیری در کواواریانس بین دو متغیر نخواهد داشت.

$$\large x^\prime_{norm}=\dfrac{x^\prime -x^\prime_{min}}{x^\prime_{max}-x^\prime_{min}}=\dfrac{x-\mu -(x_{min}-\mu)}{x_{max}-\mu-(x_{min}-\mu)}=\dfrac{x-x_{min}}{x_{max}-x_{min}}=x_{norm}$$

تاثیر تبدیل تغییر مقیاس بر کوواریانس

فرض کنید $$c$$ ضریب تغییر مقیاس برای متغیر $$x$$ باشد. به این ترتیب تبدیل زیر واحد متغیر $$x$$ را تغییر خواهد داد.

$$\large x^{\prime}=c\cdot x$$

در این حالت کوواریانس بین متغیر $$x$$ و $$y$$ قبل و بعد از تغییر مقیاس به صورت زیر خواهد بود.

$$\large \sigma_{xy}=\dfrac{1}{n-1}\sum(x_i-\overline{x})(y_i-\overline{y})$$

$$\large \sigma^{\prime}_{xy}=\dfrac{1}{n-1}\sum(x^{\prime}_i-\overline{x^\prime})(y_i-\overline{y})$$

با توجه به رابطه‌ای که بین $$x$$ و $$x^\prime$$ وجود دارد رابطه بالا به صورت زیر در خواهد آمد.

$$\large \sigma^{\prime}_{xy}=\dfrac{1}{n-1}\sum(cx_i-c\overline{x})(y_i-\overline{y})$$

با فاکتورگیری از مقدار ثابت $$c$$ رابطه بالا به صورت زیر ساده خواهد شد.

$$\large \sigma^{\prime}_{xy}=c\dfrac{1}{n-1}\sum(x_i-\overline{x})(y_i-\overline{y})=c\sigma_{xy}$$

در نتیجه تغییر مقیاس یک یا هر دو متغیر بر روی کوواریانس آن‌ها تاثیر گذار بوده و مقداری که باعث تغییر مقیاس شده در مقدار کوواریانس داده‌های اولیه ضرب می‌شود. به این ترتیب اگر داده‌ها مربوط به وزن را از کیلوگرم به گرم تبدیل کنیم (یعنی ضریب $$c=1000$$)، مقدار کوواریانس بین قد و وزن ۱۰۰۰ برابر خواهد شد.

نکته: به یاد دارید که در تبدیل و تغییر مقیاس استانداردسازی، متغیرها دچار تغییر مرکز صفر و همچنین تغییر مقیاس می‌شوند. به این معنی که اختلاف هر مقدار از میانگین بر انحراف معیار تقسیم می‌شود. بنابراین، استانداردسازی بر روی کوواریانس دو متغیر تاثیر گذار است.

در ادامه نشان خواهیم داد که تغییر مقیاس نرمال‌سازی در کوواریانس بین متغیر $$cx$$ و $$y$$ تغییری بوجود نمی‌آورد.

$$\large x^\prime_{norm}=\dfrac{x^\prime-x^\prime_{min}}{x^\prime_{max}-x^\prime_{min}}$$

مشخص است که رابطه زیر بین حداقل و حداکثر داده‌های تبدیل یافته و اصلی برقرار است.

$$\large x^\prime_{min}=\min(x^\prime)=\min(cx)=c\min(x)$$

$$\large x^\prime_{max}=\max(x^\prime)=\max(cx)=c\max(x)$$

بنابراین نرمال‌سازی شده متغیر تصادفی تغییر مقیاس یافته $$x\prime$$ به شکل زیر خواهد بود.

$$\large x^\prime_{norm}=\dfrac{(x^\prime-x^\prime_{min})}{(x^\prime_{max}-x^\prime_{min})}=\\ \large \dfrac{c(x-x_{min})}{c(x_{max}-x_{min})}=\\ \large \dfrac{(x-x_{min}}{(x_{max}-x_{min})}=x_{norm}$$

به این ترتیب مشخص است که کوواریانس بین متغیرهای تبدیل یافته به روش نرمال‌سازی، تغییری در کوواریانس بین متغیرها بوجود نمی‌آورد.

اگر مطلب بالا برای شما مفید بوده است، احتمالاً آموزش‌هایی که در ادامه آمده‌اند نیز برایتان کاربردی خواهند بود.

• مجموعه آموزش‌های آمار و احتمالات
• آموزش آماده سازی داده ها برای تحلیل آماری در SPSS
• مجموعه آموزش‌های داده کاوی و یادگیری ماشین
• ضریب‌های همبستگی (Correlation Coefficients) و شیوه‌ محاسبه آن‌ها — به زبان ساده
• تحلیل مولفه اساسی (PCA) در پایتون — راهنمای کاربردی
• استخراج (Extraction) و تبدیل (Transformation) داده ها در پایتون — راهنمای جامع

^^