شبکه‌های عصبی (Neural Networks) شبکه‌هایی از سلول‌های عصبی (نورون یا پی‌یاخته یا عصب) مغز هستند. مغز انسان میلیاردها نورون و تریلیون‌ها ارتباط بین آن‌ها دارد. این نورون‌ها مدام در حال پردازش و ارسال اطلاعات به نورون‌های دیگر هستند. در این آموزش، با پیاده‌سازی شبکه عصبی در متلب برای تقریب توابع و سیستم‌ها آشنا می‌شویم. برای آشنایی بیشتر با مفاهیم و تعاریف شبکه‌های عصبی می‌توانید آموز‌ش‌های «شبکه‌های عصبی مصنوعی» و «ساخت شبکه عصبی» را مطالعه کنید.

در سال ۱۹۰۹، «سانتیاگو رامون کاخال» (Santiago Ramon y Cajal) کشف کرد که مغز از تعداد زیادی نورون متصل به هم تشکیل شده که پیام‌های بسیار ساده تحریکی (Excitatory) و مهاری (Inhibitory) را برای یکدیگر ارسال می‌کنند و تهییج (Excitation) آن‌ها با همین پیام‌های ساده به‌روز می‌شود. یک نورون سه بخش اصلی دارد: جسم سلولی، آکسون یا آسه (Axon) که پیام‌ها را ارسال می‌کند و دندریت یا دارینه (Dendrite) که پیام‌ها را دریافت می‌کند. جسم سلولی ساختار سلول را تشکیل می‌دهد. آکسون یک رشته منشعب است که پیام‌های نورون را به بیرون منتقل می‌کند. دندریت‌ها انشعاب‌های بیشتری دارند و سیگنال سلول‌های عصبی دیگر را دریافت می‌کنند.

نورون و مدل آن
شکل ۱: نورون و مدل آن

خلاصه‌ای از پیشرفت علمی در زمینه شبکه‌های عصبی به شرح زیر است:

  • در سال ۱۹۴۳، مک‌کولوخ (McCulloch) و پیتس (Pitts) اولین مدل ریاضی نورون‌ها را پیشنهاد کردند و نشان دادند که چگونه می‌توان شبکه‌های نورن‌مانند را تحلیل و محاسبه کرد.
  • نخستین ایده‌های یادگیری با شبکه‌های عصبی را هِب (Hebb) در کتابی با عنوان «سازمان‌دهی رفتار» در سال ۱۹۴۹ ارائه کرد.
  • در سال ۱۹۵۱، ادموندز (Edmonds) و مینسکی (Minsky) ماشین یادگیری خود را با بهره‌گیری از ایده هب ساختند.
  • نقطه مهم آغاز یادگیری شبکه نرون‌ را می‌توان کار روزنبلات (Rosenblatt) در سال ۱۹۶۲ دانست. روزنبلات دسته‌ای از شبکه‌های یادگیری نورون‌مانند ساده را ساخت که شبکه عصبی پرسپترون (Perceptron Neural Network) نامیده شد.
  • جان هاپفیلد (John Hopfield) در مقاله مهمی که در سال ۱۹۸۲ منتشر کرد، یک معماری برای شبکه عصبی با نام شبکه هاپفیلد ارائه کرد. از این شبکه عصبی می‌توان برای حل مسائل بهینه‌سازی مانند مسئله فروشنده دوره‌گرد استفاده کرد.
  • یک شبکه عصبی مهم که بسیار مورد استفاده قرار می‌گیرد، با یادگیری پس‌انتشار خطا (Backpropagation) یا BP است. شبکه عصبی پس‌انتشار خطا را اولین بار، وربوس (Werbos) در سال ۱۹۷۴ و پس از او روملهارت و همکارانش (Rumelhart et al) در سال ۱۹۸۶ ارائه کردند. کتاب‌ آن‌ها، با عنوان «پردازش توزیع شده موازی» (Parallel Distributed Processing)، چشم‌انداز گسترده‌ای از رویکردهای شبکه عصبی را بیان کردند.
  • شبکه‌های عصبی با توابع پایه شعاعی (Radial Basis Functions) یا شبکه‌هاب عصبی RBF در سال ۱۹۸۸ معرفی شدند و به دلیل قابلیت تعمیم و ساختار ساده‌شان که از انجام محاسبات طولانی و غیرضروری جلوگیری می‌کرد، نسبت به شبکه‌های پیش‌خور (Feed-forward Network) یا MFNها توجه زیادی را به خود جلب کردند. تحقیقات مربوط به قضایای تقریب جامع (Universal Approximation) نشان دادند که هر تابع غیرخطی را می‌توان روی یک مجموعه فشرده (Compact Set) و با دقت دلخواه با شبکه عصبی RBF تقریب زد. همچنین تحقیقات گسترده‌ای درباره کنترل عصبی RBF سیستم‌های غیرخطی انجام شده که در حال حاضر نیز ادامه دارد.

در ادامه، مدل ریاضی یک شبکه ساده RBF و پیاده‌سازی آن در متلب را بیان می‌کنیم.

یک شبکه عصبی ساده RBF

شبکه‌های عصبی RBF سه لایه دارند: لایه ورودی (Input Layer)، لایه پنهان یا مخفی (Hidden Layer) و لایه خروجی (Output Layer). نورون‌های لایه مخفی با یک تابع پایه شعاعی (RBF) فعال (تحریک) می‌شوند. لایه مخفی از آرایه‌ای از واحدهای محاسباتی تشکیل شده که گره‌های مخفی (Hidden Nodes) نامیده می‌شوند. هر گره مخفی شامل یک بردار $$c$$ مرکزی است که یک بردار پارامتری با طولی مشابه با بردار ورودی $$x$$ است. فاصله اقلیدسی بین بردار مرکز و بردار ورودی $$x$$ شبکه به صورت $$ ||x (t) – c_j (t) || $$ تعریف می‌شود.

شکل ۲ مدل شبکه عصبی ساده‌ای را نشان می‌دهد. در این شکل، ورودی‌ها یا همان نورون‌های ورودی $$x_1$$ تا $$x_n$$ هستند. وزن‌ها نیز $$ w _1$$ تا $$ w _ n $$ هستند که در هریک از ورودی‌ها ضرب می‌شوند. عنصر دیگر این شبکه عصبی تابع جمع $$Net _ i $$ است که حاصل‌ضرب ورودی‌ها در وزن‌ها را جمع می‌کند. بخش دیگر این شبکه، تابع فعال‌سازی $$f$$ است. و در نهایت، خروجی بخش آخر این شبکه را تشکیل می‌دهد.

الگوریتم این شبکه عصبی را می‌توان به صورت زیر توصیف کرد:

$$ \large Net _ i = \sum _i w _ {i j } x_j + b _ i  $$

$$ \large u _ i = f ( Net _ i ) $$

$$ \large y _ i =g ( u _ i ) = h ( N e t _ i ) $$

که در آن، $$ g ( u _ i ) = u _ i $$ و $$ y _ i = f ( Net _ i ) $$ است. مقدار $$b_i$$ نیز بایاس است.

یک مدل شبکه عصبی ساده
شکل ۲: یک مدل شبکه عصبی ساده

تابع فعال‌ساز $$ f ( Net _i ) $$ معمولاً به یکی از این سه صورت است:‌

۱. مقدار آستانه (Threshold Value):

$$ \large f ( N e t _ i ) =
\begin {cases}
\begin{matrix}
1 & Net _ i > 0 \\
0 & N et _ i \le 0
\end {matrix}
\end {cases} $$

تابع آستانه در شکل زیر داده شده است.

تابع آستانه
شکل ۳: تابع آستانه

۲. تابع خطی:

$$ \large f ( N e t _ i ) =
\begin {cases}
\begin{matrix}
0 & Net _ i \le Net_{i0} \\
k N e t _i & Net _ {i0} < Net_i < N e t _ {i1} \\
f _ { m a x } & N e t _ i \ge N e t _ { i 1 }
\end {matrix}
\end {cases} $$

برای مثال، با انتخاب $$ Net _ {i 0 } = 30 $$، $$ N e t _ {i 1 } = 70 $$ و $$ f _ { ma x } = 5.0 $$ تابع خطی به صورت شکل ۴ خواهد بود.

تابع خطی
شکل ۴: تابع خطی

۳. تابع غیرخطی:

توابع سیگموئید (Sigmoid) و گوسی (Gaussian)‌ در شبکه‌های عصبی بسیار مورد استفاده قرار می‌گیرند. سیگموئید به صورت زیر تعریف می‌شود:

$$ \large f ( Net _ i ) = \frac { 1 } { 1 + e ^ – \frac { Net _ i } { T } } $$

به عنوان مثال، با انتخاب $$ T = 1.0$$ شکل این تابع به صورت زیر خواهد بود.

تابع سیگموئید
شکل ۵: تابع سیگموئید

طراحی و شبیه‌سازی شبکه عصبی در متلب

شبکه عصبی تابع پایه شعاعی (RBF) یک شبکه عصبی چندلایه است. شبکه عصبی RBF از سه لایه با واحدهای (نورون‌های) پردازنده تشکیل می‌شود (در ساده‌ترین حالت).

شبکه عصبی RBF

ساختار یک شبکه عصبی RBF سه لایه در شکل ۶ نشان داده شده است.

ساختار شبکه عصبی RBF
شکل ۶: ساختار شبکه عصبی RBF

در شبکه عصبی RBF بردار ورودی $$ \mathbf{x} = [x _ i ] ^ T $$ است. فرض می‌کنیم $$m$$ نورون در لایه مخفی وجود داشته باشد، و بردار تابع پایه شعاعی در لایه مخفی $$ \mathbf{h} = [h _j]^ T $$ و $$h _ j$$ تابع گوسی نورون $$j$$‌ در لایه مخفی باشد، و داشته باشیم:

$$ \large h _ j = \text {exp} \left( – \frac { ||x – c _ j|| ^ 2} {2 b _ j ^ 2 } \right ) $$

که در آن، $$ c = [c _ { i j } ]  =
\begin {bmatrix}
c _ { 11} & \cdots & c _ { 1 m } \\
\vdots & \cdots & \vdots \\
c _ { n 1 } & \cdots & c _ {n m }
\end {bmatrix} $$ مختصات نقطه مرکزی تابع گوسی نورون $$j$$ برای $$i$$اُمین ورودی است. همچنین، در بردار $$ \mathbf{b} = [b_1, \cdots, b _ m ] ^ T $$ مقدار $$ b _ j $$ طول تابع گوسی را برای نورون $$j$$ نشان می‌دهد.

مقدار وزن RBF برابر است با:

$$ \large \mathbf { w} = [w _ 1 , \cdots, w _ m ]^ T $$

خروجی شبکه عصبی RBF به صورت زیر است:

$$ \large  y ( t ) = \mathbf {w}^T \mathbf {h } = w _ 1 h _ 1 + w _ 2 h _ 2 + \cdots + w _ m h _ m $$

شبیه‌سازی شبکه عصبی RBF در متلب

یک شبکه عصبی RBF را با ساختار $$ 1 – 5 – 1 $$ در نظر بگیرید که ورودی آن، $$x = x _ 1 $$ است و داریم:

$$ \large \mathbf {b } = [b _ 1 \; \; b _ 2 \;\; b _ 3 \;\; b _ 4 \;\; b _ 5]^T$$

$$ \large \mathbf {c } = [c _ {11} \; \; c _ {12} \;\; c _ {13} \;\; c _ {14} \;\; c _ {15}]^T$$

$$ \large \mathbf {h} = [h _ 1 \; \; h _ 2 \;\; h _ 3 \;\; h _ 4 \;\; h _ 5]^T$$

$$ \large \mathbf {w} = [w _ 1 \; \; w _ 2 \;\; w _ 3 \;\; w _ 4 \;\; w _ 5]^T$$

$$ \large y ( t ) = \mathbf {w} ^ T \mathbf {h } = w _ 1 h _ 1 + w _ 2 h _ 2 + w _ 3 h _ 3 + w _ 4 h _ 4 +w _ 5 h _ 5. $$

فرض می‌کنیم ورودی $$ \sin t $$ باشد. خروجی RBF در شکل ۷ و خروجی‌های لایه مخفی در شکل ۸ نشان داده شده‌اند.

خروجی RBF
شکل ۷: خروجی RBF
خروجی نورون‌های لایه مخفی
شکل ۸: خروجی نورون‌های لایه مخفی

ابتدا شکل زیر را در سیمولینک پیاده‌سازی می‌کنیم.

سیمولینک

تابع spacemodel.m به صورت زیر است:

برای رسم نتایج برنامه را به صورت زیر می‌نویسیم.

اکنون یک شبکه عصبی RBF را با ساختار $$ ۲ – 5 – ۱ $$ در نظر بگیرید که ورودی آن $$ \mathbf{x} = [x_1, x _ 2 ] ^T$$ است و داریم:

$$ \large \mathbf {b } = [b _ 1 \; \; b _ 2 \;\; b _ 3 \;\; b _ 4 \;\; b _ 5]^T$$

$$ \large \mathbf {c } =
\begin {bmatrix}
c _ {11} \; \; c _ {12} \;\; c _ {13} \;\; c _ {14} \;\; c _ {15} \\
c _ {21} \; \; c _ {22} \;\; c _ {23} \;\; c _ {24} \;\; c _ {25}
\end{bmatrix}^T
$$

$$ \large \mathbf {h} = [h _ 1 \; \; h _ 2 \;\; h _ 3 \;\; h _ 4 \;\; h _ 5]^T$$

$$ \large \mathbf {w} = [w _ 1 \; \; w _ 2 \;\; w _ 3 \;\; w _ 4 \;\; w _ 5]^T$$

$$ \large y ( t ) = \mathbf {w} ^ T \mathbf {h } = w _ 1 h _ 1 + w _ 2 h _ 2 + w _ 3 h _ 3 + w _ 4 h _ 4 +w _ 5 h _ 5. $$

دو ورودی $$\sin t $$ را در نظر می‌گیریم. خروجی RBF در شکل ۹ نشان داده شده است و شکل‌های ۱0 و ۱۱ خروجی‌های لایه مخفی را نشان می‌دهند.

خروجی RBF
شکل ۹: خروجی RBF
خروجی لایه مخفی برای ورودی اول
شکل ۱۰: خروجی لایه مخفی برای ورودی اول
خروجی لایه مخفی برای ورودی دوم
شکل ۱۱: خروجی لایه مخفی برای ورودی دوم

برای پیاده‌سازی این شبکه عصبی با دو ورودی، سیستم را به صورت زیر در سیمولینک تشکیل می‌دهیم.

سیمولینک

تابع spacemodel.m به صورت زیر است:

برای رسم نتایج، برنامه‌ را به صورت زیر می‌نویسیم و اجرا می‌کنیم.

آموزش شبکه عصبی با الگوریتم پس انتشار

شکل ۱۲ ساختار یک شبکه سه لایه را برای الگوریتم پس انتشار (BP) نشان می‌دهد. این الگوریتم، یکی از روش‌های آموزش شبکه عصبی است. اولین لایه (سمت چپ) لایه ورودی است که از داده‌های ورودی تغذیه می‌شود. لایه بعدی، لایه مخفی است که در آن، واحدهای پردازنده به واحدهای لایه قبل و بعد متصل هستند.

ساختار شبکه عصبی پس‌انتشار
شکل ۱۲: ساختار شبکه عصبی پس‌انتشار

همان‌طور که در شکل ۵ می‌بینیم، لایه‌ها کاملاً با هم ارتباط دارند؛ بدین معنی که هر واحد پردازش با همه واحدهای لایه قبلی ارتباط دارد. همچنین، واحدهای هر لایه مجزا با یکدیگر ارتباطی ندارند.

تقریب یک سیستم با استفاده از شبکه عصبی و الگوریتم پس انتشار

نمودار بلوکی تقریب سیستم با استفاده از شبکه عصبی پس انتشار در شکل ۱۳ نشان داده شده است.

طرح تقریب با پس انتشار
شکل ۱۳: طرح تقریب با پس انتشار

شکل ۱۴ نیز ساختار شبکه عصبی را برای تقریب نشان می‌دهد.

ساختار شبکه عصبی پس انتشار برای تقریب
شکل ۱۴: ساختار شبکه عصبی پس انتشار برای تقریب

هدف، به‌روزرسانی وزن‌ها به گونه‌ای است که شبکه عصبی با خطای قابل قبولی سیستم را تقریب بزند. الگوریتم پس انتشار خطا به صورت زیر است:

۱. محاسبه پیش‌خور:

ورودی لایه مخفی برابر است با:

$$ \large x _ j = \sum _ i w _ { i j } x _ i $$

خروجی لایه مخفی نیز به صورت زیر است:

$$ \large x’ _j = f ( x _ j ) = \frac { 1 } { 1 + e ^ { – x _ j } } $$

در نتیجه، می‌توان نوشت:

$$ \large \frac { \partial x’ _ j } { \partial x _ j } = x’ _ j ( 1 – x’ _ j ) $$

خروجی لایه خروجی نیز برابر است با:

$$ \large y _ o ( k ) = \sum _j w _ { j o } x’ _ j $$

بنابراین، خطای تقریب به صورت زیر قابل محاسبه است:

$$ \large e ( k ) = y ( k ) – y _ n ( k ) $$

تابع شاخص خطا را این‌گونه تعریف می‌کنیم:

$$ \large E = \frac {1} { 2 } e ( k ) ^ 2 $$

۲. الگوریتم یادگیری پس انتشار

طبق الگوریتم روش شدیدترین کاهش (گرادیان) مقدار وزن $$ w _ { j o } $$ برابر است با:

$$ \large \Delta w _ { j o } = – \eta \frac { \partial E } { \partial w _ { j o } } = \eta \cdot e ( k ) \cdot \frac { \partial y _ o } { \partial w _ { j o } } = \eta \cdot e ( k ) \cdot x’ _ j $$

مقدار وزن در لحظه $$ k + 1 $$ به صورت زیر است:

$$ \large w _ { j o } ( k + 1 ) = w _ { j o }  ( k ) + \Delta w _ { j o } $$

یادگیری مقدار وزن $$ w _ { i j } $$ برابر است با:

$$ \large \Delta w _ {ij } = – \eta \frac { \partial E } { \partial w _ {ij } } = \eta \cdot e ( k ) \cdot \frac { \partial y _ o } { \partial w _ { i j } } $$

که در آن، از قاعده زنجیره‌ای زیر استفاده شده است:

$$ \large \frac { \partial y _ o } { \partial w _ { ij} } = \frac { \partial y _ o } { \partial x’ _ { j} } \cdot \frac { \partial x’ _ { j}} { \partial x _ { j} } \cdot \frac { \partial x _ { j}} { \partial w _ { i j} } = w _ { j o } \cdot \frac { \partial x’ _ { j}} { \partial x _ { j} } \cdot x _ i = w _ { j o } \cdot x’ _ j ( 1 – x’ _ j ) \cdot x _ i $$

مقدار وزن در لحظه $$k + 1 $$ برابر است با:

$$ \large w _ { i j } ( k + 1 ) = w _ { i j } (k) + \Delta w _ { i j } $$

با در نظر گرفتن اثر تغییر مقدار وزن قبلی، الگوریتم محاسبه وزن به صورت زیر خواهد بود:

$$ \large w _ { j o } (k + 1 ) = w _ { j o } ( k ) + \Delta w _ { j o } + \alpha ( w _ { j o } ( k ) – w _ { j o } ( k – 1 ) ) $$

$$ \large w _ { i j } (t + 1 ) = w _ { i j } ( t ) + \Delta w _ { i j } + \alpha ( w _ { i j } ( t ) – w _ { i j } ( t – 1 ) ) $$

که در آن، $$\eta \in [0,1]$$ نرخ یادگیری و $$\alpha \in [ 0 , 1 ] $$ ضریب مومنتوم است.

با استفاده از تقریب شبکه عصبی پس انتشار، مقدار ژاکوبی را می‌توان به صورت زیر محاسبه کرد:

$$ \large \frac { \partial y ( k ) } { \partial u ( k ) } \approx \frac { \partial y _ o ( k ) } { \partial u ( k ) } = \frac { \partial y _ o ( k ) } { \partial x’_j } \times \frac { \partial x’_j } { \partial x _ j } \times \frac { \partial x _ j } { \partial x ( 1 ) } = \sum _ j w _ { jo } x’_j ( 1 – x’ _ j ) w _ { 1 j } $$

شبیه‌سازی تقریب شبکه عصبی با یادگیری پس انتشار در متلب

فرض کنید سیستمی با معادله زیر داده شده است:

$$ \large y ( k ) =  u ( k )  ^ 3 + \frac { y ( k – 1 ) } {1 + y ( k – 1 ) ^ 2 } $$

سیگنال ورودی $$ u ( k ) = 0.5 \sin  ( 6 \pi t ) $$ است. بردار ورودی شبکه عصبی RBF را به صورت $$ \mathbf { x } = [ u ( k ) \; \; y ( k ) ] $$ و ساختار شبکه عصبی را $$ 2 – 6 – 1 $$ انتخاب می‌کنیم. مقدار اولیه $$\mathbf {W} _ { jo}$$ و $$ \mathbf {W } _ { i j } $$ را یک مقدار تصادفی، بین $$ [-1 \;\; +1 ] $$ در نظر می‌گیریم. همچنین، $$ \eta = 0.50$$ و $$ \alpha = 0.05 $$ را انتخاب می‌کنیم.

برای انجام شبیه‌سازی در متلب، یک m-فایل را با نام exp_1.m ذخیره کرده و برنامه زیر را در آن می‌نویسیم. حاصل اجرای برنامه زیر، شکل‌های ۱۵ تا ۱۷ است. همان‌طور که می‌بینیم، شبکه عصبی با خطای کمی تابع مورد نظر را تقریب زده است.

تقریب BP
شکل ۱۵: تقریب BP
خطای تقریب پس انتشار
شکل ۱۶: خطای تقریب پس انتشار
شناسایی مقدار ژاکوبی
شکل ۱۷: شناسایی مقدار ژاکوبی

دوره آموزش ویدیویی شبکه‌های عصبی مصنوعی در متلب

برای آشنایی بیشتر با شبکه‌های عصبی و پیاده‌سازی آن‌ها در متلب می‌توانید به دروه آموزش ویدئویی «مجموعه آموزش های شبکه های عصبی مصنوعی در متلب» مراجعه کنید. در این آموزشِ ۲۷ ساعت و ۴۶ دقیقه‌ای که شامل ۷ بخش اصلی است، می‌توانید با شبکه‌های عصبی مصنوعی و پیاده‌سازی آن‌ها در متلب از سطح مقدماتی تا پیشرفته آشنا شوید. در بخش اول و دوم این مجموعه، به ترتیب، شبکه‌های عصبی پرسپترون چندلایه یا MLP و شبکه‌های عصبی شعاعی پایه یا RBF در متلب ارائه شده است. در بخش سوم، ماشین‌های بردار پشتیبان یا SVM در متلب بیان شده است. یادگیری غیر نظارت شده و خوشه‌بندی با الگوریتم k-Means، موضوع بخش چهارم از این مجموعه ویدئویی است. شبکه‌های عصبی رقابتی و نگاشت خودسازمان‌ده یا SOM، تحلیل مؤلفه اساسی یا PCA و شبکه‌های عصبی هاپفیلد یا Hopfield Neural Network نیز درس‌های پنجم تا هفتم از این مجموعه آموزش را تشکیل می‌دهند.

اگر این مطلب برای شما مفید بوده است، آموزش‌های زیر نیز به شما پیشنهاد می‌شوند:

^^

به عنوان حامی، استارتاپ، محصول و خدمات خود را در انتهای مطالب مرتبط مجله فرادرس معرفی کنید.

telegram
twitter

سید سراج حمیدی

«سید سراج حمیدی» دانش‌آموخته مهندسی برق است. فعالیت‌های کاری و پژوهشی او در زمینه سیستم‌های فتوولتائیک و کاربردهای کنترل در قدرت بوده و، در حال حاضر، آموزش‌های مهندسی برق و ریاضیات مجله فرادرس را می‌نویسد.

آیا این مطلب برای شما مفید بود؟

نظر شما چیست؟

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *