درک حافظه در سیستم‌های یادگیری عمیق از منظر علوم اعصاب، روانشناسی و فناوری

در این نوشته به بررسی مبانی حافظه در سیستم‌های یادگیری عمیق خواهیم پرداخت. مدل‌سازی حافظه حوزه تحقیقاتی در حال رشدی در زمینه یادگیری عمیق محسوب می‌شود. در سال‌های اخیر تکنیک‌هایی مانند ماشین‌های تورینگ عصبی (NTM) پیشرفت زیادی در تشکیل شالوده ساختارهای حافظه شبیه به انسان در سیستم‌های یادگیری عمیق داشته‌اند. در این نوشته از زاویه‌ای متفاوت به این موضوع می‌پردازیم و تلاش می‌کنیم تا به چنین سؤالات بنیادی که هنگام اندیشه در مورد حافظه در مدل‌های یادگیری عمیق پدید می‌آیند پاسخ دهیم:

• الف) چه چیزی باعث می‌شود حافظه در سیستم‌های یادگیری عمیق چنین پیچیده شوند؟
• ب) در مورد معماری حافظه از چه منابعی می‌توان الهام گرفت؟
• ج) تکنیک‌های اصلی مورد استفاده برای نمایش حافظه‌ها در مدل‌های یادگیری کدام هستند؟

برای ارائه پاسخ‌های مناسب به دو سؤال نخست می‌بایست به نظریه‌های زیست‌شناختی و همچنین روان‌شناختی حافظه نگاهی داشته باشیم. بدین ترتیب به دو مکتب تفکر می‌رسیم که بر روی دانش ما از حافظه تأثیر گذارده‌اند: علوم اعصاب و روانشناسی شناختی. ما با پیگیری همین روند تفکر قصد داریم این نوشته را در سه بخش اصلی ارائه کنیم. بخش نخست به توضیح نظریه علوم اعصاب در خصوص حافظه می‌پردازد. بخش دوم از منظر روانشناسی شناختی به حافظه نگاه می‌کند و بخش نهایی بر روی چگونگی الهام گیری یادگیری عمیق از این نظام‌های فکری برای بهره‌گیری از حافظه در شبکه‌های عصبی متمرکز شده است. بنابراین ابتدا از جایی شروع می‌کنیم که حافظه‌ها ایجاد شدند: مغز انسان.

نظریه علوم اعصاب در خصوص حافظه

درک چگونگی ایجاد و در پاره‌ای موارد تخریب حافظه و همچنین تفاوت‌های بین حافظه‌های بلندمدت و کوتاه‌مدت زمینه مهمی از تحقیقات علوم اعصاب در طی دهه اخیر بوده است. یکی از موضوعات نمادین که این سطح از تحقیقات را موجب شده به بیماری به نام هنری مولیسون (H.M) مربوط است.

فیلم آموزش یادگیری عمیق با کتابخانه پای تورچ PyTorch در پایتون در فرادرس

کلیک کنید

هنری گوستاو مولیسون (اچ.ام.) در سن 9 سالگی دچار تصادفی شد که باعث گردید تا سال‌ها دچار تشنج‌های دوره‌ای شود. در سال 1952 وی در سن 25 سالگی تحت یک جراحی قرار گرفت تا نشانه‌های تشنج در وی رفع شوند. این رویه در ابتدا موفقیت‌آمیز به نظر می‌رسید تا این که پزشکان دریافتند که به طور تصادفی بخشی از هیپوکامپ اچ.ام. را بریده‌اند و در نتیجه وی نمی‌توانست خاطرات جدید را به حافظه‌اش بسپارد.

ایده زندگی بدون خاطرات جدید همانند این است که همواره در زمان حاضر زندگی کنید. چنین وضعیتی معادل این نیست که حافظه خوبی دارید یا نه؛ بلکه طوری زندگی می‌کنید که هیچ‌گاه نمی‌توانید خود را به هیچ رویدادی در گذشته یا آینده ارتباط دهید. بیمار اچ.ام. روز خود را به نحوی سپری می‌کرد که تنها چند دقیقه اطلاعات را در حافظه خود نگه می‌داشت و بارها با افراد تکراری ملاقات کرده و سؤالات تکراری را به طور مرتب از آن‌ها می‌پرسید. مورد بیمار اچ.ام انگیزه‌ای برای محققان علوم اعصاب ایجاد کرد تا شیوه ایجاد حافظه، ذخیره‌سازی و فراخوانی آن را درک کنند.

اجزای درگیر حافظه در مغز

نظریه علوم اعصاب مدرن در مورد حافظه شامل سه حوزه عمده مغز است: تالاموس، پیش پیشانی و کورتکس و هیپوکامپ. تالاموس را می‌توان به عنوان یک مسیریاب تصور کرد که اطلاعات حواسی (بینایی، لامسه، صحبت کردن) را پردازش کرده و این اطلاعات را جهت ارزیابی به لوب‌های حواسی (sensory lobes) مغز ارسال می‌کند. اطلاعات ارزیابی شده در نهایت به قشر پیش پیشانی می‌رسند. در آنجا اطلاعات به شکل حافظه‌های کوتاه‌مدت وارد هوشیاری ما می‌شوند. این اطلاعات به هیپوکامپ نیز ارسال می‌شوند. در آنجا اطلاعات به بخش‌های مختلف تقسیم می‌شوند تا در کورتکس‌های مختلف به صورت حافظه‌های بلندمدت ذخیره شوند. یکی از بزرگ‌ترین چالش‌های علوم اعصاب امروزه آن است که درک کنند چگونه بخش‌های پراکنده حافظه می‌توانند به صورت یک تجربه منسجم از حافظه گرد هم آیند. این مسئله در علوم اعصاب به نام «مسئله اتصال» نامیده می‌شوند.

مسئله اتصال

مسئله اتصال به عنوان یکی از معمایی‌ترین جنبه‌های نظریه حافظه در علوم اعصاب، مفهوم یادآوری حافظه از روی اطلاعات حواسی را به چالش می‌کشد. برای مثال تجربه رفتن به یک کنسرت به همراه یار عزیزی را تصور کنید. خاطرات این رویداد تجزیه می‌شوند و در مناطق مختلف مغز ذخیره می‌شوند. با این حال تنها یک تجربه مانند گوش دادن به یک ملودی که در آن کنسرت شنیده بودید یا مشاهده همسرتان در حال رقص کافی است تا کل خاطره آن کنسرت در ذهن شما زنده شود. این وضعیت چگونه ممکن است؟

یک نظریه که مسئله اتصال را حل می‌کند، بدین گونه است که بخش‌های مختلف حافظه به وسیله نوسان‌های الکترومغناطیسی که به طور مداوم از طریق مغز ارسال می‌شوند به هم ارتباط می‌یابند. این نوسان‌ها یک لینک زمانی (و نه مکانی) بین بخش‌های حافظه ‌ایجاد می‌کنند که به آن‌ها امکان می‌دهد تا به صورت یک خاطره منسجم گرد هم جمع شوند.

نظریه حافظه در علوم اعصاب پایه‌ای برای درک اجزای اصلی یک معماری حافظه هوشمند را به ما ارائه می‌کند. با این حال حافظه انسان تنها یک محصول فرعی از اجزای مغز نیست؛ بلکه به طور عمیقی تحت تأثیر شرایط زمینه‌ای نیز قرار دارد. این مسئله در بخش بعدی بیشتر توضیح داده شده است.

نظریه حافظه در روانشناسی شناختی

مسئله اتصال در نظریه حافظه در علوم اعصاب توضیح می‌دهد که چگونه بخش‌های پراکنده حافظه می‌توانند به صورت خاطرات منسجمی گرد هم جمع شوند. مشخص شده است که برای توضیح مسئله اتصال باید فراتر از معماری مغز حرکت کنیم و همه انواع اجزای چارچوب روان‌شناختی که تأثیر عمیقی بر یادآوری خاطرات دارند را نیز بررسی نماییم. یکی از اصلی‌ترین نظریات در این زمینه روانشناسی شناختی است که تلاش می‌کند ماهیت ارتباطی حافظه را توضیح دهد. این مفهوم تأثیر تداعی نام دارد.

فیلم آموزش برنامه نویسی یادگیری عمیق با کتابخانه TensorFlow 2 در فرادرس

کلیک کنید

حافظه ارتباطی و تأثیر تداعی

همانند همه نظریات خوب روانشناسی شناختی سعی می‌کنیم تأثیر تداعی را نیز از طریق آزمایش‌ها توضیح دهیم. نخستین چیزی که با شنیدن واژه «شام» به ذهنتان می‌رسد چیست؟ آیا نوشیدنی است یا دسر؟ شاید یک قرار ملاقات جمعه شب به ذهنتان می‌آید. همان‌طور که می‌بینید چیزی به سادگی یک کلمه می‌تواند مجموعه پیچیده‌ای از احساسات و حتی واژه‌های مرتبط دیگر را به ذهن فرا بخواند. ما در این وضعیت به طور مؤثری اقدام به یادآوری خاطرات می‌کنیم.

یکی از نتایج قابل توجه آزمایش‌های قبلی این است که متوجه شوید تا چه حد سریع می‌توانید این کلمات یا خاطرات مرتبط را بازیابی کنید. دلیل وقوع این حالت آن است که خاطرات مرتبط بخشی از آن چیزی است که دنیل کانمن برنده جایزه نوبل اقتصاد آن را سیستم 1 می‌نامد. این فرایند به سرعت رخ می‌دهد و یک سری از احساسات و پاسخ‌های فیزیکی مرتبط تولید می‌شوند. در روانشناسی، این نوع از پدیده‌ها به نام انسجام ارتباطی (Associatively Coherent) نامیده می‌شوند.

روش اکتشاف دسترسی‌پذیری (Availability Heuristic)

جزء مهم دیگر نظریه حافظه در زمینه روانشناسی شناختی به چگونگی یادآوری فراوانی رویدادها مرتبط است. برای نمونه اگر از شما بپرسند: «در طی ده سال اخیر به چه تعداد کنسرت رفته‌اید؟» شما اگر حس خوبی نسبت به کنسرت داشته باشید و یا اخیراً به کنسرتی رفته باشید به احتمالاً بالا تقریبی بالاتر از عدد واقعی ارائه می‌کنید. در غیر این صورت اگر از کنسرت آخر خود لذت نبرده باشید، این عدد ممکن است بسیار پایین‌تر از عدد واقعی باشد. این فرایند شناختی به نام اکتشاف دسترسی‌پذیری نامیده می‌شود و توضیح می‌دهد که خاطرات ما چگونه به مقدار زیادی تحت تأثیر وجود سریع یک پاسخ وابسته هستند.

تا به اینجا ایده‌ای از طرز تفکر در مورد حافظه در چارچوب مغز (علوم اعصاب) و شرایط اجتماعی (روانشناسی شناختی) کسب کرده‌ایم. حال سؤال این است که چگونه می‌توانیم از این نظریه‌ها در الگوریتم‌های یادگیری عمیق استفاده کنیم؟

حافظه و یادگیری عمیق

از دیدگاه نظریات علوم اعصاب و روانشناسی شناختی، می‌دانیم که هر نوع سیستم حافظه مصنوعی مجموعه معینی از خصوصیات دارد که آن را شبیه حافظه انسان می‌کند.

• الف. حافظه به پارتیشن‌هایی تقسیم می‌شود که زمینه‌های مختلف دانش را توصیف می‌کند.
• ب. بخش‌های گسسته به صورت ساختارهای اطلاعاتی منسجمی گرد هم می‌آیند.
• ج. داده‌ها بر پایه موضوع بازیابی می‌شوند و نه بر اساس اطلاعاتی با ارتباط مستقیم و یا ارجاع به داده‌های بیرونی.
• 

  فیلم آموزش یادگیری عمیق در پایتون با تنسورفلو و کراس TensorFlow و Keras در فرادرس

  کلیک کنید

هیچ نظامی در علوم رایانه بیش از یادگیری عمیق از سیستم‌های حافظه شبیه انسان بهره نبرده است. یادگیری عمیق از روزهای نخست این تلاش را داشته است که سیستم‌هایی را مدل‌سازی کند که بخشی از خصوصیات کلیدی حافظه انسان را داشته باشند.

یادگیری عمیق و حافظه ضمنی

جهت درک ارتباط‌های معنایی حافظه در یادگیری عمیق، می‌بایست بین مفاهیم دانش ضمنی و تصریحی تمایز قائل شویم. دانش ضمنی معمولاً ناهشیار است و در نتیجه توضیح آن دشوار است. می‌توانیم نمونه‌هایی از دانش ضمنی را در زمینه‌هایی مانند تحلیل گفتار و بینایی به صورت بازشناسی میمون دریک تصویر یا آهنگ و لحن یک جمله بیان شده مثال بزنیم. دانش تصریحی برخلاف این مدل به آسانی به صورت توصیفی مدل‌سازی می‌شود. برای نمونه درک این که میمون نوعی حیوان است یا این که صفت‌های خاصی گستاخانه هستند نمونه‌هایی کلاسیک از دانش تصریحی هستند. می‌دانیم که الگوریتم‌های یادگیری عمیق پیشرفت فراوانی در نمایش دانش ضمنی داشته‌اند؛ اما هنوز در مدل‌سازی و به خاطر سپاری دانش تصریحی کار زیادی دارند.

چه چیزی باعث شده است که یادگیری دانش تصریحی از سوی الگوریتم‌های یادگیری عمیق تا این حد دشوار باشد؟ اگر به معماری سنتی شبکه‌های عصبی با میلیون‌ها گره به هم مرتبط دقت کنید متوجه می‌شوید که فقدان معادلی برای سیستم کارآمد حافظه که بتواند بخش‌های گسسته‌ای از دانش و رابطه آن‌ها با هم را طوری ذخیره سازد که به آسانی از لایه‌های مختلف شبکه قابل دسترسی باشند، مشکلی اساسی محسوب می‌شود. اخیراً تکنیک‌های جدیدی در حوزه یادگیری عمیق برای حل این مشکل توسعه یافته‌اند.

ماشین‌های تورینگ عصبی

تکامل سریع الگوریتم‌های یادگیری سریع نیاز به سیستم‌های حافظه‌ای دارد که بتوانند خصوصیاتی شبیه به حافظه انسان هنگام پردازش دانش تصریحی از خود بروز دهند. یکی از تکنیک‌های رایج در مدل‌سازی حافظه به نام ماشین‌های تورینگ عصبی (NTM) شناخته می‌شود که در سال 2015 از سوی DeepMind معرفی شده‌اند.

NTM با بسط شبکه‌های عصبی عمیق با سلول‌های حافظه‌ای که بتوانند بردارهای کاملی را ذخیره کنند، ساخته شده است. یکی از بزرگ‌ترین نوآوری‌های NTM این است که از روش‌های اکتشافی برای خواندن و نوشتن اطلاعات استفاده می‌کند. برای نمونه NTM سازوکاری را پیاده‌سازی می‌کند که می‌تواند بردارها را بر مبنای الگوهای ورودی بازیابی نماید. این فرایند شبیه روش یادآوری خاطرات در مغز انسان بر مبنای تجربیات موضوعی است. به علاوه NTM سازوکارهایی برای افزایش حضور سلول‌های حافظه بر مبنای این که چه مقدار یادآوری می‌شوند دارد.

NTM تنها تکنیکی نیست که قابلیت‌های حافظه را در سیستم‌های یادگیری عمیق مهیا ساخته است؛ اما قطعاً یکی از رایج‌ترین آن‌ها است. تقلید از کارکردهای زیست‌شناختی و روان‌شناختی حافظه انسان کار ساده‌ای نیست و به یکی از مهم‌ترین زمینه‌های تحقیقاتی در حوزه یادگیری عمیق تبدیل شده است.

اگر به این نوشته علاقه‌مند بودید، موارد زیر نیز احتمالاً مورد توجه شما قرار خواهند گرفت:

• آموزش یادگیری عمیق (Deep learning)
• یادگیری ماشین و بازشناسی الگو
• ۱۰ معماری پیشرفته‌ یادگیری عمیق
• آموزش یادگیری ماشین با مثال‌های کاربردی
• آموزش برنامه نویسی یادگیری عمیق با پایتون (TensorFlow و Keras)
• الگوریتم ژنتیک و محاسبات تکاملی
• ۲۵ اصطلاح و مفهوم که برای شروع «یادگیری عمیق» باید بدانید

==