مهارت های مهم برای دانشمندان داده در سال ۹۹ – به همراه منابع یادگیری

مهارت های مهم برای دانشمندان داده در سال ۹۹

فیلم آموزش مسیر تبدیل شدن به دانشمند علم داده در فرادرس

کلیک کنید

آمار و احتمال

• اکتشاف و درک بیشتر پیرامون داده‌ها
• شناسایی روابط اساسی یا وابستگی‌های موجود بین دو یا چند متغیر
• پیش‌بینی گرایش‌های آینده یا پیش‌بینی یک جهش (Drift) بر اساس گرایش‌های پیشین داده‌ها
• تعیین الگوها یا گرایش‌های داده‌ها
• پرده‌برداری از «ناهنجاری» (Anomaly) در داده‌ها

منبع پیشنهادی جهت یادگیری آمار و احتمال:

• مجموعه آموزش‌های آمار و احتمالات

محاسبات چند متغیره و جبر خطی

فیلم آموزش جبر خطی – جامع و مفاهیم کلیدی در فرادرس

کلیک کنید

در ادامه، برخی از مباحث ریاضی که باید در علم داده به کار با آن‌ها آشنا بود، بیان شده‌اند.

• مشتقات و گرادیان
• «تابع پله‌ای» (Step Function)، «تابع سیگموئید» (Sigmoid Function)، «تابع لوجیت» (Logit Function)، «تابع واحد یکسوساز خطی» (Rectified Linear Unit Function | ReLU)
• تابع هزینه (Loss Function)
• ترسیم نمودار توابع
• مقادیر بیشینه و کمینه برای یک تابع
• توابع عددی، برداری، ماتریس‌ها و تانسورها

منابع پیشنهادی جهت یادگیری محاسبات چند متغیره و جبر خطی:

• مجموعه آموزش‌های ریاضیات
• آموزش جبر خطی با متلب

مهارت برنامه‌نویسی

حقیقت این است که در بحث علم داده، تعصب‌های موجود در میان برنامه‌نویسان، خریداری ندارد و دانشمند داده باید زبانی را انتخاب و استفاده کند که نیازهای مسئله بیان شده را پاسخگو است. اگرچه، به نظر می‌رسد که زبان برنامه‌نویسی پایتون، بهترین زبان میانجی (Lingua Franca) برای علم داده است.

برای مطالعه بیشتر پیرامون کتابخانه‌های علم داده پایتون، مطالعه مطالب زیر، پیشنهاد می‌شود.

• ۱۳ کتابخانه یادگیری عمیق پایتون — راهنمای کاربردی
• ۱۰ کتابخانه پایتون علم داده — راهنمای کاربردی
• ۸ کتابخانه یادگیری ماشین پایتون — راهنمای کاربردی
• تقلب نامه (Cheat Sheet) کتابخانه‌ های پایتون — راهنمای کامل و سریع

در ادامه، لیستی از زبان‌های برنامه‌نویسی که می‌توان از آن‌ها برای علم داده استفاده کرد، بیان شده است.

• پایتون
• R
• اس‌کی‌ال (SQL) (زبان پرسش و پاسخ)
• جاوا
• جولیا
• اسکالا
• متلب

فیلم آموزش برنامه‌نویسی پایتون – مقدماتی در فرادرس

کلیک کنید

علم داده بدون تجربه کدنویسی یا دانش کدنویسی، کار دشواری خواهد بود.

منابع پیشنهادی جهت مهارت برنامه‌نویسی:

• مجموعه آموزش‌های برنامه‌ نویسی R و نرم‌ افزار RStudio
• برنامه‌نویسی پایتون
• مجموعه آموزش‌های جاوا
• مجموعه آموزش‌‌های پایگاه داده

آماده‌سازی داده‌ها

برای آماده‌سازی داده‌ها، افراد اساسا نیاز به ترکیب داده‌های مرتبط و سپس، پاکسازی داده‌ها دارند.در ادامه، به این پرسش که چه کارهایی را می‌توان با پاکسازی داده‌ها انجام داد، پاسخ داده شده است.

• آشکارسازی یک هوشمندی عمیق نهفته در پس داده‌ها با گردآوری داده‌ها از کانال‌های گوناگون
• فراهم کردن یک ارائه بسیار صحیح از داده‌های کاربردی برای کسب و کار و تحلیلگر داده در زمان مناسب
• کاهش زمان پردازش و زمان صرف شده برای گردآوری و سازمان‌دهی داده‌های نامرتب پیش از مورد استفاده قرار دادن آن‌ها
• قادر ساختن دانشمندان داده برای تمرکز بیشتر روی تحلیل داده‌ها به جای بخش پاکسازی
• هدایت فرایند تصمیم‌گیری داده‌محور در مسیری که توسط داده‌های صحیح پشتیبانی می‌شود

منابع پیشنهادی جهت آماده‌سازی داده‌ها:

• آموزش روش‌های پیش پردازش داده‌ها
• آموزش کار با پیش پردازش‌ها در یادگیری ماشین با پایتون
• آموزش تبدیل لگاریتمی و تفاضل‌گیری در پیش‌پردازش سری‌های زمانی

مدیریت پایگاه داده

دانشمندان داده افراد همه فن حریفی هستند. آن‌ها باید ریاضیات، آمار‌، برنامه‌نویسی، مدیریت داده و بصری‌سازی بدانند و این‌ها صرفا لازمه مبدل شدن فرد به دانشمند داده و نه دانشمند داده فول استک، است. همانطور که پیش از این نیز اشاره شد، ۸۰ درصد از تلاش‌های انجام شده برای آماده‌سازی داده برای پردازش‌های صنعتی است. با توجه به بخش‌های عظیم داده‌ای که فرد نیاز به کار با آن‌ها دارد، دانشمند داده باید چگونگی مدیریت داده‌ها را نیز بداند.

فیلم آموزش پایگاه‌ داده و اصول طراحی در فرادرس

کلیک کنید

در ادامه، به این پرسش پاسخ داده می‌شود که از از مدیریت پایگاه داده در علم داده چه استفاده‌هایی می‌توان کرد.

• تعریف، بازیابی و مدیریت داده‌ها در پایگاه داده
• دستکاری خود داده‌ها، قالب داده، اسامی فیلدها، ساختار رکورد و ساختار فایل
• تعریف قواعد برای نوشتن، اعتبارسنجی و ارزیابی داده‌ها
• پردازش روی سطح رکورد پایگاه داده
• پشتیبانی از محیط چند کاربری برای دسترسی داشتن و دستکاری داده‌ها به صورت موازی

برخی از پایگاه داده‌های محبوب عبارتند از: مای‌اس‌کیو‌ال (MySQL)، اس‌کیو‌ال سرور (SQL Server)، اوراکل (Oracle)، آی‌بی‌ام دی‌بی۲ (IBM DB2)، پُستگْرِس‌کیواِل (PostgreSQL) و پایگاه داده‌های نواس‌کیوال (NoSQL) مانند مانگودی‌بی (MongoDB)، کوچ‌دی‌بی (CouchDB)، دینامودی‌بی (DynamoDB)، «اچ‌بیس» (HBase)، نئو۴جی (Neo4j)، آپاچی کسندرا (Cassandra) و «رِدیس» (Redis).

بصری‌سازی داده‌ها

بصری‌سازی داده‌ها یکی از حیاتی‌ترین مهارت‌ها است، زیرا صرفا پیرامون ارائه نتایج نهایی نیست؛ بلکه به درک و یادگیری داده‌ها و آسیب‌پذیری‌های آن‌ها مربوط می‌شود. همیشه، به تصویر کشیدن خروجی‌ها، بهتر از ارائه ارقام و اعداد یا متن‌های طولانی و پیچیده است. مقادیر واقعی به صورت بصری به خوبی قابل درک هستند. هنگامی که بصری‌سازی انجام می‌شود، اطلاعات معناداری حاصل می‌شود که به طرز عجیبی قدرت تحت تاثیر قرار دادن سیستم را دارد. در ادامه، به این پرسش که برای بصری‌سازی داده‌ها چه اقداماتی می‌توان انجام داد، پاسخ داده شده است.

• ترسیم نمودار برای ارائه بینش قدرتمند
• تعیین رابطه بین متغیرهای ناشناخته
• بصری‌سازی نواحی که نیازمند بهبود یا توجه هستند
• تعیین عامل‌هایی که رفتار مشتری را تحت تاثیر قرار می‌دهند
• درک اینکه چه محصولی در کجا قرار بگیرد
• نمایش گرایش‌ها از اخبار، ارتباطات، وب‌سایت‌ها و رسانه‌های اجتماعی
• بصری‌سازی حجم انبوه اطلاعات
• گزارش مشتریان، کارایی کارکنان و نقشه فروش فصلی
• استراتژی بازاریابی ابداعی که بخش‌های گوناگونی از مشتریان را هدف قرار می‌دهد

یادگیری ماشین / یادگیری عمیق

در سازمان‌هایی که حجم انبوهی از داده‌ها مدیریت و پردازش می‌شود و تصمیم‌گیری‌های آن‌ها داده‌محور است، نیاز به مهارت‌های یادگیری ماشین است و در واقع، این حوزه متقاضی خواهد داشت. یادگیری ماشین زیرمجموعه‌ای از اکوسیستم علم داده است، درست مانند آمار و احتمالات که برای مدل‌سازی داده‌ها و به دست آوردن نتایج کاربرد دارند.

فیلم آموزش یادگیری ماشین – جامع و با مفاهیم کلیدی در فرادرس

کلیک کنید

پرسشی که در این وهله مطرح می‌شود آن است که با استفاده از یادگیری ماشین، چه اقدامی می‌توان برای علم داده انجام داد؟ در پاسخ به این سئوال، می‌توان به موارد زیر اشاره کرد.

• تشخیص کلاهبرداری و مدیریت ریسک
• بهداشت و درمان (یکی از زمینه‌های پر رونق در بحث علم داده که شامل ژنتیک، ژنومیک و تحلیل تصاویر می‌شود)
• برنامه‌ریزی مسیر هواپیمایی
• فیلترینگ خودکار اسپم
• سیستم‌های خودکار بازشناسی چهره و صدا
• تلفن گویای بهبود یافته (Interactive Voice Response | IVR)
• بازشناسی و ترجمه اسناد و زبان جامع

منابع پیشنهادی جهت یادگیری ماشین / یادگیری عمیق:

• مجموعه آموزش‌های داده‌کاوی و یادگیری ماشین

رایانش ابری

• اکتساب داده‌ها
• تجزیه کردن، آماده‌سازی، پیش‌پردازش، تبدیل و تحلیل داده
• داده‌کاوی (تحلیل داده اکتشافی، آمار خلاصه و ...)
• تایید اعتبار و ارزیابی مدل‌های پیش‌بین، سیستم‌های توصیه‌گر و چنین مدل‌هایی
• تنظیم متغیرهای داده و بهینه‌سازی کارایی مدل

برخی از پلتفرم‌های محبوب ابری عبارتند از «آمازون وب سرویس» (Amazon Web Services)، «ویندوز آژور» (Windows Azure)، «گوگل کلود» (Google Cloud) و «آی‌بی‌ام کلود» (IBM Cloud).

مایکروسافت اکسل

فیلم آموزش تحلیل داده‌های کسب‌وکار با Excel در فرادرس

کلیک کنید

اکسل در زمینه‌های زیر برای کار با داده‌ها مناسب است.

• ویرایشگری مناسب برای داده‌های دوبُعدی
• یک پلتفرم بنیادی برای تحلیل‌های پیشرفته داده‌ها
• ارائه یک اتصال زنده برای یک کاربرگ اکسل در حال اجرا در پایتون
• کاربر می‌تواند در اکسل هر کاری که تمایل دارد را انجام دهد و در نهایت، فایل خود را با فرمت مورد نظر خود ذخیره کند.
• دستکاری آسان داده‌ها در اکسل

چه اقدامی را می‌توان با اکسل برای علم داده انجام داد؟

• نام‌گذاری و ساخت طیف‌ها
• فیلتر، مرتب‌سازی، ادغام و هرس داده‌ها
• ساخت «جدول پیوت» (Pivot Tables) و نمودار
• Visual Basic for Applications یا VBA (این قابلیت، یکی از قدرت‌های قابل توجه اکسل است که در این مطلب مجال پرداختن به آن وجود ندارد. VBA یک زبان برنامه‌نویسی برای اکسل است که به کاربر امکان اجرای ماکروها، دستورات if..else و دیگر موارد را می‌دهد).
• پاک‌سازی داده‌ها شامل حذف مقادیر تکراری، تغییر ارجاعات بین مطلق، ترکیبی و نسبی
• انجام جستجوهای مورد نیاز در میان هزاران رکورد از داده‌ها

منابع پیشنهادی جهت فراگیری مایکروسافت اکسل:

دِواُپس

بسیاری از متخصصان علم داده بر این باور هستند که علم داده برای افرادی است که ریاضیات، آمار، الگوریتم و مدیریت داده می‌دانند. در حال حاضر افراد زیادی مشاهده می‌شوند که با مثلا ۶ سال سابقه دواپسی، قصد دارند که به دنیای علم داده وارد شوند. اما اینکه دواپس‌ها بدون آموختن چیز جدید و صرفا با دانستن مباحثی که از پیش به آن‌ها تسلط داشتند بتوانند به دانشمند داده مبدل شوند، موضوعی قابل بحث است که در حوصله این مطلب نگنجد. اما چیزی که می‌توان با اطمینان درباره آن صحبت کرد، روی آوردن بسیاری از دواپس‌ها به علم داده است.

فیلم آموزش کوبرنتیز – مقدماتی در فرادرس

کلیک کنید

دواپس، مجموعه‌ای از روش‌ها است که توسعه نرم‌افزار و عملیات‌های فناوری اطلاعات را که هدف آن‌ها کوتاه‌تر کردن چرخه حیات توسعه و فراهم کردن تحویل بدون اشکال با کیفیت نرم‌افزار بالا است را ترکیب می‌کند. تیم‌های دواپس از نزدیک با تیم‌های توسعه برای مدیریت چرخه حیات برنامه‌ها به طور موثر، کار می‌کنند. تبدیل داده‌ها نیازمند تعامل نزدیک با تیم‌های توسعه برای مدیریت چرخه حیات برنامه‌ها به طور موثر هستند. از تیم دواپس انتظار می‌رود که خوشه‌های موجود از «آپاچی هادوپ» (Apache Hadoop)، «آپاچی کافکا» (Apache Kafka)، «آپاچی اسپارک» (Apache Spark) و «آپاچی ارفلو» (Apache Airflow) را برای انجام استخراج داده‌ها و تبدیل آن‌ها انجام دهند. چه کاری را می‌توان با دواپس برای علم داده انجام داد؟

• تدارک، پیکربندی، مقیاس‌دهی و مدیریت خوشه‌های داده
• مدیریت زیرساخت اطلاعاتی با یکپارچه‌سازی پیوسته، استقرار و نظارت بر داده‌ها
• ساخت اسکریپت برای خودکارسازی فعالیت‌ها و پیکربندی بنیادی برای محیط‌های گوناگون

فیلم مجموعه آموزش هوش مصنوعی – از دروس دانشگاهی تا کاربردی در فرادرس

کلیک کنید

اگر نوشته بالا برای شما مفید بوده است، آموزش‌های زیر نیز به شما پیشنهاد می‌شوند:

• مجموعه آموزش‌های مهارتی برای بازار کار
• آموزش مدیریت زمان جهت بهره‌وری شخصی و حرفه‌ای
• آموزش مهارت‌های ارائه و طراحی اسلاید
• حذف ۱۹ مانع رسیدن به اهداف در سال جدید
• روش‌های افزایش اعتماد به نفس — راهنمای کاربردی
• مدرک بی مهارت یا مهارت بی مدرک؛ دانشگاه یا آموزش آنلاین