داده کاوی یا دیتا ماینینگ (Data Mining)

چکیده مقاله :
در این مقاله می خواهیم به یکی از مطالب مهم یعنی داده کاوی ترجمه اصطلاح دیتا ماینینگ (Data Mining) بپردازیم. مطمئنیم که این موضوع سوال اصلی بسیاری از شما است. داده کاوی در امور مختلف از بخش مالی برای جستجوی الگوها در بازارها تا تلاش دولت ها برای شناسایی تهدیدهای امنیتی بالقوه را شامل می شود. شرکت‌ها و به‌ویژه شرکت‌های آنلاین و رسانه‌های اجتماعی، از دیتا ماینینگ بر روی کاربران خود برای ایجاد کمپین‌های تبلیغاتی و بازاریابی سودآوری که مجموعه‌های خاصی از کاربران را هدف قرار می‌دهند، استفاده می‌کنند. در این مطلب به طور کامل دیتا ماینینگ را توضیح داده و کاربردها ، انواع ، تکنیک ها ، نحوه استفاده ، مزایا و محدودیت ها و مثال هایی برای هرکدام را شرح می دهیم.

1- داده کاوی یا دیتا ماینینگ چیست ؟

داده کاوی فرآیند مرتب سازی از طریق مجموعه داده های بزرگ برای شناسایی الگوها و روابطی است که می تواند به حل مشکلات تجاری از طریق تجزیه و تحلیل داده ها کمک کند. تکنیک ها و ابزارهای داده کاوی شرکت ها را قادر می سازد تا روندهای آینده را پیش بینی کنند و تصمیمات تجاری آگاهانه تری اتخاذ کنند.
داده کاوی بخش کلیدی تجزیه و تحلیل داده به طور کلی و یکی از رشته های اصلی در علم داده است که از تکنیک های تجزیه و تحلیل پیشرفته برای یافتن اطلاعات مفید در مجموعه داده ها استفاده می کند. در یک سطح جزئی تر، داده کاوی گامی در فرآیند کشف دانش در پایگاه های داده (KDD) است، یک روش علم داده برای جمع آوری، پردازش و تجزیه و تحلیل داده ها. داده کاوی و KDD گاهی اوقات به جای هم نامیده می شوند، اما معمولاً متمایز دیده می شوند.

جهت آشنایی بیشتر می توانید مقاله زیر را با عنوان تحلیل آماری چیست مطالعه نمایید.

• تحلیل آماری چیست ؟

به بیان دیگر داده کاوی فرآیندی است که توسط شرکت ها برای تبدیل داده های خام به اطلاعات مفید استفاده می شود. با استفاده از نرم‌افزار برای جستجوی الگوها در دسته‌های بزرگ داده، کسب‌وکارها می‌توانند درباره مشتریان خود اطلاعات بیشتری کسب کنند تا استراتژی‌های بازاریابی مؤثرتری توسعه دهند، فروش را افزایش دهند و هزینه‌ها را کاهش دهند. داده کاوی به جمع آوری موثر داده ها، انبارداری و پردازش کامپیوتری بستگی دارد.

• دیتا ماینینگ فرآیند تجزیه و تحلیل دسته بزرگی از اطلاعات برای تشخیص روندها و الگوها است.
• داده کاوی می تواند توسط شرکت ها برای همه چیز از یادگیری در مورد آنچه که مشتریان به آن علاقه دارند یا می خواهند بخرند تا کشف تقلب و فیلتر کردن هرزنامه استفاده شود.
• برنامه های داده کاوی الگوها و ارتباطات در داده ها را بر اساس اطلاعاتی که کاربران درخواست می کنند یا ارائه می دهند، تجزیه می کنند.
• شرکت های رسانه های اجتماعی از تکنیک های داده کاوی برای کالایی کردن کاربران خود به منظور تولید سود استفاده می کنند.
• این استفاده از داده کاوی اخیراً مورد انتقاد قرار گرفته است، زیرا کاربران اغلب از دیتا ماینینگ که با اطلاعات شخصی آنها اتفاق می افتد، بی اطلاع هستند، به ویژه زمانی که از آن برای تأثیرگذاری بر ترجیحات استفاده می شود.

2- چرا داده کاوی مهم است؟

داده کاوی جزء حیاتی ابتکارات تحلیلی موفق در سازمانها است. اطلاعاتی که تولید می‌کند می‌تواند در هوش تجاری (BI) و برنامه‌های تحلیلی پیشرفته که شامل تجزیه و تحلیل داده‌های تاریخی است، و همچنین برنامه‌های تحلیلی بلادرنگ که داده‌های جریانی را هنگام ایجاد یا جمع‌آوری بررسی می‌کنند، استفاده شود.
داده کاوی موثر در جنبه های مختلف برنامه ریزی استراتژی های تجاری و مدیریت عملیات کمک می کند. این شامل کارکردهای مواجهه با مشتری مانند بازاریابی، تبلیغات، فروش و پشتیبانی مشتری، به علاوه تولید، مدیریت زنجیره تامین، امور مالی و منابع انسانی است. داده کاوی از کشف تقلب، مدیریت ریسک، برنامه ریزی امنیت سایبری و بسیاری دیگر از موارد استفاده حیاتی تجاری پشتیبانی می کند. همچنین نقش مهمی در مراقبت های بهداشتی، دولتی، تحقیقات علمی، ریاضیات، ورزش و غیره ایفا می کند.

3- فرآیند داده کاوی : دیتا ماینینگ چگونه کار می کند؟

داده کاوی معمولا توسط دانشمندان داده و سایر متخصصان BI ماهر و تجزیه و تحلیل انجام می شود. اما می‌تواند توسط تحلیلگران کسب‌وکار، مدیران اجرایی و کارگرانی که به‌عنوان دانشمند داده‌های شهروندی در یک سازمان کار می‌کنند، باهوش داده نیز انجام شود.
عناصر اصلی آن شامل یادگیری ماشین و تجزیه و تحلیل آماری، همراه با وظایف مدیریت داده ها برای آماده سازی داده ها برای تجزیه و تحلیل است. استفاده از الگوریتم‌های یادگیری ماشین و ابزارهای هوش مصنوعی (AI) بیشتر فرآیند را خودکار کرده و استخراج مجموعه‌های داده عظیم، مانند پایگاه‌های اطلاعاتی مشتریان، سوابق تراکنش‌ها و فایل‌های گزارش از سرورهای وب، اپلیکیشن‌های موبایل و حسگرها را آسان‌تر کرده است.

همانطورکه گفته شد دیتا ماینینگ شامل کاوش و تجزیه و تحلیل بلوک های بزرگ اطلاعات برای جمع آوری الگوها و روندهای معنادار است. می توان از آن به روش های مختلفی مانند بازاریابی پایگاه داده، مدیریت ریسک اعتباری، تشخیص تقلب، فیلتر کردن ایمیل های اسپم یا حتی برای تشخیص احساسات یا نظر کاربران استفاده کرد.
فرآیند داده کاوی به ابنگونه است که ابتدا سازمان ها داده ها را جمع آوری کرده و در انبارهای داده خود بارگذاری می کنند. در مرحله بعد، آنها داده ها را چه در سرورهای داخلی و چه در فضای ابری ذخیره و مدیریت می کنند. تحلیلگران کسب و کار، تیم های مدیریتی و متخصصان فناوری اطلاعات به داده ها دسترسی دارند و نحوه سازماندهی آنها را تعیین می کنند. سپس نرم افزار کاربردی داده ها را بر اساس نتایج کاربر مرتب می کند و در نهایت کاربر نهایی داده ها را در قالبی با قابلیت اشتراک گذاری آسان مانند نمودار یا جدول ارائه می کند.

فرآیند داده کاوی را می توان به چهار مرحله اصلی تقسیم کرد. قبل از این 4 مرحله شما باید دو مرحله مقدماتی اساسی و مهم را اول بگذرانید

مرحله مقدماتی 1: کسب و کار را درک کنید

قبل از لمس، استخراج، پاکسازی یا تجزیه و تحلیل هر داده ای، مهم است که موجودیت اساسی و پروژه در دست را درک کنید. اهدافی که شرکت در تلاش است با استخراج داده ها به آن دست یابد چیست؟ وضعیت فعلی کسب و کار آنها چگونه است؟ یافته های تجزیه و تحلیل SWOT چیست؟ قبل از بررسی هر داده ای، فرآیند استخراج با درک آنچه که موفقیت در پایان فرآیند را تعریف می کند، آغاز می شود.

مرحله مقدماتی 2: اطلاعات را درک کنید

هنگامی که مشکل کسب و کار به وضوح تعریف شد، زمان آن رسیده است که به داده ها فکر کنید. این شامل چه منابعی است، چگونه ذخیره می شود، اطلاعات چگونه جمع آوری می شود، و نتیجه یا تجزیه و تحلیل نهایی ممکن است چگونه باشد. این مرحله همچنین به طور انتقادی در مورد محدودیت های آنها برای داده، ذخیره سازی، امنیت و جمع آوری فکر می کند و ارزیابی می کند که چگونه این محدودیت ها بر فرآیند دیتا ماینینگ تأثیر می گذارد.

بعد از این دو مرحله مقدماتی نوبت به 4 مرحله اصلی می رسد که عبارتند از:

1. جمع آوری داده ها
داده های مربوط به یک برنامه تحلیلی شناسایی و جمع آوری می شود. داده ها ممکن است در سیستم های منبع مختلف حاوی ترکیبی از داده های ساختاریافته و بدون ساختار است، واقع شوند. ممکن است از منابع داده خارجی نیز استفاده شود. داده‌ها از هر کجا که می‌آیند، یک دانشمند داده اغلب آن‌ها را برای مراحل باقی‌مانده در فرآیند به دریاچه داده منتقل می‌کند.

2. آماده سازی داده هاظ
این مرحله شامل مجموعه ای از مراحل برای آماده سازی داده ها برای استخراج است. این کار با کاوش داده‌ها، پروفایل‌سازی و پیش‌پردازش آغاز می‌شود و پس از آن کار پاکسازی داده‌ها برای رفع خطاها و سایر مشکلات کیفیت داده‌ها انجام می‌شود. تبدیل داده ها همچنین برای سازگاری مجموعه داده ها انجام می شود، مگر اینکه یک دانشمند داده به دنبال تجزیه و تحلیل داده های خام فیلتر نشده برای یک برنامه خاص باشد.

3. استخراج داده ها
هنگامی که داده ها آماده شدند، یک دانشمند داده تکنیک داده کاوی مناسب را انتخاب می کند و سپس یک یا چند الگوریتم را برای انجام استخراج پیاده سازی می کند. در برنامه‌های یادگیری ماشین، الگوریتم‌ها معمولاً باید بر روی مجموعه داده‌های نمونه آموزش داده شوند تا قبل از اجرای آن‌ها با مجموعه کامل داده‌ها، به دنبال اطلاعاتی باشند که به دنبال آن هستند.

4. تجزیه و تحلیل و تفسیر داده ها
نتایج داده کاوی برای ایجاد مدل های تحلیلی استفاده می شود که می تواند به تصمیم گیری و سایر اقدامات تجاری کمک کند. دانشمند داده یا یکی دیگر از اعضای یک تیم علم داده نیز باید یافته ها را به مدیران تجاری و کاربران، اغلب از طریق تجسم داده ها و استفاده از تکنیک های داستان سرایی داده، در میان بگذارد.

4- انواع تکنیک های داده کاوی

تکنیک های مختلفی را می توان برای استخراج داده ها برای کاربردهای مختلف علم داده استفاده کرد. تشخیص الگو یک مورد رایج استفاده از داده کاوی است که با تکنیک های متعدد فعال می شود که هدف آن شناسایی مقادیر پرت در مجموعه داده ها است. تکنیک های رایج داده کاوی شامل انواع زیر است:

1-4- قوانین ارتباطی

در دیتا ماینینگ، قوانین ارتباطی عبارات if-then هستند که روابط بین عناصر داده را مشخص می کنند. معیارهای پشتیبانی و اطمینان برای ارزیابی روابط استفاده می شود – پشتیبانی نشان می دهد که عناصر مرتبط چقدر در یک مجموعه داده ظاهر می شوند، در حالی که معیار اطمینان منعکس کننده تعداد دفعاتی است که یک عبارت if-then دقیق است.

2-4- طبقه‌بندی

این رویکرد عناصر موجود در مجموعه داده‌ها را به دسته‌های مختلفی که به‌عنوان بخشی از فرآیند داده‌کاوی تعریف شده‌اند، اختصاص می‌دهد. درخت‌های تصمیم، طبقه‌بندی‌کننده‌های نیو بیز (Naive Bayes) ، k-نزدیک‌ترین همسایه و رگرسیون لجستیک نمونه‌هایی از روش‌های طبقه‌بندی هستند.

3-4- خوشه‌بندی

در این مورد، عناصر داده‌ای که ویژگی‌های خاصی را به اشتراک می‌گذارند، به عنوان بخشی از برنامه‌های داده‌کاوی در خوشه‌هایی گروه‌بندی می‌شوند. مثال‌هایی شامل خوشه‌بندی k-means، خوشه‌بندی سلسله مراتبی و مدل‌های مخلوط گاوسی است.

4-4- رگرسیون

این روش دیگری برای یافتن روابط در مجموعه‌های داده، با محاسبه مقادیر داده‌های پیش‌بینی‌شده بر اساس مجموعه‌ای از متغیرها است. رگرسیون خطی و رگرسیون چند متغیره نمونه‌هایی از این نوع هستند. درخت‌های تصمیم‌گیری و برخی روش‌های طبقه‌بندی دیگر نیز می‌توانند برای انجام رگرسیون استفاده شوند.

جهت آشنایی بیشتر می توانید مقالات زیر را در رابطه با رکرسیون مطالعه نمایید.

• رگرسیون چیست ؟

• آنالیز رگرسیون

5-4- تحلیل توالی و مسیر

داده ها همچنین می توانند برای جستجوی الگوهایی استخراج شوند که در آنها مجموعه خاصی از رویدادها یا مقادیر به رویدادهای بعدی منتهی می شود.
شبکه‌های عصبی مجموعه‌ای از الگوریتم‌هایی است که فعالیت مغز انسان را شبیه‌سازی می‌کند. شبکه‌های عصبی به‌ویژه در کاربردهای پیچیده تشخیص الگو که شامل یادگیری عمیق، شاخه پیشرفته‌تر یادگیری ماشینی است، مفید هستند.

6-4- درخت تصمیم

درختان تصمیم برای طبقه بندی یا پیش بینی یک نتیجه بر اساس فهرست مجموعه ای از معیارها یا تصمیمات استفاده می شوند. درخت تصمیم برای درخواست ورودی از یک سری سوالات آبشاری استفاده می شود که مجموعه داده را بر اساس پاسخ های داده شده مرتب می کند. درخت تصمیم که گاهی به صورت تصویری درخت مانند به تصویر کشیده می‌شود، هنگام حفاری عمیق‌تر در داده‌ها، جهت خاص و ورودی کاربر را امکان‌پذیر می‌کند.

جهت آشنایی بیشتر می توانید مقالات زیر را در رابطه با درخت تصمیم را مطالعه نمایید.

• درخت تصمیم چیست ؟

7-4- تجزیه و تحلیل پیش‌بینی‌کننده

تجزیه و تحلیل پیش‌بینی‌کننده تلاش می‌کند تا از اطلاعات تاریخی برای ساخت مدل‌های گرافیکی یا ریاضی برای پیش‌بینی نتایج آینده استفاده کند. این روش داده کاوی که با تجزیه و تحلیل رگرسیون همپوشانی دارد، با هدف حمایت از یک رقم ناشناخته در آینده بر اساس داده های فعلی موجود است.

5- نرم افزارها و ابزارهای دیتا ماینینگ

ابزارهای داده کاوی از تعداد زیادی از فروشندگان در دسترس هستند، معمولاً به عنوان بخشی از پلتفرم های نرم افزاری که شامل انواع دیگری از علم داده و ابزارهای تجزیه و تحلیل پیشرفته نیز می شود. ویژگی‌های کلیدی ارائه شده توسط نرم‌افزار داده کاوی شامل قابلیت‌های آماده‌سازی داده، الگوریتم‌های داخلی، پشتیبانی از مدل‌سازی پیش‌بینی‌کننده، یک محیط توسعه مبتنی بر رابط کاربری گرافیکی، و ابزارهایی برای استقرار مدل‌ها و امتیازدهی به نحوه عملکرد آن‌ها است.
فروشندگانی که ابزارهایی را برای داده کاوی ارائه می دهند عبارتند از Alteryx، AWS، Databricks، Dataiku، DataRobot، Google، H2O.ai، IBM، Knime، Microsoft، Oracle، RapidMiner، SAP، SAS Institute و Tibco Software و غیره.

انواع فناوری های منبع باز رایگان نیز می توانند برای استخراج داده ها استفاده شوند، از جمله DataMelt، Elki، Orange، Rattle، scikit-learn و Weka. برخی از فروشندگان نرم افزار گزینه های منبع باز را نیز ارائه می دهند. به عنوان مثال، Knime یک پلت فرم تجزیه و تحلیل منبع باز را با نرم افزار تجاری برای مدیریت برنامه های علم داده ترکیب می کند، در حالی که شرکت هایی مانند Dataiku و H2O.ai نسخه های رایگان ابزارهای خود را ارائه می دهند.

6- مزایای داده کاوی

به طور کلی، مزایای تجاری دیتا ماینینگ از افزایش توانایی برای کشف الگوهای پنهان، روندها، همبستگی ها و ناهنجاری ها در مجموعه داده ها ناشی می شود. این اطلاعات را می توان برای بهبود تصمیم گیری تجاری و برنامه ریزی استراتژیک از طریق ترکیبی از تجزیه و تحلیل داده های مرسوم و تجزیه و تحلیل پیش بینی استفاده کرد.

داده کاوی تضمین می کند که یک شرکت داده های قابل اعتماد را جمع آوری و تجزیه و تحلیل می کند. اغلب فرآیندی سفت و سخت تر و ساختارمندتر است که به طور رسمی یک مشکل را شناسایی می کند، داده های مربوط به مشکل را جمع آوری می کند و در تلاش برای فرموله کردن راه حل است. بنابراین، داده کاوی به کسب و کار کمک می کند تا سودآورتر، کارآمدتر یا از نظر عملیاتی قوی تر شود.
داده کاوی می تواند در بین برنامه ها بسیار متفاوت به نظر برسد، اما فرآیند کلی را می توان تقریباً با هر برنامه جدید یا قدیمی استفاده کرد. اساساً هر نوع داده ای را می توان جمع آوری و تجزیه و تحلیل کرد، و تقریباً هر مشکل تجاری که بر شواهد واجد شرایط تکیه دارد را می توان با استفاده از داده کاوی حل کرد.
هدف نهایی داده کاوی گرفتن بیت های خام از اطلاعات و تعیین اینکه آیا انسجام یا همبستگی بین داده ها وجود دارد یا خیر. این مزیت داده کاوی به شرکت اجازه می دهد تا با اطلاعاتی که در دست دارد ارزشی ایجاد کند که در غیر این صورت بیش از حد آشکار نخواهد بود. اگرچه مدل‌های داده می‌توانند پیچیده باشند، اما می‌توانند نتایج شگفت‌انگیزی به دست آورند، روندهای پنهان را کشف کنند و استراتژی‌های منحصربه‌فردی را پیشنهاد کنند.

مزایای خاص داده کاوی شامل موارد زیر است:

• بازاریابی و فروش موثرتر

داده کاوی به بازاریابان کمک می کند رفتار و ترجیحات مشتری را بهتر درک کنند، که آنها را قادر می سازد تا کمپین های بازاریابی و تبلیغات هدفمند ایجاد کنند. به طور مشابه، تیم های فروش می توانند از نتایج داده کاوی برای بهبود نرخ تبدیل سرنخ و فروش محصولات و خدمات اضافی به مشتریان فعلی استفاده کنند.

• خدمات بهتر به مشتریان

به لطف داده کاوی، شرکت‌ها می‌توانند مشکلات بالقوه خدمات مشتری را سریع‌تر شناسایی کنند و اطلاعات به‌روز را در اختیار نمایندگان مرکز تماس قرار دهند تا از آنها در تماس‌ها و چت‌های آنلاین با مشتریان استفاده کنند.

• بهبود مدیریت زنجیره تامین

سازمان‌ها می‌توانند روندهای بازار را شناسایی کرده و تقاضای محصول را با دقت بیشتری پیش‌بینی کنند و به آنها امکان مدیریت بهتر موجودی کالاها را می‌دهند. مدیران زنجیره تامین همچنین می توانند از اطلاعات داده کاوی برای بهینه سازی انبارداری، توزیع و سایر عملیات لجستیکی استفاده کنند.

• افزایش زمان تولید

استخراج داده‌های عملیاتی از حسگرهای ماشین‌های تولیدی و سایر تجهیزات صنعتی، از برنامه‌های تعمیر و نگهداری پیش‌بینی‌کننده برای شناسایی مشکلات احتمالی قبل از وقوع پشتیبانی می‌کند و به جلوگیری از خرابی برنامه‌ریزی نشده کمک می‌کند.

• مدیریت ریسک قوی تر

مدیران ریسک و مدیران کسب‌وکار می‌توانند ریسک‌های مالی، حقوقی، امنیت سایبری و سایر ریسک‌های یک شرکت را بهتر ارزیابی کنند و برای مدیریت آن‌ها برنامه‌ریزی کنند.

• هزینه های پایین تر

داده کاوی به صرفه جویی در هزینه از طریق کارایی عملیاتی در فرآیندهای تجاری و کاهش افزونگی و اتلاف در مخارج شرکت کمک می کند.

در نهایت، ابتکارات داده کاوی می تواند منجر به درآمد و سود بالاتر و همچنین مزیت های رقابتی شود که شرکت ها را از رقبای تجاری خود متمایز می کند.

7- کاربردهای داده کاوی

در اینجا نحوه استفاده سازمان ها در برخی صنایع از داده کاوی به عنوان بخشی از برنامه های تحلیلی آمده است:

• خرده فروشی: خرده‌فروشان آنلاین داده‌های مشتری و سوابق جریان کلیک اینترنتی را استخراج می‌کنند تا به آنها کمک کنند تا کمپین‌های بازاریابی، تبلیغات و پیشنهادات تبلیغاتی را برای خریداران فردی هدف قرار دهند. داده‌کاوی و مدل‌سازی پیش‌بینی‌کننده همچنین موتورهای توصیه‌ای را نیرو می‌دهد که خریدهای احتمالی را به بازدیدکنندگان وب‌سایت و همچنین فعالیت‌های مدیریت موجودی و زنجیره تأمین پیشنهاد می‌کنند.

• خدمات مالی: بانک ها و شرکت های کارت اعتباری از ابزارهای دیتا ماینینگ برای ساخت مدل های ریسک مالی، شناسایی تراکنش های تقلبی و درخواست های وام و اعتبار استفاده می کنند. داده کاوی همچنین نقش کلیدی در بازاریابی و شناسایی فرصت های بالقوه افزایش فروش با مشتریان فعلی دارد.

• بیمه: بیمه‌گران برای کمک به قیمت‌گذاری سیاست‌های بیمه و تصمیم‌گیری در مورد تایید برنامه‌های سیاست، از جمله مدل‌سازی ریسک و مدیریت برای مشتریان احتمالی، به داده‌کاوی متکی هستند.

• ساخت: کاربردهای داده کاوی برای تولیدکنندگان شامل تلاش برای بهبود زمان و کارایی عملیاتی در کارخانه های تولید، عملکرد زنجیره تامین و ایمنی محصول است. برای شرکت‌هایی که کالاهای خود را تولید می‌کنند، داده‌کاوی نقش مهمی در تجزیه و تحلیل هزینه‌های هر ماده خام، موادی که به بهترین شکل استفاده می‌شوند، نحوه صرف زمان در طول فرآیند تولید و اینکه چه تنگناهایی بر فرآیند تأثیر منفی می‌گذارد، ایفا می‌کند. دیتا ماینینگ کمک می کند تا اطمینان حاصل شود که جریان کالاها بدون وقفه و کم هزینه است.

• سرگرمی: سرویس‌های استریم داده‌کاوی را انجام می‌دهند تا آنچه را که کاربران تماشا می‌کنند یا گوش می‌دهند و توصیه‌های شخصی‌سازی‌شده بر اساس عادات تماشا و شنیدن افراد ارائه دهند.

• مراقبت های بهداشتی: داده کاوی به پزشکان در تشخیص شرایط پزشکی، درمان بیماران و تجزیه و تحلیل اشعه ایکس و سایر نتایج تصویربرداری پزشکی کمک می کند. تحقیقات پزشکی نیز به شدت به دیتا ماینینگ، یادگیری ماشینی و سایر اشکال تجزیه و تحلیل بستگی دارد.

• فروش و حراج: هدف نهایی یک شرکت کسب درآمد است و داده کاوی استفاده هوشمندانه تر و کارآمدتر از سرمایه را برای افزایش درآمد تشویق می کند. فروش در کافی شاپ محلی مورد علاقه خود را در نظر بگیرید. برای هر فروش، آن قهوه‌خانه زمان خرید، محصولاتی که با هم فروخته شده‌اند و محصولات پخته‌شده محبوب‌تر هستند را جمع‌آوری می‌کند. با استفاده از این اطلاعات، فروشگاه می تواند خط تولید خود را به صورت استراتژیک ایجاد کند.

• بازار یابی: هنگامی که قهوه‌خانه بالا از ترکیب ایده‌آل خود مطلع شد، زمان اعمال تغییرات فرا رسیده است. با این حال، برای مؤثرتر کردن تلاش‌های بازاریابی خود، فروشگاه می‌تواند از داده‌کاوی استفاده کند تا بفهمد مشتریانش کجا تبلیغات را می‌بینند، چه اطلاعات جمعیتی را هدف قرار دهد، کجا تبلیغات دیجیتالی قرار دهند، و چه استراتژی‌های بازاریابی بیشتر مورد توجه مشتریان قرار می‌گیرد. این شامل همسوسازی کمپین های بازاریابی، پیشنهادات تبلیغاتی، پیشنهادات فروش متقابل و برنامه ها با یافته های داده کاوی است.
• تشخیص تقلب: قلب داده کاوی یافتن الگوها، روندها و همبستگی هایی است که نقاط داده را به یکدیگر مرتبط می کند. بنابراین، یک شرکت می تواند از داده کاوی برای شناسایی نقاط پرت یا همبستگی هایی که نباید وجود داشته باشند، استفاده کند. به عنوان مثال، یک شرکت ممکن است جریان نقدی خود را تجزیه و تحلیل کند و یک تراکنش تکراری به یک حساب ناشناخته را بیابد. اگر این غیرمنتظره باشد، ممکن است شرکت بخواهد در صورت سوء مدیریت وجوه تحقیق کند.
• منابع انسانی: منابع انسانی اغلب دارای طیف وسیعی از داده‌ها برای پردازش است که شامل داده‌های مربوط به حفظ، ارتقاء، دامنه حقوق، مزایای شرکت و استفاده از آن مزایا، و نظرسنجی‌های رضایت کارکنان می‌شود. دیتا ماینینگ می‌تواند این داده‌ها را به هم مرتبط کند تا درک بهتری از چرایی ترک کار کارکنان و آنچه که افراد را به عضویت در می‌آورد، به دست آورد.
• خدمات مشتری: رضایت مشتری ممکن است به دلایل مختلفی ایجاد شود (یا از بین برود). شرکتی را تصور کنید که کالا را ارسال می کند. مشتری ممکن است از زمان حمل، کیفیت حمل و نقل یا ارتباط در مورد انتظارات حمل ناراضی باشد. همین مشتری ممکن است از زمان انتظار طولانی تلفن یا پاسخ های دیر به ایمیل ناامید شود. دیتا ماینینگ اطلاعات عملیاتی در مورد تعاملات مشتری را جمع آوری می کند و یافته ها را خلاصه می کند تا نقاط ضعف و همچنین نکات برجسته کاری را که شرکت انجام می دهد را مشخص کند.

8- تفاوت داده کاوی با تجزیه و تحلیل داده و انبار داده

داده کاوی گاهی اوقات به عنوان مترادف با تجزیه و تحلیل داده در نظر گرفته می شود. اما عمدتاً به عنوان یک جنبه خاص از تجزیه و تحلیل داده ها در نظر گرفته می شود که تجزیه و تحلیل مجموعه داده های بزرگ را برای کشف اطلاعاتی که در غیر این صورت قابل شناسایی نبود، خودکار می کند. سپس این اطلاعات می تواند در فرآیند علم داده و سایر برنامه های کاربردی BI و تجزیه و تحلیل استفاده شود.

انبار داده با ارائه مخازن برای مجموعه داده ها از تلاش های داده کاوی پشتیبانی می کند. به طور سنتی، داده‌های تاریخی در انبارهای داده سازمانی یا بازارهای داده کوچک‌تر که برای واحدهای تجاری منفرد یا برای نگهداری زیرمجموعه‌های خاصی از داده‌ها ساخته شده‌اند، ذخیره می‌شوند. با این حال، اکنون برنامه‌های داده کاوی اغلب توسط دریاچه‌های داده (data lake) ارائه می‌شوند که هم داده‌های تاریخی و هم داده‌های جریانی را ذخیره می‌کنند و بر اساس پلتفرم‌های کلان داده مانند Hadoop و Spark، پایگاه‌های داده NoSQL یا سرویس‌های ذخیره‌سازی اشیای ابری هستند.

برنامه های داده کاوی روابط و الگوهای موجود در داده ها را بر اساس درخواست کاربران تجزیه و تحلیل می کنند. به عنوان مثال، یک شرکت می تواند از نرم افزار داده کاوی برای ایجاد کلاس های اطلاعاتی استفاده کند. برای نشان دادن، تصور کنید یک رستوران می خواهد از داده کاوی استفاده کند تا مشخص کند چه زمانی باید غذاهای ویژه ارائه دهد. به اطلاعاتی که جمع آوری کرده نگاه می کند و کلاس هایی را بر اساس زمان بازدید مشتریان و آنچه سفارش می دهند ایجاد می کند.
در موارد دیگر، داده کاویان خوشه هایی از اطلاعات را بر اساس روابط منطقی پیدا می کنند یا به تداعی ها و الگوهای متوالی نگاه می کنند تا در مورد روندهای رفتار مصرف کننده نتیجه گیری کنند.

انبارداری (منظور انبار داده) یکی از جنبه های مهم دیتا ماینینگ است. انبارداری زمانی است که شرکت ها داده های خود را در یک پایگاه داده یا برنامه متمرکز می کنند. با یک انبار داده، یک سازمان ممکن است بخش هایی از داده ها را برای کاربران خاص تجزیه و تحلیل و استفاده کند. با این حال، در موارد دیگر، تحلیلگران ممکن است با داده‌هایی که می‌خواهند شروع کنند و بر اساس آن مشخصات، یک انبار داده ایجاد کنند. راه حل های انبار داده های ابری از فضا و قدرت یک ارائه دهنده ابر برای ذخیره داده ها از منابع داده استفاده می کنند. این به شرکت های کوچکتر اجازه می دهد تا از راه حل های دیجیتال برای ذخیره سازی، امنیت و تجزیه و تحلیل استفاده کنند.

9- تاریخچه و ریشه های داده کاوی

فن آوری های ذخیره سازی داده، BI و تجزیه و تحلیل در اواخر دهه 1980 و اوایل دهه 1990 شروع به ظهور کردند و توانایی افزایش یافته ای را برای تجزیه و تحلیل حجم فزاینده ای از داده هایی که سازمان ها ایجاد و جمع آوری می کردند را فراهم کردند. اصطلاح دیتا ماینینگ تا سال 1995 مورد استفاده قرار گرفت، زمانی که اولین کنفرانس بین المللی کشف دانش و داده کاوی در مونترال برگزار شد.

این رویداد توسط انجمن پیشرفت هوش مصنوعی یا AARI حمایت می شود که همچنین این کنفرانس را سالانه برای سه سال آینده برگزار می کند. از سال 1999، این کنفرانس – که عموماً به عنوان KDD 2021 و غیره شناخته می شود – عمدتاً توسط SIGKDD، گروه مورد علاقه ویژه در زمینه کشف دانش و داده کاوی در انجمن ماشین های محاسباتی سازماندهی شده است.

یک مجله فنی به نام Data Mining and Knowledge Discovery اولین شماره خود را در سال 1997 منتشر کرد. در ابتدا به صورت فصلی، اکنون هر دو ماه یکبار منتشر می شود و حاوی مقالات بررسی شده در مورد داده کاوی و نظریه ها، تکنیک ها و شیوه های کشف دانش است. نشریه دیگری نیز، مجله آمریکایی داده کاوی و کشف دانش، در سال 2016 راه اندازی شد.

10- محدودیت ها و معایب داده کاوی

این پیچیدگی داده کاوی یکی از بزرگترین معایب این فرآیند است. تجزیه و تحلیل داده ها اغلب به مجموعه مهارت های فنی و ابزارهای نرم افزاری خاصی نیاز دارد. برخی از شرکت‌های کوچک‌تر ممکن است غلبه بر این را مانعی برای ورود بدانند.

داده کاوی همیشه نتایج را تضمین نمی کند. یک شرکت ممکن است تجزیه و تحلیل های آماری انجام دهد، بر اساس داده های قوی نتیجه گیری کند، تغییراتی را اعمال کند و هیچ سودی به دست نیاورد. از طریق یافته‌های نادرست، تغییرات بازار، خطاهای مدل، یا جمعیت‌های نامناسب داده‌ها، داده‌کاوی تنها می‌تواند تصمیم‌ها را هدایت کند و نتایج را تضمین نمی‌کند.

همچنین یک جزء هزینه برای داده کاوی وجود دارد. ابزارهای داده ممکن است به اشتراک های پرهزینه مداوم نیاز داشته باشند و برخی از بیت های داده ممکن است گران باشد. نگرانی‌های امنیتی و حریم خصوصی را می‌توان آرام کرد، اگرچه زیرساخت‌های فناوری اطلاعات اضافی نیز ممکن است پرهزینه باشد. داده کاوی همچنین ممکن است در هنگام استفاده از مجموعه داده های عظیم موثر باشد. با این حال، این مجموعه داده ها باید ذخیره شوند و به قدرت محاسباتی سنگینی برای تجزیه و تحلیل نیاز دارند.

11- دیتا ماینینگ و رسانه های اجتماعی

یکی از سودآورترین کاربردهای داده کاوی، شبکه های اجتماعی بوده است. پلتفرم‌هایی مانند فیس‌بوک (متعلق به متا)، تیک تاک، اینستاگرام و توییتر مجموعه‌ای از داده‌ها را در مورد کاربران فردی جمع‌آوری می‌کنند تا در مورد ترجیحات آنها استنباط کنند تا تبلیغات بازاریابی هدفمند ارسال کنند. همچنین از این داده ها برای تأثیرگذاری بر رفتار کاربران و تغییر ترجیحات آنها استفاده می شود، خواه برای یک محصول مصرف کننده باشد یا به چه کسی در انتخابات رأی می دهد.

داده‌کاوی در رسانه‌های اجتماعی با چندین گزارش تحقیقی و افشاگری که نشان می‌دهد داده‌های کاربران تا چه حد می‌تواند مجرمانه باشد، به یک بحث بزرگ تبدیل شده است. در اصل موضوع، کاربران ممکن است با شرایط و ضوابط سایت موافقت کنند که متوجه نشوند اطلاعات شخصی آنها چگونه جمع آوری می شود یا اطلاعات آنها به چه کسانی فروخته می شود.

12- نمونه هایی از دیتا ماینینگ

از داده کاوی می توان هم به خوبی استفاده کرد و هم می توان از آن به طور غیرقانونی استفاده کرد. در اینجا یک مثال از هر دو اورده ایم.

eBay و تجارت الکترونیک

eBay هر روز تعداد بی‌شماری اطلاعات را جمع‌آوری می‌کند، از فهرست‌ها، فروش، خریداران و فروشندگان. eBay از داده کاوی برای نسبت دادن به روابط بین محصولات، ارزیابی محدوده قیمت مورد نظر، تجزیه و تحلیل الگوهای خرید قبلی، و تشکیل دسته بندی محصولات استفاده می کند.

رسوایی فیس بوک-کمبریج آنالیتیکا

یکی از نمونه های غیر قانونی داده کاوی شامل رسوایی داده فیس بوک-کمبریج آنالیتیکا است. در طول دهه 2010، شرکت مشاوره بریتانیایی Cambridge Analytical اطلاعات شخصی میلیون ها کاربر فیس بوک را جمع آوری کرد. این اطلاعات بعداً برای کمک به مبارزات انتخاباتی ریاست جمهوری 2016 تد کروز و دونالد ترامپ تجزیه و تحلیل شد. همچنین گمان می رود که کمبریج آنالیتیکا در رویدادهای قابل توجه دیگری مانند همه پرسی Brexit تداخل داشته باشد.

با توجه به داده کاوی نامناسب و سوء استفاده از داده های کاربران، فیس بوک موافقت کرد 100 میلیون دلار برای گمراه کردن سرمایه گذاران در مورد استفاده از داده های مصرف کننده بپردازد.

جمع بندی

کسب و کارهای مدرن توانایی جمع آوری اطلاعات در مورد مشتریان، محصولات، خطوط تولید، کارمندان و ویترین فروشگاه ها را دارند. این اطلاعات تصادفی ممکن است داستانی را بیان نکنند، اما استفاده از تکنیک‌ها، برنامه‌ها و ابزارهای داده کاوی کمک می‌کند تا اطلاعات را در کنار هم قرار دهند و ارزش ایجاد کنند. هدف نهایی فرآیند داده کاوی گردآوری داده ها، تجزیه و تحلیل نتایج و اجرای استراتژی های عملیاتی بر اساس نتایج دیتا ماینینگ است.