تشخیص ناهنجاری در یادگیری ماشینی: تکنیک ها و مزایا

چکیده مقاله:
یکی از متداول ترین کاربردهای یادگیری ماشینی، تشخیص ناهنجاری (аnоmаly deteсtiоn) است. یافتن و شناسایی موارد دور از دسترس به جلوگیری از تقلب، حملات دشمن و نفوذهای شبکه کمک می کند، که همگی می توانند آینده شرکت شما را به خطر بیندازند. در این مقاله، نحوه عملکرد تشخیص ناهنجاری را توضیح داده و بررسی می کنیم که کدام تکنیک‌های یادگیری ماشینی را می توان برای آن استفاده کرد و مزایای تشخیص ناهنجاری با ML  را برای کسب‌وکار مورد بحث قرار خواهیم داد. با ما همراه باشید.

ناهنجاری (Anomaly) چیست؟

قبل از بحث در مورد تشخیص ناهنجاری، ابتدا باید یک ناهنجاری را تعریف کنیم. به طور کلی، یک ناهنجاری چیزی است که از حالت عادی منحرف می شود: یک انحراف، یک استثنا. در مهندسی نرم‌افزار، یک رویداد یا رویداد نادری است که با الگوی آن مطابقت ندارد و در نتیجه مشکوک به نظر می‌رسد. برخی از نمونه ها عبارتند از:

• انفجار ناگهانی یا کاهش فعالیت
• خطا در متن
• افت ناگهانی یا افزایش دما

دلایل عمومی برای موارد پرت عبارتند از:

• خطاهای تکراری داده
• سر و صدا
• تقلب
• حملات

به طور معمول، شما می خواهید همه آنها را بگیرید. یک برنامه نرم افزاری باید به آرامی و به طور قابل اعتماد اجرا شود، بنابراین هر برنامه غیرمجاز خطری برای استحکام و امنیت آن دارد. تشخيص ناهنجاری يا خارج از حد، قدرت تشخيص و شناسايي ناهنجاري هاست.

به عنوان مثال، اگر در همان روز مبالغ هنگفتی را پشت سر هم خرج کنید، و این مدل معمول شما نیست، بانک شما ممکن است کارت شما را مخدوش کند. آنها متوجه یک الگوی غیرمعمول در تراکنش های روزانه شما خواهند شد. این معمولاً با کلاهبرداری همراه است، زیرا سارقان هویت سعی می کنند تا جایی که می توانند پول بدزدند. وقتی یک ناهنجاری کشف شد، باید بررسی شود وگرنه مشکلاتی پیش خواهد آمد

• یادگیری ماشینی چیست؟

تشخیص ناهنجاری در یادگیری ماشینی

تشخیص ناهنجاری، که به آن تشخیص پرت نیز می‌گویند، یک عنصر حیاتی در تجزیه و تحلیل داده‌ها در یادگیری ماشین است که هدف آن مشخص کردن الگوهای داده‌ای است که از هنجار منحرف می‌شوند. این انحرافات که اغلب ناهنجاری، پرت یا استثنا نامیده می شوند، نقش حیاتی در کاربردهای مختلف از جمله تشخیص تقلب، امنیت شبکه، تشخیص عیب و نظارت بر سلامت سیستم ها دارند.

• تحلیل آماری چیست؟

1. درک ناهنجاری ها

ناهنجاری ها می توانند در اشکال و زمینه های مختلفی رخ دهند:

• ناهنجاری‌های نقطه‌ای: یک نمونه داده اگر خیلی دور از بقیه باشد، غیرعادی است. به عنوان مثال، یک تراکنش قابل توجه روی یک کارت اعتباری که به طور مداوم برای خریدهای کوچک استفاده می شود.
• ناهنجاری های زمینه ای: ناهنجاری هایی هستند که به زمینه ای که در آن رخ می دهند بستگی دارد. به عنوان مثال، استفاده از گرمایش در تابستان ممکن است غیرعادی در نظر گرفته شود، اگر زمینه جایی باشد که تابستان ها معمولاً گرم است.
• ناهنجاری های جمعی: مجموعه ای از نقاط داده غیرعادی با کل مجموعه داده. یک مثال می تواند الگوهای غیرمنتظره در ترافیک سرور باشد که می تواند نشان دهنده یک حمله سایبری باشد.

• انواع داده در آمار

2. تکنیک های تشخیص ناهنجاری

تکنیک های تشخیص ناهنجاری به طور کلی به روش های نظارت شده، بدون نظارت و نیمه نظارت طبقه بندی می شوند:

• تشخیص ناهنجاری نظارت شده: این روش به یک مجموعه داده برچسب‌دار شامل نمونه‌های عادی و غیرعادی نیاز دارد. این شامل آموزش یک طبقه بندی کننده (به عنوان مثال، درخت تصمیم، شبکه های عصبی) برای یادگیری تمایز بین ناهنجاری ها و نمونه های معمولی است.
• تشخیص ناهنجاری بدون نظارت: اکثر تلاش‌های تشخیص ناهنجاری در این دسته قرار می‌گیرند، زیرا داشتن مجموعه داده کاملاً برچسب‌گذاری شده برای ناهنجاری‌ها اغلب غیرعملی است. تکنیک هایی مانند خوشه بندی (K-means، DBSCAN)، و جنگل های جداسازی برای تشخیص نقاط پرت بر اساس این فرض که ناهنجاری ها کم و متفاوت از گروه عادی هستند، استفاده می شود.
• تشخیص ناهنجاری نیمه نظارت شده: این رویکرد با یادگیری اینکه داده های متوسط ​​از یک مجموعه داده که در آن همه نمونه ها دارای برچسب نرمال هستند چگونه به نظر می رسند، کار می کند. هر گونه انحراف از این تعریف در طول آزمایش یک ناهنجاری در نظر گرفته می شود. یکی از تکنیک های رایج استفاده از معماری شبکه های عصبی مانند رمزگذارهای خودکار است.

• درخت تصمیم چیست؟

3. کاربردهای تشخیص ناهنجاری

• تشخیص تقلب: شرکت‌های کارت اعتباری از تشخیص ناهنجاری برای شناسایی تراکنش‌های جعلی که از الگوهای خرج کردن کاربر منحرف می‌شوند، استفاده می‌کنند.
• نظارت بر مراقبت‌های بهداشتی: الگوریتم‌های تشخیص ناهنجاری می‌توانند به نظارت بر وضعیت سلامتی بیماران و پیش‌بینی رویدادهای حیاتی قبل از وقوع کمک کنند.
• پیشگیری از آسیب های صنعتی: در تولید، حسگرها می توانند ناهنجاری ها را در رفتار تجهیزات شناسایی کنند تا از آسیب جلوگیری کنند و عمر ماشین آلات را طولانی تر کنند.
• امنیت سایبری: تشخیص ناهنجاری برای شناسایی فعالیت‌های مشکوک که می‌تواند نشان دهنده نقض امنیتی یا حمله سایبری باشد، بسیار مهم است.

4. چالش در تشخیص ناهنجاری

علیرغم اهمیت آن، تشخیص ناهنجاری چندین چالش را به همراه دارد:

• نرخ هشدار کاذب بالا: تمایز بین نویز و ناهنجاری های واقعی می تواند دشوار باشد و منجر به نرخ هشدار کاذب بالا شود.
• داده های پویا: در بسیاری از زمینه ها، تعریف رفتار عادی می تواند در طول زمان تغییر کند و فرآیند تشخیص را پیچیده کند.
• داده‌های نامتعادل: ناهنجاری‌ها، بنا به تعریف، نادر هستند، که تشخیص دقیق نمونه‌های غیرعادی را برای مدل‌هایی که بر روی داده‌های عمدتاً متوسط ​​آموزش دیده‌اند، دشوار می‌سازد.

5. مسیرهای آینده

زمینه تشخیص ناهنجاری با پیشرفت در یادگیری ماشین و هوش مصنوعی در حال تکامل است. برای مثال، ادغام تکنیک‌های یادگیری عمیق، پیشرفت‌های امیدوارکننده‌ای را در قابلیت‌های تشخیص، به‌ویژه در مجموعه داده‌های پیچیده با ابعاد بالا ارائه می‌دهد. علاوه بر این، روند رو به رشد به سمت استفاده از فناوری‌های کلان داده و دستگاه‌های IoT احتمالاً نیاز به سیستم‌های تشخیص ناهنجاری قوی‌تر و مقیاس‌پذیرتر را افزایش می‌دهد.

• برترین ابزارهای یادگیری ماشین

انواع ناهنجاری

اکنون بیایید ببینیم که مهندسان یادگیری ماشین معمولاً با چه نوع ناهنجاری‌ها یا موارد غیرعادی روبرو هستند.

نقاط پرت گلوبال

به طور معمول گلوبال زمانی رخ می دهد که یک داده نقطه ای مقداری را فرض می کند که بسیار خارج از سایر محدوده های مقدار ارزش داده در مجموعه داده است.

به عنوان مثال، اگر ماهیانه میانگین حقوق آمریکایی در بانک خود دریافت می کنید اما یک روز یک میلیون دلار دریافت می کنید، تیم تحلیلی بانک بسیار حساس خواهد شد.

پرت متنی

هنگامی که یک چیز دور از متن به عنوان متنی نامیده می شود، به این معنی است که ارزش آن با آنچه ما انتظار داریم برای داده های مشابه در یک متن مشابه ببینیم، متفاوت است. متن‌ها معمولاً زمانی هستند، و وضعیت مشابهی که در زمان‌های مختلف مشاهده می‌شود، ممکن است جزئی تلقی نشود.

به عنوان مثال، مشاهده افزایش مشتریان در طول فصل تعطیلات برای فروشگاه ها کاملاً عادی است. با این حال، اگر افزایش ناگهانی در خارج از تعطیلات یا فروش اتفاق بیفتد، ممکن است آن را به عنوان یک موضوع حاشیه ای در نظر گرفت.

موارد پرت جمعی

زیرمجموعه ای از نقاط داده که از رفتار عادی منحرف می شوند، برای بازنمایی نقاط پرت جمعی استفاده می شود. به طور کلی، شرکت های فناوری به توسعه خود ادامه می دهند. برخی از مشاغل ممکن است شکست بخورند، اما این یک روند عمومی نیست. با این حال، اگر تعداد زیادی از شرکت‌ها به طور هم‌زمان کاهش درآمد را تجربه کنند، می‌توانیم یک مازاد جمعی را شناسایی کنیم.

تکنیک های تشخیص ناهنجاری

تکنیک های تشخیص ناهنجاری در یادگیری ماشینی برای شناسایی نقاط داده ای که به طور قابل توجهی از هنجار منحرف می شوند، بسیار مهم هستند. این تکنیک ها در حوزه های مختلفی مانند تشخیص تقلب، امنیت شبکه و نظارت بر سلامت سیستم اعمال می شوند. در اینجا مروری بر برخی از تکنیک های اولیه مورد استفاده در تشخیص ناهنجاری آورده شده است:

1. روش های آماری

روش های آماری برخی از قدیمی ترین تکنیک های مورد استفاده برای تشخیص ناهنجاری هستند. آنها فرض می کنند که نقاط داده نرمال از توزیع آماری خاصی پیروی می کنند. هر نقطه داده ای که به طور قابل توجهی از این توزیع منحرف شود، یک ناهنجاری در نظر گرفته می شود. روش های آماری رایج عبارتند از:

• Z-score: تعداد انحرافات استاندارد یک نقطه داده را از میانگین اندازه گیری می کند. امتیازهایی با Z مطلق بالا، نقاط پرت بالقوه هستند.
• تست گرابس: برای تشخیص یک نقطه پرت در یک مجموعه داده تک متغیره که از توزیع تقریباً نرمال پیروی می کند استفاده می شود.

• انحراف استاتدارد

• میانگین چیست؟

• توزیع نرمال

• آزمون Z چیست؟

2. روش های مبتنی بر یادگیری ماشین

یادگیری ماشینی رویکرد انعطاف‌پذیرتری برای تشخیص ناهنجاری از طریق یادگیری تحت نظارت و بدون نظارت فراهم می‌کند:

• تشخیص ناهنجاری نظارت شده: استفاده از داده های برچسب گذاری شده برای آموزش مدلی برای تمایز بین نمونه های عادی و غیرعادی. تکنیک هایی مانند رگرسیون لجستیک، SVM و شبکه های عصبی معمولا استفاده می شود.
• تشخیص ناهنجاری بدون نظارت: از آنجایی که ناهنجاری ها در طول تمرین نادر یا ناشناخته هستند، تکنیک های بدون نظارت به طور گسترده مورد استفاده قرار می گیرند. آنها عبارتند از:
  خوشه بندی: الگوریتم هایی مانند K-means یا DBSCAN نقاط داده مشابه را با هم خوشه بندی می کنند. نقاطی که به هیچ خوشه ای تعلق ندارند، ناهنجاری محسوب می شوند.
  Isolation Forest: این الگوریتم به جای پروفایل کردن نقاط داده عادی، ناهنجاری ها را جدا می کند. این بر این اصل کار می کند که ناهنجاری ها کمتر و متفاوت هستند و جداسازی آنها را آسان تر می کند.
  SVM یک کلاس: یک مرز تصمیم گیری در اطراف نقاط داده معمولی را می آموزد. هر نقطه داده جدیدی که خارج از این مرز باشد یک ناهنجاری در نظر گرفته می شود.

• رگرسیون چیست؟

• آنالیز رگرسیون

• انواع رگرسیون و زمان استفاده از آنها در تجزیه و تحلیل داده ها

• تحلیل رگرسیون چندگانه

3. شبکه های عصبی و یادگیری عمیق

یادگیری عمیق ابزارهای قدرتمندی برای تشخیص ناهنجاری ها، به ویژه در مجموعه داده های پیچیده ارائه می دهد:

• رمزگذارهای خودکار: اینها شبکه های عصبی هستند که برای بازسازی داده های ورودی آموزش دیده اند. آنها یاد می گیرند که مهم ترین جنبه های داده را ضبط کنند. نقاط داده با خطاهای بازسازی بالا احتمالاً در هنگام تشخیص ناهنجاری، ناهنجاری محسوب می شوند.
• شبکه های متخاصم مولد (GAN): از GAN ها می توان برای مدل سازی توزیع عادی داده ها استفاده کرد. هر نمونه جدیدی که متمایز کننده به راحتی می تواند به عنوان جعلی طبقه بندی کند ممکن است یک ناهنجاری باشد.

4. کاهش ابعاد

تکنیک های کاهش ابعاد مانند PCA (Principal Component Analysis) نیز می توانند برای تشخیص ناهنجاری استفاده شوند. آنها ابعاد داده ها را با گرفتن مولفه های اصلی کاهش می دهند. سپس ناهنجاری‌ها را می‌توان در فضای با ابعاد پایین‌تر تشخیص داد، اغلب به این دلیل که تغییرات قابل‌توجهی با پیش‌بینی‌های معمولی دارند.

5. مدل های هیبریدی

مدل‌های ترکیبی تکنیک‌های تشخیص ناهنجاری متعدد را برای بهبود دقت و استحکام ترکیب می‌کنند. برای مثال، می‌توان هم از خوشه‌بندی برای شناسایی نقاط پرت محلی و هم از جنگل جداسازی برای گرفتن نقاط پرت گلوبال استفاده کرد.

چالش ها و ملاحظات تشخیص ناهنجاری در یادگیری ماشینی

• کیفیت داده ها: کیفیت پایین داده ها می تواند منجر به بسیاری از موارد مثبت کاذب یا منفی کاذب در تشخیص ناهنجاری شود.
• رفتار پویا: در بسیاری از برنامه‌های کاربردی دنیای واقعی، رفتار داده‌ها می‌تواند در طول زمان تغییر کند (انحراف مفهومی)، که نیاز به تطبیق مدل‌ها به صورت پویا دارد.
• مقیاس پذیری: با افزایش حجم داده ها، مقیاس پذیری تکنیک تشخیص ناهنجاری بسیار مهم می شود.

چرا برای تشخیص ناهنجاری به یادگیری ماشین نیاز دارید؟

این یک کار است که معمولاً با کمک آمار و ابزارهای یادگیری ماشینی انجام می شود. دلیل این امر این است که اکثر کسب‌وکارهایی که نیاز به تشخیص دقیق‌تر دارند، امروزه با مقادیر هنگفتی از داده‌ها کار می‌کنند: تراکنش‌ها، متن، تصویر، و محتوای ویدیویی. شما باید روزها را به تمام انتقال هایی بگذرانید که در هر ساعت در یک بانک اتفاق می افتد و در هر ثانیه موارد بیشتری ایجاد می شود. استخراج بینش معنادار از این حجم از داده ها به سادگی غیرممکن است.

مسئله دیگر این است که داده ها اغلب بدون ساختار هستند، به این معنی که اطلاعات به روش خاصی برای تجزیه و تحلیل داده ها سازماندهی نشده است. داده های بدون ساختار شامل مواردی مانند اسناد تجاری، ایمیل ها و تصاویر می شود.

• تحلیل آماری با نرم افزار

برای جمع آوری، تمیز کردن، ساختار، تجزیه و تحلیل و ذخیره داده ها، باید از ابزارهایی استفاده کنید که از مقادیر زیاد داده ها نمی ترسید. تکنیک های یادگیری ماشینی، در واقع، بهترین نتایج را هنگام کار با مجموعه داده های بزرگ به دست می آورند. بسیاری از انواع داده ها را می توان با الگوریتم های یادگیری ماشینی ارزیابی کرد. علاوه بر این، شما می توانید الگوریتمی را بر اساس مشکل خود انتخاب کنید و حتی تکنیک های مختلف را برای دستیابی به بهترین نتایج ترکیب کنید.

• تفاوت یادگیری ماشین و داده کاوی

یادگیری ماشینی که در برنامه‌های کاربردی در دنیای واقعی استفاده می‌شود، به ساده‌سازی بازده تشخیص غیرعادی و صرفه‌جویی در منابع کمک می‌کند. نه تنها پس از آن، بلکه در زمان واقعی نیز می تواند فعال شود. تشخیص غیرمعمول بی‌درنگ برای بهبود امنیت و استحکام در زمینه‌هایی مانند تشخیص تقلب و امنیت سایبری استفاده می‌شود.

چالش های تشخیص ناهنجاری

تشخیص ناهنجاری در یادگیری ماشینی شامل شناسایی نقاط داده، رویدادها یا مشاهداتی است که از رفتار عادی مجموعه داده منحرف می‌شوند. در حالی که یک ابزار قدرتمند در صنایع مختلف است، پیاده سازی استراتژی های موثر تشخیص ناهنجاری با چندین چالش مهم همراه است:

1. تعریف نرمال بودن

یکی از چالش های اصلی در تشخیص ناهنجاری، تعیین رفتار “نرمال” است. در بسیاری از حوزه ها، نرمال بودن به خوبی تعریف نشده است و مرز بین نرمال و غیرعادی می تواند بسیار ظریف باشد یا در طول زمان تغییر کند.

• داده‌های پویا: در زمینه‌هایی مانند امور مالی یا ترافیک وب، آنچه عادی در نظر گرفته می‌شود می‌تواند تغییر کند و تشخیص ناهنجاری‌ها را پیچیده کند.
• ابعاد بالا: داده‌های با ابعاد بالا، تعریف مناطق عادی را به دلیل نفرین ابعاد، که در آن نقاط داده پراکنده هستند، دشوار می‌کند.

2. در دسترس بودن برچسب

تشخیص ناهنجاری اغلب از کمبود داده‌های برچسب‌گذاری شده رنج می‌برد، که برای مدل‌های یادگیری نظارت شده بسیار مهم است. ناهنجاری ها نادر هستند و به دست آوردن یک مجموعه نمونه از نمونه های ناهنجاری را دشوار می کند.

• چالش‌های بدون نظارت: بیشتر تشخیص ناهنجاری‌ها بر روش‌های نظارت‌نشده تکیه می‌کنند، که می‌توانند برای تمایز بین نویز و ناهنجاری‌های واقعی بدون برچسب برای هدایت فرآیند یادگیری تلاش کنند.

3. نویز و تغییرپذیری

تمایز بین نویز و ناهنجاری های واقعی یک چالش مهم است. در داده‌های دنیای واقعی، نویز اغلب می‌تواند ویژگی‌های ناهنجاری‌ها را تقلید کند که منجر به نرخ‌های مثبت کاذب بالا می‌شود.

• موارد مثبت/منفی کاذب: نرخ بالای مثبت کاذب می تواند منجر به “alert fatigue” شود، جایی که هشدارهای کاذب بیش از حد باعث کاهش اعتماد به سیستم می شود. برعکس، منفی های کاذب می تواند به معنای از دست دادن ناهنجاری های مهم باشد.

4. سازگاری

بسیاری از سیستم‌های تشخیص ناهنجاری برای انطباق با ناهنجاری‌های جدید یا تغییرات در فرآیند تولید داده تلاش می‌کنند، مشکلی که به عنوان رانش مفهومی شناخته می‌شود.

• دریفت مفهومی: با تغییر توزیع داده های اساسی، مدل هایی که قبلاً آموزش دیده اند ممکن است دیگر بدون بازآموزی یا تنظیم دقیق عملکرد کافی نداشته باشند.

5. مقیاس پذیری

حجم داده ها در بسیاری از برنامه ها بسیار زیاد است و به طور مداوم در حال رشد است و مقیاس پذیری را به یک نیاز حیاتی برای سیستم های تشخیص ناهنجاری تبدیل می کند.

• Big Data: پردازش حجم زیادی از داده ها در زمان واقعی نیازمند الگوریتم های بسیار کارآمدی است که می توانند به صورت افقی در معماری های مدرن مقیاس شوند.

6. تفسیر پذیری

تفسیر نتایج حاصل از سیستم های تشخیص ناهنجاری، به ویژه آنهایی که از مدل های پیچیده مانند شبکه های عصبی عمیق استفاده می کنند، می تواند چالش برانگیز باشد. کاربران باید درک کنند که چرا برخی از نقاط به عنوان ناهنجاری در نظر گرفته می شوند تا اقدامات مناسب را انجام دهند.

• مدل‌های جعبه سیاه: مدل‌هایی که بینش کمی در فرآیند تصمیم‌گیری ارائه می‌دهند، می‌توانند مانع اعتماد و کاربرد در برنامه‌های حیاتی مانند مراقبت‌های بهداشتی یا مالی شوند.

7. چالش های خاص دامنه

هر دامنه برنامه ممکن است چالش های منحصر به فردی داشته باشد که به راه حل های تشخیص ناهنجاری متناسب نیاز دارد.

• الزامات خاص بخش: به عنوان مثال، در امنیت سایبری، ناهنجاری‌ها تهدیدهای متخاصمی هستند که فعالانه سعی می‌کنند به صورت عادی استتار کنند، در حالی که در مراقبت‌های بهداشتی، ناهنجاری‌ها ممکن است بیماری‌های نادری باشند که پیامدهای تهدیدکننده زندگی دارند.

کاربردهای تشخیص ناهنجاری

اکنون بیایید ببینیم که چگونه می توان از تشخیص معمولی در عمل استفاده کرد.

تشخیص نفوذ

امنیت سایبری برای بسیاری از کسب و کارهایی که با اطلاعات حساس، حق فکری و اطلاعات شخصی کارمندان و مشتریان خود سروکار دارند، حیاتی است. سیستم‌های تشخیص نفوذ، شبکه را برای ترافیک بدخواهانه زیر نظر می‌گیرند و دوباره آن را تغییر می‌دهند. اگر فعالیت مشکوکی تشخیص داده شود، نرم افزار IDS به تیم هشدار می دهد. نرم افزار Сisсо Systems و MсАfee دو نمونه هستند.

تشخیص تقلب

کشف کلاهبرداری در یادگیری ماشینی به جلوگیری از پول یا حقارت غیرقانونی به دست آمده کمک می کند. بانک ها، اتحادیه های اعتباری، و شرکت های بیمه همگی از نرم افزار تشخیص تقلب استفاده می کنند. به عنوان مثال، بانک‌ها، قبل از تصمیم‌گیری، اسناد بانکی را بررسی می‌کنند. اگر سیستم تشخیص دهد که برخی از اسناد تقلبی هستند، مثلاً شماره مالیات شما در سیستم وجود ندارد، به کارفرمای بانک اطلاع می‌دهد.

نظارت بر سلامت

سیستم های تشخیص معمولی در زمینه پزشکی بسیار مفید هستند. آنها با تشخیص علائم غیرمعمول در MRI و نتایج آزمایش به پزشکان در تشخیص بیماران کمک می کنند. به طور معمول، شبکه های عصبی آموزش دیده بر روی هزاران نمونه در اینجا مورد استفاده قرار می گیرند، و گاهی اوقات می توانند تشخیص دقیق تری نسبت به پزشکان 20 ساله قبلی ارائه دهند.

تشخیص نقص

اگر سازندگان با مکانیزم‌های معیوب یا جزئیات مکانیزم به مشتریان خود ارائه دهند، می‌توانند با میلیون‌ها دلار در دادگاه روبرو شوند. جزییاتی که استانداردهای اولیه را برآورده نمی‌کند، می‌تواند باعث سقوط هواپیما و کشته شدن صدها نفر شود.

سیستم‌های تشخیص معمولی مبتنی بر دید کامپیوتری می‌توانند تشخیص دهند که یک جزئیات نقص دارد، حتی اگر هزاران جزئیات مشابه دیگر در خط کمربند وجود داشته باشد. سیستم‌های تشخیص معمولی همچنین می‌توانند به مکانیسم‌هایی مرتبط باشند که سیستم‌های داخلی مانند دمای موتور، سطح سوخت و سایر پارامترها را نظارت می‌کنند.

جمع بندی
تشخيص ناهنجاری عبارت است از توانايي شناسايي نقاط داده در داده‌هايي كه با الگوهاي مورد انتظار مطابقت ندارند. می توان از آن برای حل انواع مشکلات، از جمله تشخیص تقلب، تشخیص پزشکی و غیره استفاده کرد. روش‌های یادگیری ماشینی، به‌ویژه زمانی که مجموعه داده‌های بزرگی درگیر هستند، آن را به‌طور خودکار و بهبود تشخیص ناهنجاری ممکن می‌سازد. LОF، Autoensoders، و شبکه های Bayesian از متداول ترین روش های ML هستند که در تشخیص ناهنجاری استفاده می شوند.

سوالات متداول

1. ناهنجاری در داده ها چیست؟

ناهنجاری در داده ها به یک مشاهده یا مجموعه ای از مشاهدات اشاره دارد که به طور قابل توجهی از سایر مشاهدات در یک مجموعه داده منحرف می شود. اینها نقاط داده غیرمنتظره یا غیرمعمولی هستند که با الگوی معمولی یا رفتار مورد انتظار در داده ها مطابقت ندارند. ناهنجاری‌ها می‌توانند ناشی از خطاهای اندازه‌گیری، اشتباهات وارد کردن داده‌ها، یا نشان‌دهنده رویدادهای غیرعادی واقعی باشند.

2. چگونه تشخیص ناهنجاری از تقلب جلوگیری می کند؟

تشخیص ناهنجاری با شناسایی الگوهای نامنظم یا فعالیت های غیرعادی که از رفتار عادی منحرف می شوند، از تقلب جلوگیری می کند. این ناهنجاری ها می تواند نشان دهنده فعالیت های کلاهبرداری در زمینه هایی مانند تراکنش های مالی یا ترافیک شبکه باشد. با علامت گذاری چنین موارد پرت، سیستم ها می توانند تحقیقات بیشتری را انجام دهند یا به طور خودکار اقدامات بالقوه جعلی را مسدود کنند، در نتیجه خطر و تأثیر کلاهبرداری را کاهش دهند.

3. یادگیری ماشین چگونه داده های بدون ساختار را در تشخیص ناهنجاری مدیریت می کند؟

یادگیری ماشینی با استفاده از تکنیک‌هایی مانند پردازش زبان طبیعی (NLP) برای متن و شبکه‌های عصبی کانولوشنال (CNN) برای تصاویر، داده‌های بدون ساختار را در تشخیص ناهنجاری مدیریت می‌کند. این روش‌ها ویژگی‌ها و الگوهای یادگیری را از داده‌های بدون ساختار استخراج می‌کنند، و امکان شناسایی ناهنجاری‌ها را بر اساس انحراف از هنجارهای آموخته‌شده فراهم می‌کنند.

4. آیا می توان تشخیص ناهنجاری را در زمان واقعی انجام داد؟

بله، تشخیص ناهنجاری را می توان در زمان واقعی انجام داد. تکنیک‌هایی مانند تحلیل داده‌های جریانی و مدل‌های یادگیری ماشینی بلادرنگ، داده‌ها را هنگام تولید پردازش و تجزیه و تحلیل می‌کنند. این امکان شناسایی فوری و پاسخ به ناهنجاری های بالقوه را فراهم می کند، که در برنامه هایی مانند تشخیص تقلب، امنیت شبکه و نظارت بر سلامت سیستم بسیار مهم است.

5. الگوریتم های یادگیری ماشین چگونه داده های ساختاریافته در مقابل بدون ساختار را برای تشخیص ناهنجاری پردازش می کنند؟

الگوریتم‌های یادگیری ماشینی داده‌های ساختاریافته را با استفاده از تکنیک‌های آماری و یادگیری ماشینی مانند خوشه‌بندی، رگرسیون و طبقه‌بندی برای تشخیص موارد پرت پردازش می‌کنند. برای داده های بدون ساختار، مدل های استخراج ویژگی و یادگیری عمیق برای تفسیر و تجزیه و تحلیل داده هایی مانند متن، تصاویر یا فیلم ها استفاده می شود. در هر دو مورد، هدف مدل سازی رفتار عادی و انحرافات فلگ به عنوان ناهنجاری است.