ضریب توافق کاپا (Kappa coefficient) چیست؟

چکیده مقاله:
ضریب توافق کاپا (Cohen’s Kappa) یکی از معیارهای آماری مهم برای ارزیابی میزان توافق میان ارزیاب ها یا ابزارهای اندازه گیری مختلف است. این ضریب به ویژه زمانی به کار می رود که داده های مورد بررسی به صورت دسته بندی شده یا اسمی (nominal) باشند و هدف، ارزیابی هماهنگی بین دو قضاوت کننده مستقل یا بیشتر باشد. کاپا، در واقع میزان توافق مشاهده شده را در مقابل توافقی که به صورت تصادفی ممکن است رخ دهد، ارزیابی می کند. مقدار این ضریب از −1 تا +1 متغیر است، که مقدار +1 نشان دهنده توافق کامل، مقدار صفر نشان دهنده توافقی برابر با تصادف، و مقادیر منفی نشان دهنده توافق کمتر از انتظار تصادفی است.

یکی از ویژگی های مهم کاپا این است که تأثیر شانس را از ارزیابی توافق حذف می کند، به همین دلیل برتری قابل توجهی نسبت به معیارهایی مانند درصد توافق ساده دارد. این شاخص به طور گسترده در حوزه های مختلفی مانند علوم اجتماعی، پزشکی، و علوم داده به کار می رود، به خصوص زمانی که قابلیت اطمینان یک ابزار یا ارزیاب ها نیاز به بررسی داشته باشد. با این حال، استفاده از ضریب کاپا نیازمند در نظر گرفتن محدودیت هایی همچون حساسیت به توزیع داده ها و تعداد دسته ها است، که می تواند بر تفسیر نتایج تأثیر بگذارد.

ضریب کاپای کوهن معیاری برای سنجش میزان توافق بین دو نمونه دسته بندی شده وابسته می باشد و از آن زمانی استفاده می شود که بخواهید بدانید اندازه گیری های دو ارزیاب با یکدیگر توافق دارند یا خیر. در مورد ضریب کاپای کوهن، متغیری که توسط دو ارزیاب اندازه گیری می شود، یک متغیر اسمی است.

اگر یک متغیر اسمی دارید و می خواهید بدانید میزان توافق بین دو ارزیاب چقدر است، از ضریب کاپای کوهن استفاده می کنید. اگر متغیر شما رتبه ای باشد و دو ارزیاب داشته باشید، از تاوی کندال یا کاپای کوهن وزنی استفاده می کنید، و اگر متغیر شما متریک باشد، از ضریب همبستگی پیرسون استفاده می کنید. اگر بیش از دو نمونه وابسته اسمی داشته باشید، از کاپای فلایس استفاده می شود.

• انواع ضرایب همبستگی

ضریب توافق کاپا چیست؟

ضریب توافق کاپا (Cohen’s Kappa) یک معیار آماری برای ارزیابی میزان توافق بین دو ارزیاب یا سیستم است که در دسته بندی یا تصمیم گیری بر روی یک مجموعه داده فعالیت می کنند. این ضریب به طور خاص توافقی را که فراتر از احتمال توافق تصادفی است اندازه گیری می کند. کاپا در مواردی که دسته بندی ها از پیش مشخص شده و احتمال اشتباه تصادفی وجود دارد، ابزاری مفید برای تحلیل میزان دقت و توافق می باشد.

• مشاوره آماری

ضریب کاپا می تواند مقداری بین -1 تا 1 داشته باشد. مقدار 1 نشان دهنده توافق کامل بین ارزیاب ها، مقدار 0 نشان دهنده توافقی برابر با شانس، و مقادیر منفی نشان دهنده توافقی کمتر از آنچه به صورت تصادفی انتظار می رود، است. تفسیر این مقادیر بسته به کاربرد متفاوت است، اما به طور کلی مقادیر بالای 0.6 تا 0.8 نشان دهنده توافق قوی و مقادیر بالای 0.8 نشان دهنده توافق بسیار بالا می باشند.

• همبستگی چیست؟

یکی از نقاط قوت کاپا در این است که تأثیر توافق تصادفی را حذف می کند و ارزیابی دقیق تری ارائه می دهد. با این حال، این ضریب ممکن است در شرایطی مانند توزیع نابرابر دسته بندی ها یا زمانی که ارزیاب ها نسبت به برخی دسته بندی ها بیش از حد تعصب داشته باشند، محدودیت هایی داشته باشد. به همین دلیل در کنار کاپا اغلب از شاخص های تکمیلی دیگری نیز استفاده می شود تا تحلیل جامع تری از داده ها ارائه گردد.

• آزمون کولموگروف اسميرنف

مثال از ضریب توافق کاپا

فرض کنید ابزاری برای اندازه گیری ساخته اید، مثلا یک پرسشنامه که پزشکان می توانند با استفاده از آن تشخیص دهند آیا یک فرد افسرده است یا خیر. اکنون این ابزار را به یک پزشک می دهید و از او می خواهید با آن 50 نفر را ارزیابی کند.

• انواع آزمون همبستگی

برای مثال، روش شما نشان می دهد که نفر اول افسرده است، نفر دوم نیز افسرده است و نفر سوم افسرده نیست. سوال بزرگ اکنون این است: آیا یک پزشک دوم نیز به همان نتیجه خواهد رسید؟

بنابراین، با پزشک دوم، نتیجه می تواند اینگونه باشد: برای نفر اول، هر دو پزشک به همان نتیجه می رسند، اما برای نفر دوم، نتیجه متفاوت است. شما علاقه مند به این هستید که میزان توافق بین این دو پزشک چقدر بزرگ است و اینجاست که ضریب کاپای کوهن به کار می آید.

قابلیت اطمینان Inter-rater

اگر ارزیابی های دو پزشک به خوبی با یکدیگر توافق داشته باشند، قابلیت اطمینان بین ارزیابان بالا می باشد. و این همان چیزی است که ضریب کاپای کوهن اندازه گیری می کند.

تعریف:

ضریب کاپای کوهن (κ) یک معیار آماری می باشد که برای تعیین سطح توافق بین دو ارزیاب (یا داور، مشاهده گر و غیره) که هر کدام موارد را در دسته بندی هایی طبقه بندی می کنند، استفاده می شود. این معیار به ویژه در موقعیت هایی که تصمیم گیری ها ذهنی هستند و دسته بندی ها اسمی (یعنی بدون ترتیب طبیعی) می باشند، مفید است.

بنابراین، ضریب کاپای کوهن معیاری است برای اینکه بدانید دو ارزیاب چقدر به طور قابل اعتماد یک چیز را اندازه گیری می کنند.

• تحلیل آماری

موارد استفاده از ضریب توافق کاپا

تا اینجا حالتی را بررسی کردیم که دو نفر یک چیز را اندازه گیری می کنند. اما ضریب توافق کاپا همچنین می تواند زمانی استفاده شود که یک ارزیاب در دو زمان مختلف یک اندازه گیری را انجام دهد.

در این حالت، امتیاز کاپای کوهن نشان می دهد که دو اندازه گیری انجام شده توسط یک فرد چقدر با هم توافق دارند.

اندازه گیری توافق

ضریب توافق کاپا میزان توافق بین دو نمونه دسته بندی شده وابسته را اندازه گیری می کند.

قابلیت اطمینان و اعتبار ضریب توافق کاپا

نکته مهم این است که ضریب توافق کاپا فقط می تواند نشان دهد که دو ارزیاب چقدر به طور قابل اطمینان یک چیز را اندازه گیری می کنند. این معیار نمی تواند مشخص کند آیا آنچه که دو ارزیاب اندازه گیری می کنند، چیز درستی است یا خیر!

در حالت اول، ما از قابلیت اطمینان صحبت می کنیم (اینکه آیا هر دو یک چیز را اندازه گیری می کنند) و در حالت دوم از اعتبار (اینکه آیا هر دو چیز درستی را اندازه گیری می کنند). ضریب توافق کاپا فقط برای اندازه گیری قابلیت اطمینان به کار می رود.

محاسبه ضریب توافق کاپا

اکنون سوال پیش می آید که چگونه ضریب توافق کاپا محاسبه می شود؟ این کار دشوار نیست! ما جدولی با فراوانی های پاسخ های مربوطه ایجاد می کنیم.

برای این کار، دو ارزیاب خود را در نظر می گیریم که هر یک ارزیابی کرده اند آیا یک فرد افسرده است یا خیر. اکنون، می شماریم که چند بار هر دو یک نتیجه مشابه داشتند و چند بار متفاوت.

یک جدول می سازیم که در آن ارزیاب 1 گزینه های “افسرده نیست” و “افسرده” و ارزیاب 2 نیز همین گزینه ها را داشته باشد. سپس یک برگه شمارش نگه می داریم و می شماریم که هر ترکیب چند بار رخ داده است.

فرض کنید نتیجه نهایی ما به این صورت است: 17 نفر توسط هر دو ارزیاب به عنوان “افسرده نیست” و 19 نفر به عنوان “افسرده” ارزیابی شدند.

اگر هر دو ارزیاب یک نتیجه مشابه داشته باشند، آن فرد در قطر جدول قرار می گیرد، و اگر نتایج متفاوت باشد، در حاشیه جدول قرار می گیرد. حال می خواهیم بدانیم هر دو ارزیاب چند بار توافق داشته اند و چند بار نه.

ارزیاب 1 و ارزیاب 2 توافق داشتند که 17 نفر افسرده نیستند و 19 نفر افسرده هستند. بنابراین، هر دو در 36 مورد توافق داشته اند. در مجموع، 50 نفر ارزیابی شده اند.

با این اعداد، می توانیم احتمال توافق هر دو ارزیاب درباره یک فرد را محاسبه کنیم. برای این کار، 36 را بر 50 تقسیم می کنیم. نتیجه این محاسبه این است: در 72% موارد، هر دو ارزیاب به یک نتیجه رسیده اند و در 28% موارد نتایج متفاوت بوده است.

این اولین قسمتی را که برای محاسبه کاپا کوهن نیاز داریم به ما می دهد. کاپا کوهن با این فرمول به دست می آید:

این عدد همان po است، اما pe چیست؟

اگر هر دو پزشک بدون هیچ رهنمودی و فقط با انداختن سکه پاسخ می دادند، در برخی موارد ممکن بود تصادفاً به همان نتیجه برسند.

برای محاسبه pe ابتدا باید مجموع ردیف ها و ستون ها را به دست آوریم و سپس می توانیم pe را محاسبه کنیم.

1. احتمال “افسرده نیست” به صورت تصادفی:
   ارزیاب 1، 25 نفر از 50 نفر را “افسرده نیست” ارزیابی کرده است، یعنی 50%.
   ارزیاب 2، 23 نفر از 50 نفر را “افسرده نیست” ارزیابی کرده است، یعنی 46%.
   احتمال کلی اینکه هر دو تصادفاً “افسرده نیست” بگویند برابر است با:
   0.5 × 0.46 = 0.23
2. احتمال “افسرده” به صورت تصادفی:
   ارزیاب 1، 25 نفر از 50 نفر را “افسرده” ارزیابی کرده است، یعنی 50%.
   ارزیاب 2، 27 نفر از 50 نفر را “افسرده” ارزیابی کرده است، یعنی 54%.
   احتمال کلی اینکه هر دو تصادفاً “افسرده” بگویند برابر است با:
   0.5 × 0.54 = 0.27

با جمع کردن این دو مقدار، احتمال اینکه هر دو ارزیاب به صورت تصادفی توافق کنند به دست می آید:
pe = 0.23 + 0.27 = 0.50

اکنون می توانیم ضریب توافق کاپا را محاسبه کنیم. با جایگذاری po و pe، مقدار کاپا در مثال ما برابر با 0.4 می باشد.

توضیحات تکمیلی

در po، حرف o نشان دهنده “مشاهده شده” و در pe، حرف e نشان دهنده “انتظار” است. بنابراین، po چیزی است که واقعاً مشاهده شده و pe چیزی است که اگر همه چیز تصادفی بود، انتظار داشتیم رخ دهد.

تفسیر ضریب توافق کاپا

اکنون، طبیعتاً مایل هستیم ضریب توافق کاپای محاسبه شده را تفسیر کنیم. جدول ارائه شده توسط لاندیس و کوخ (1977) می تواند به عنوان راهنما مورد استفاده قرار گیرد:

بنابراین، ضریب توافق کاپای محاسبه شده با مقدار 0.44 نشان دهنده قابلیت اطمینان یا توافق متوسط می باشد.

خطای استاندارد (SE) ضریب توافق کاپا

خطای استاندارد (SE) یک آماره، مانند ضریب توافق کاپا، معیاری برای دقت مقدار برآورد شده است. این معیار نشان می دهد که مقدار محاسبه شده تا چه اندازه ممکن است در صورت تکرار مطالعه بر روی نمونه های مختلف از یک جامعه تغییر کند. به عبارت دیگر، خطای استاندارد نشان دهنده میزان عدم قطعیت یا تغییرپذیری در برآورد ضریب کاپا است.

محاسبه SE برای ضریب کاپا شامل فرمول های پیچیده ای است که نسبت های کلی هر دسته بندی ارزیابی شده و توزیع رتبه بندی ها بین ارزیاب ها را در نظر می گیرد. فرمول کلی SE برای ضریب کاپا به صورت زیر می باشد:

در اینجا:

• n: تعداد کل آیتم هایی که ارزیابی شده اند.
• po: توافق مشاهده شده.
• pe: توافق مورد انتظار.

• خطای استاندارد در آمار چیست؟

تفسیر خطای استاندارد

1. خطای استاندارد کوچک:
   خطای استاندارد کوچک نشان می دهد که برآورد نمونه احتمالاً به مقدار واقعی جامعه نزدیک است. هر چه SE کوچک تر باشد، برآورد دقیق تر در نظر گرفته می شود.
2. خطای استاندارد بزرگ:
   خطای استاندارد بزرگ نشان می دهد که تغییرپذیری بیشتری در برآوردها از نمونه به نمونه وجود دارد و بنابراین دقت کمتری دارد. این مسئله نشان می دهد که اگر مطالعه تکرار شود، ممکن است نتایج بسیار متفاوتی به دست آید.

ضریب کاپای وزنی

ضریب توافق کاپا میزان توافق بین دو ارزیاب را در نظر می گیرد، اما تنها توجه به این دارد که آیا هر دو ارزیاب یک چیز را اندازه گیری کرده اند یا نه. در مورد متغیرهای رتبه ای، مانند نمرات مدرسه، طبیعی است که بخواهیم تفاوت های درجات نیز در نظر گرفته شوند.

برای مثال، تفاوت بین “خیلی خوب” و “رضایت بخش” بیشتر از تفاوت بین “خیلی خوب” و “خوب” است. برای در نظر گرفتن این تفاوت ها، می توان ضریب کاپای وزنی را محاسبه کرد. در اینجا انحرافات نیز در محاسبات لحاظ می شوند و این تفاوت ها می توانند به صورت خطی یا درجه دوم (Quadratic) در نظر گرفته شوند.

محاسبه ضریب توافق کاپا با استفاده از DATAtab

اکنون توضیح می دهیم که چگونه می توانید به راحتی ضریب توافق کاپا را برای داده های خود به صورت آنلاین با استفاده از ابزار DATAtab محاسبه کنید.

• کافی است به ماشین حساب ضریب کاپا بروید و داده های خود را در جدول کپی کنید.
• سپس روی برگه “قابلیت اطمینان” کلیک کنید.

تمام کاری که باید انجام دهید این است که متغیرهایی را که می خواهید تحلیل کنید انتخاب کنید، و ضریب کاپای کوهن به طور خودکار نمایش داده خواهد شد. ابتدا جدول توافق (Crosstab) را خواهید دید و سپس می توانید ضریب توافق کاپای محاسبه شده را بخوانید. اگر نمی دانید چگونه نتیجه را تفسیر کنید، فقط روی “تفسیر به زبان ساده” کلیک کنید.

در یک تحلیل قابلیت اطمینان بین نمونه های وابسته ارزیاب 1 و ارزیاب 2، ضریب توافق کاپا محاسبه شد. این ضریب نشان دهنده میزان توافق بین دو نمونه دسته بندی شده وابسته است.

نتیجه: ضریب توافق کاپا نشان داد که توافق بین نمونه های ارزیاب 1 و ارزیاب 2 متوسط بوده و مقدار آن برابر با $\kappa =0.23$ می باشد.