
معمولاً اگر شما یک وبسایت داشته باشید، گهگاه مشکلاتی برایتان رخ میدهد که نیاز دارید برای رفع آن به بخش خدمات مشتریان شرکت میزبان وب مراجعه کنید. من برای وبسایتم از خدمات میزبانی شرکتی استفاده میکنم که بهصورت آنلاین میتوانم با یک کارشناس فنی گفتگو کنم. پس از پایان گفتگو پنجرهای باز میشود و از من میخواهد در صورت تمایل به پرسشهایی برای سنجش میزان رضایت از خدمات دریافت شده پاسخ دهم. امروزه شرکتهای زیادی از چنین سیستمهایی برای پایش رضایت مشتریان استفاده میکنند.
میدانیم که همه مشتریان در پایان گفتگو با کارشناس فنی، به سؤالات سنجش رضایت پاسخ نمیدهند. آیا ممکن است این موضوع که افراد خود انتخاب میکنند به این پرسشها پاسخ دهند، باعث شود نمونه آماری تنها بیانگر نظر بخشی از مشتریان باشد؟ در این صورت تا چه حد دادههای چنین سیستمهایی برای شرکت مذکور مفید هستند؟ تا چه حد شرکت میتواند بر اساس تحلیل این دادهها از میزان رضایت مشتریانش آگاه شود؟
با فراگیرشدن استفاده از اینترنت، انجام تحقیقات بازار نسبت به گذشته ارزانتر و آسانتر شده است. امروزه بسیاری از شرکتهای ایرانی به نظرسنجیهای آنلاین روی آوردند تا دید بهتری از مشتریان به دست آورند. اما باید توجه کرد بسیاری از این نوع نظرسنجیها در معرض سوگیری خودانتخابی (Self-Selection Bias) قرار دارند. در ادامه من با بیان مثالهای مختلف این سوگیری را توضیح میدهم و در انتها درباره نحوه برخورد با آن توضیحاتی ارائه میکنم.
سوگیری خودانتخابی چیست؟
به این مثال توجه کنید. اداره گردشگری یک استان اعلام کرده بر اساس مطالعهای که انجام داده است، اغلب گردشگرانی که در دو سال گذشته بیش از یکبار بهقصد تفریح به آن استان سفر کردهاند، آن استان را دلپذیر و فوقالعاده ارزیابی کردند. بنابراین اداره گردشگری آن استان چنین تبلیغ میکند که آنجا یکی از بهترین مقاصد گردشگری است. آیا این نتیجهگیری درست است؟
معمولاً در چنین مطالعاتی برای آنکه ارزیابی کنند جایی مقصد گردشگری خوبی است یا نه، از ابزار نظرسنجی استفاده میکنند. احتمالاً در چنین نظرسنجی سؤالات زیر پرسیده میشود:
در دو سال گذشته چند سفر کاری به استان داشتید؟
در دو سال گذشته چند سفر تفریحی (غیر کاری) به استان داشتید؟
آیا فکر میکنید این استان مقصد دلپذیر و فوقالعادهای برای اقامت است؟
بیاید درباره پاسخدهندگان به چنین نظرسنجی کمی بیشتر فکر کنیم. فرض کنید کسانی که در دو سال گذشته تنها برای سفر کاری به آن استان رفتند، فکر نمیکنند آنجا جای دلپذیر و فوقالعادهای است. در این صورت تنها وقتی مجبور به سفر به آن استان بودند، آنجا نمیرفتند. این دسته از افراد در نتیجهگیریِ نظرسنجی لحاظ نشدهاند.
فرض کنید کسانی که در دو سال گذشته تنها یکبار برای سفر تفریحی به آن استان رفتند، فکر نمیکنند آنجا جای دلپذیر و فوقالعادهای است. احتمالاً به همین دلیل است که دیگر به آنجا سر نزدند. این گروه هم در نتیجهگیریِ نظرسنجی لحاظ نشدهاند.
فرض کنید بیشتر کسانی که در دو سال گذشته بیش از یکبار برای سفر تفریحی به آن استان رفتند، فکر میکنند آنجا جای دلپذیر و فوقالعادهای است. بالاخره جوابی که دنبالش میگشتیم پیدا شد. این همان جوابی است که اداره گردشگری میتواند از آن برای تبلیغ استفاده کند و واقعیت هم دارد، ولی تمام واقعیت نیست.
بنابراین سوگیری خودانتخابی زمانی رخ میدهد که ما گروههای مختلف افراد را که تصمیمات مختلفی گرفتند، با یکدیگر مقایسه کنیم بدون آنکه توجه کنیم “چرا” این تصمیمات را گرفتند.
نظرسنجیهای رضایت مشتریان و سوگیری خودانتخابی
نظرسنجیهای رضایت مشتری (Customer Satisfaction Surveys) ابزارهای مفیدی برای شناسایی نقاط قوت و ضعف خدمات و محصولاتی است که یک سازمان ارائه میدهد. ولی سوگیری خودانتخابی در بیشتر نظرسنجیهای رضایت مشتریان وجود دارد که میتوان استنتاج بر اساس آنان را تحت شعاع قرار دهد. علت اصلی در اینجاست که این نظرسنجیها معمولاً بهطور کاملاً تصادفی در بین مشتریان پخش نمیشوند و کسانی که تصمیم میگیرند به پرسشهای آن پاسخ دهند، ممکن است بهطور سامانمند از کسانی که تصمیم میگیرند به آن پاسخ ندهند، متفاوت باشند.
برای نمونه یک شرکت هواپیمایی مسافربری تبلیغ میکند که ۸۴ درصد مسافران کاری (Business Travelers) که بهطور منظم بین تهران و مشهد پرواز میکنند این خط هواپیمایی را ترجیح میدهند. اگر بدانیم تنها ۸ درصد کل مسافران که بین تهران و مشهد پرواز میکنند از این خطوط هوایی استفاده میکنند، چطور این تناقض را حل کنیم؟
پاسخ این است که بیشتر این نظرسنجیها در بین مشتریان خود شرکتها انجام میشود. در این نمونه احتمالاً نظرسنجی از بین کسانی که سوار یکی از هواپیماهای این خط بودند، صورت گرفته است. با احتمال زیاد این افراد این خط هواپیمایی را ترجیح میدادند که آن را انتخاب کردند. درواقع نکته شگفتانگیز این نیست که چرا ۸۴ درصد آنان همین خط هوایی را ترجیح میدهند، جالبتر آن است که چرا ۱۶ درصد خطوط هوایی دیگر را ترجیح میدهند. ولی هیچ شرکتی اعلام نمیکند که ۱۶ درصد کسانی که از خدمات من استفاده میکنند، خطوط هوایی دیگر را ترجیح میدهند.
نظرسنجیهای سیاسی و سوگیری خودانتخابی
پیروزی دونالد ترامپ (Donald J. Trump) در انتخابات سال ۲۰۱۶ ریاست جمهوری آمریکا برخلاف پیشبینیهای مبتنی بر نتایج بسیاری از نظرسنجیها، بار دیگر توجهها را به لزوم دقت در اجرا و تحلیل نظرسنجیها جلب کرد. یکی از عوامل توضیحدهنده خطا در نتایج آن نظرسنجیها، سوگیری خودانتخابی است.
بسیاری از روشهای آماری از یک فرض بنیادی شروع میشوند که ممکن است نادیده گرفته شود: فرض تصادفی بودن نمونه آماری. وقتی شما میخواهید بفهمید در جامعه هدف (در این مثال همه افراد واجد شرایط که میخواهند در روز انتخابات رأی دهند) به کدام کاندید رأی میدهند عملاً نمیتوانید از همه افراد جامعه سؤال کنید. این کار فقط یکبار آنهم در انتخابات واقعی ممکن است. برای این منظور باید یک سری از افراد را که کاملاً “تصادفی” انتخاب شدهاند و “نمایندهای از جامعه هدف” هستند، بهعنوان نمونه آماری انتخاب کنید و نتایج این نمونه را به جامعه هدف تعمیم دهید. تئوریهای آماری این تضمین را میدهند درصورتیکه چنین نمونهای انتخاب کرده باشید، با احتمال خوبی میتوانید ویژگیهای جامعه هدف را تخمین بزنید.
حال اگر نمونه نسبت به قسمتی از جامعه هدف سوگیری داشته باشد و بهنوعی نمایانگر تمام جامعه هدف نباشد، نتایج با خطا همراه است. درباره نظرسنجیهای انتخاباتی، اینکه عملاً نظرسنجی حاصل پاسخ افرادی باشد که حاضر باشند در نظرسنجی شرکت کنند، تمام توضیحات ابتدایی را گوش کنند و پاسخ سؤالات را دهند، ممکن است نمونه را به سمت خاصی سوق دهد. این خطا همواره مشکلساز نیست. برای مثال در آمریکا، میزان پاسخگویی آفریقایی-آمریکایی تبارها در نظرسنجیها پایین است. محقق با دانستن اینکه چند درصد آفریقایی-آمریکایی تبارها کل جمعیت را تشکیل میدهند، میتواند بر اساس همان نمونه محدود، خطای آماری را اصلاح کند.
اما مشکل زمانی پیش میآید که محقق نداند افراد ممکن است بر اساس چه ویژگی به نظرسنجی پاسخ ندهند و برخی از افراد به شکل سامانمند از شرکت در نظرسنجی امتناع کنند. در انتخابات اخیر بسیاری از طرفداران ترامپ بر این باور بودند که رسانهها و مؤسسات افکارسنجی، نظرسنجیها را دستکاری میکنند و این نگرش احتمالاً باعث شده است طرفداران وی از شرکت در نظرسنجیها خودداری کنند و نتایج عملاً متمایل به طرفداران هیلاری کلینتون (Hillary Clinton) شود که خود ظن آنها را تقویت میکرده است.
در این مثال در عمل، قسمتی از نمونه خودش انتخاب کرده که جزء آن نباشد. نکته مهم این است که افزایش حجم نمونه خطای ناشی از سوگیری خودانتخابی را کاهش نمیدهد.
مطالعات مشاهدهای و سوگیری خودانتخابی
علاوه بر نظرسنجیها، سوگیری خودانتخابی مطالعات مشاهدهای (Observational Studies) را هم میتواند تحت تأثیر قرار دهد. برای مثال، گروهی از محققان استرالیایی در سال ۲۰۱۱ گزارشی منتشر کردند که عنوان میکرد بر مبنای مشاهدات آنان بهطور متوسط کسانی که شش ساعت تلویزیون در روز نگاه میکنند پنج سال زودتر از کسانی که اصلاً تلویزیون نگاه نمیکنند، میمیرند. با در نظر گرفتن عادات مردم استرالیا در دیدن تلویزیون، آنان اینطور نتیجه گرفته بودند که با ندیدن تلویزیون بهطور متوسط دو سال به عمر انتظاری (Life Expectancy) افراد اضافه میشود.
در اینجا هم سوگیری خودانتخابی موجب میشود که افراد خود تصمیم بگیرند داخل گروهی باشند یا نباشند. در این مثال شاید کسانی که تصمیم گرفتند بیشتر تلویزیون نگاه کنند، ازنظر بدنی کمتر فعال هستند، یا مبتلا به افسردگی شدهاند و یا در شرایط جسمی خوبی نیستند و نمیتوانند مانند افراد سالم به فعالیتهای پرتحرک بپردازند. درواقع ممکن است عامل پنهان دیگری همزمان موجب افزایش دیدن تلویزیون و کاهش طول عمر میشود.
روش درستتر برای انجام چنین مطالعهای بهرهگیری از رویکرد آزمایش کنترلشده تصادفی است. در حالت ایدئال برای نتیجهگیری دقیق باید افراد را بهصورت تصادفی به دو گروه تقسیم کنیم. گروه اول از دیدن تلویزیون ممنوع میشدند و گروه دوم مجبور میشدند که هرروز شش ساعت تلویزیون ببینند. در پایان دوره آزمایش، اثر تلویزیون دیدن را بر سلامت افراد دو گروه ارزیابی کنیم. البته واضح است که انجام چنین آزمایشی اخلاقی نیست و باید دنبال روشهای دیگری بود تا خطای خودانتخابی را در چنین مطالعاتی کاهش داد.
چگونه سوگیری خودانتخابی را کاهش دهیم؟
همانطور که اشاره کردم حالت ایدئال برای از بین بردن سوگیری خودانتخابی بهرهگیری از رویکرد آزمایش کنترلشده تصادفی است. اما اگر به هر دلیلی نتوان از این رویکرد استفاده کرد، روشهای آماری مختلفی مانند رگرسیون چندمتغیره (Multiple Regression)، طراحی ناپیوسته رگرسیون (Regression Discontinuity Design) و همتایابی نمره تمایل (Propensity Score Matching) برای کاهش سوگیری خودانتخابی توسعه یافتهاند. در اینجا من برای آنکه خواننده دید کلی نسبت به رویکردهای آماری برای حل این مسئله پیدا کند، روش همتایابی نمره تمایل را با مثالی ساده توضیح میدهم.
آشنایی شهودی با روش همتایابی نمره تمایل
فرض کنید وزارت بهداشت یک استان تصمیم گرفته است در چند روستا خانه بهداشت تأسیس کند. پس از گذشت یک سال وزارت بهداشت میخواهد ارزیابی کند تأسیس خانه بهداشت چه تأثیری بر ارتقاء سلامت روستائیان گذاشته است. برای این منظور نرخ مرگومیر را در روستاهایی که دارای خانه بهداشت هستند (گروه آزمایش Treatment Group) با آنها که فاقد آن هستند (گروه کنترل Control Group)، مقایسه میکند. نتایج این طرح در شکل-۱ آمده است.

یک روش ساده برای سنجش اثربخشی وجود خانه بهداشت این است که میانگین نرخ مرگومیر دو گروه را باهم مقایسه کنیم:
نتایج بالا نشان میدهد که میانگین نرخ مرگومیر در روستاهای فاقد خانه بهداشت ۱۲٫۴ در هر هزار نفر و در روستاهای دارای خانه بهداشت ۱۶٫۵ است. این در ظاهر یعنی در یک سال گذشته روستاهایی که دارای خانه بهداشت بودند، نرخ مرگومیر بالاتری داشتند. آیا خطایی در تحلیل وجود دارد؟
اگر خانههای بهداشت بهصورت تصادفی در بعضی روستاها ساخته میشد و در برخی دیگر ساخته نمیشد، آنوقت این مقایسه درست بود ولی در واقعیت چنین نیست. بهاحتمالزیاد سیاستگذار بر مبنایی این تصمیم را گرفته که در کجا خانه بهداشت بسازد. اگر روستاهایی که در آنها خانه بهداشت ساختهشده، در گذشته نرخ مرگومیر بالایی داشتهاند، مقایسه این دو گروه باهم کار صحیحی نیست. درواقع نرخ مرگومیر بالا در آن روستاها عامل انتخاب این روستاها برای ساخت خانه بهداشت بوده است. در این صورت این روستاها را باید با همتایان خود مقایسه کرد. این رویکرد مبنای روش همتایابی نمره تمایل است.
اگر فرض کنیم هیچ دادهای از نرخ مرگومیر روستاها قبل از اجرای این برنامه نداشته باشیم، باید از شاخصهای دیگری استفاده کنیم تا بفهمیم پیشینه این روستاها چقدر به هم شبیه است و تنها آنهایی را که به یکدیگر مشابهاند، مقایسه کنیم.
در شکل-۲ میبینید من دو متغیر دیگر را هم درباره این روستاها اضافه کردم؛ یکی درصد ساکنین زیر خط فقر و دیگری سرانه پزشک در آن روستا. این دو متغیر به من کمک میکند تا به برآوردی از پیشینه این روستاها برسم. با احتمال زیاد روستاهایی که ساکنان بیشتری زیر خط فقر و سرانه پزشک پایینتری دارند، پیش از اجرای این طرح دارای نرخ مرگومیر بالاتری بودند.

در روش همتایابی نمره تمایل، با استفاده از رگرسیون لجستیک (Logistic Regression) برای هر مشاهده نمرهای بین صفر تا یک را بر اساس سایر متغیرهایی که ممکن است فرآیند انتخاب را تحت تأثیر قرار دهند (در این مثال درصد ساکنین زیر خط فقر و سرانه پزشک) محاسبه میکنیم. نمره تمایل نشانگر این است مشاهدات بر اساس آن متغیرها تا چه حد به هم شبیه هستند. من نمره تمایل را برای همه روستاها محاسبه کردم و در شکل-۳ نشان دادم. محاسبات در بخش ضمیمه آمده است.

برای مثال میبینید روستای ردیف اول که دارای خانه بهداشت است، با روستای ردیف ۶ که فاقد خانه بهداشت است، به لحاظ پیشینه شباهت زیادی دارد. روستاهای ۲، ۳ و ۴ نیز مشابه روستای ۵ هستند. بهاینترتیب روستاهای ۷، ۸ و ۹ از گروه کنترل خارج میشوند. اگر به این روستاها دقت کنید از منظر اقتصادی و سرانه پزشک در وضع مناسبی هستند. حالا میتوانم روستاهای گروه آزمایش را با گروه کنترلی جدید که شامل روستاهای همتای گروه آزمایش هستند، مقایسه کنم.
در این حالت میبینیم ساختن خانه بهداشت اثر مثبتی روی کاهش نرخ مرگومیر گذاشته است.
در مثال مربوط به سنجش رضایت که در ابتدای مقاله اشاره کردم، روش همتایابی نمره تمایل میتواند اثر سوگیری خودانتخابی را تصحیح کند. در چنین نظرسنجیهایی باید نمره تمایل را برای مشتریانی که به نظرسنجی پاسخ دادند و آنهایی که پاسخ ندادند محاسبه کرد. معمولاً در سیستمهای مدیریت ارتباط مشتریان (CRM) دادههای خوبی از وضعیت جمعیتشناختی و رفتار خرید مشتریان جمعآوری میشود. این دادهها میتواند بهعنوان مبنایی برای سنجش مشابهت پیشینه مشتریان استفاده شود تا میزان رضایت مشتریانی را که به نظرسنجی پاسخ ندادند بر اساس مشتریان با پیشینه مشابه که به نظرسنجی پاسخ دادند، تخمین زد.
اگر به موضوعات مطرحشده در این مقاله علاقهمند بودید، خواندن مقالات زیر را به شما توصیه میکنم.
چگونه بازماندگان شما را فریب میدهند؟
چرا مدیران باید تفاوت بین همبستگی و رابطه علّی را بدانند؟
چگونه رابطه علّی را تشخیص دهیم؟
***ضمیمه: محاسبه نمره تمایل در R
در کد زیر نحوه محاسبه نمره تمایل را با استفاده از رگرسیون لجستیک برای مثال مقاله آوردهام. هدف آن است که با استفاده از متغیرهایی که درباره پیشینه روستاها هستند، برآورد کرد که کدام روستا خانه بهداشت دارد یا ندارد. بنابراین در رگرسیون لجستیک متغیرهای پیشبینی کننده نرخ فقر و سرانه پزشک متغیرهایی هستند که بهعنوان پیشبینی کننده استفاده کردم. نمره مشابهت همان احتمال تعلق داشتن به رسته داشتن خانه بهداشت (۱) است.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | > #Create dataset > df <- data.frame('GPperCaptia' = c(0.01, 0.02, 0.01, 0.02, 0.01, 0.02, 0.04, 0.05, 0.04), + 'PovertyRate' = c(0.5, 0.6, 0.7, 0.6, 0.6, 0.5, 0.1, 0.3, 0.2), + 'DeathRate' = c(10, 15, 22, 19, 25, 19, 4, 8, 6), + 'IfHealthCenter' = factor(c(rep(1, 4), rep(0, 5)))) > > #Model Logistic Regression > log_reg <- glm(IfHealthCenter ~ GPperCaptia + PovertyRate, + data = df, + family = "binomial") > > #Calculate Propensity Score > df$PScore <- round(predict(log_reg, df, type = "response"), 3) > df GPperCaptia PovertyRate DeathRate IfHealthCenter PScore 1 0.01 0.5 10 1 0.417 2 0.02 0.6 15 1 0.736 3 0.01 0.7 22 1 0.928 4 0.02 0.6 19 1 0.736 5 0.01 0.6 25 0 0.753 6 0.02 0.5 19 0 0.395 7 0.04 0.1 4 0 0.002 8 0.05 0.3 8 0 0.027 9 0.04 0.2 6 0 0.007 |
منابع:
Bethlehem, J. (2010). “Selection Bias in Web Surveys”, International Statistical Review, 78(2), 161-188
Keeble, C., Law, G. R., Barber, S., & Baxter, P. D. (2015). “Choosing a Method to Reduce Selection Bias: A Tool for Researchers”, Open Journal of Epidemiology, 5(3), 155-162
Smith, G. (2014). “Standard Deviations: Flawed Assumptions, Tortured Data, and Other Ways to Lie with Statistics”, Overlook Duckworth, Peter Mayer Publishers, Inc. New York
Thavaneswaran, A., & Lix, L. (2008). “Propensity Score Matching in Observational Studies”, Manitoba Center for Health Policy
ممنون از مقاله ، سوالی که ایجاد شد این است: بعد از حساب کردن نمره ی تمایل (که روش محاسبه رو نمیدونم ) مشاهدات با نمره تمایل نزدیک به هم رو نگه میداریم باقی حذف میشوند(در گروه کنترل) ، یا مشاهدات با نمرات تمایل یکسان حفظ و باقی مثل case substitution با مشاهدات نزدیک جایگزین میشوند ؟
سلام وقت بخیر،
نحوه محاسبه نمره مشابهت در بخش ضمیمه اضافه شد.
اگر به مثال دقت کنید مشاهدات ۷، ۸ و ۹ از گروه کنترل خارج شدند و مشابه مشاهدات ۲، ۳ و ۴ قرار داده شده است. براساس نمره مشابهت مشاهده ۵ از همه به این مشاهدات نزدیکتر است به همین خاطر این مشاهده جایگزین هر سه مشاهده ۷، ۸ و ۹ در گروه کنترل شده است. در واقع شبیه همان case substitution است.