برای آنکه مدیران بتوانند تصمیمات هوشمندانه‌تری بگیرند نیاز دارند تا داده داشته باشند. روش‌های مختلفی برای جمع‌آوری داده وجود دارد. یکی از این روش‌ها آزمایش کردن است. انواع مختلفی از آزمایش‌ها وجود دارد که مدیران می‌توانند انجام دهند. از آزمایش‌های غیررسمی گرفته تا آزمایش‌های میدانی، مطالعات موردی و آزمایش در لابراتوار نمونه‌هایی از آزمایش کردن هستند. در مقاله “با آزمایش کردن در کسب‌وکار، هوشمندانه ریسک کنید” مثال‌هایی را از دنیای واقعی شرح دادم.
یکی از ساختاریافته‌ترین روش‌ها، آزمایش کنترل‌شده تصادفی (Randomized Controlled Experiment) نام دارد. من در این مقاله به توضیح این روش و کاربردهای آن در حوزه مدیریت می‌پردازم.
آزمایش کنترل‌شده تصادفی چگونه توسعه یافت؟
یکی از اولین افرادی که در توسعه مفهوم آزمایش کنترل‌شده پیشگام بود، پزشک انگلیسی جیمز لیند (James Lind) بود. او مشاهده‌گر دقیقی بود و می‌توانست خود را از پیش‌فرض‌های ذهنی‌اش فاصله دهد و بر اساس منطق تحلیل و نتیجه‌گیری کند. یکی از بیماری‌هایی که لیند به مطالعه آن پرداخت بیماری اسکوربوت (Scurvy) بود. اسکوربوت بیماری است که براثر کمبود ویتامین ث ایجاد می‌شود. این بیماری می‌تواند موجب فلج شدن بیمار و یا حتی مرگ او شود.
این بیماری از دوران کهن شناخته شده بود. جان وودال در سال ۱۶۱۴ میلادی مصرف میوه‌های تازه را برای درمان این بیماری توصیه کرده بود؛ اما لیند در سال ۱۷۴۷ میلادی تصمیم گرفت آزمایشی ترتیب دهد تا این توصیه را اثبات کند. او ۱۲ بیمار را انتخاب کرد که همگی از نظر شدت بیماری در یک سطح قرار داشتند. آنان را در یک مکان بستری کرد و همه آن‌ها را تحت رژیم غذایی یکسانی قرار داد. این ۱۲ نفر به شش گروه دونفره تقسیم شدند. تنها تفاوت این شش گروه در مصرف مقدار مشخصی از یک نوع ماده غذایی بود. این مواد غذایی شامل مواردی مانند آب سیب، سرکه، پرتقال و لیمو و مانند آن بود. به یک گروه نیز هیچ‌کدام از این موارد داده نمی‌شد.
آزمایش‌های او نشان داد گروهی که به‌صورت روزانه پرتقال و لیمو مصرف می‌کرده است در پایان آزمایش سریع‌ترین بهبود را تجربه کردند. بعد از پرتقال و لیمو، آب سیب مؤثرتر از بقیه عمل کرد. به‌این‌ترتیب او به‌طور عملی نشان داد که اسکوربوت با مصرف مرکبات در رژیم غذایی درمان می‌شود.
اما این رونالد فیشر (Ronald Fisher) آماردان انگلیسی بود که در ابتدای قرن بیستم با مطالعاتی که در حوزه کشاورزی کرد، آزمایش کنترل‌شده تصادفی را به شکل یک روش علمی درآورد و آن را توسعه داد.
فرض کنید شما مدیر یک شرکت تولیدکننده محصولات کشاورزی هستید و می‌خواهید بهره‌وری تولید خود را افزایش دهید. دو ماده مغذی در بازار وجود دارد که ادعا می‌کنند می‌توانند رشد گیاهان را تسریع کنند. شما در مورد کارایی این دو محصول شک دارید؛ بنابراین تصمیم می‌گیرید یک آزمایش کنترل‌شده تصادفی طراحی کنید تا ادعای آن‌ها را بسنجید. تعدادی گیاه یکسان انتخاب می‌کنید و آن‌ها را در سه گروه تقسیم می‌کنید. در طول مدت‌زمان آزمایش، گیاهان گروه A از ماده مغذی اول و گیاهان گروه B از ماده مغذی دوم تغذیه می‌شوند. هر یک از این دو گروه، گروه آزمایشی (Experimental Group) نامیده می‌شوند. گیاهان در گروه C به‌مانند گیاهان عادی تنها با آب تغذیه می‌شوند (شکل-۱). این گروه، گروه کنترل (Control Group) نامیده می‌شود.
هر سه گروه در همه‌چیز یکسان هستند به‌جز ماده مغذی که دریافت می‌کنند. متغیرهایی مانند سایز گلدان، نوع خاک، میزان نور دریافتی و یا دمای نگهداری که ممکن است روی رشد گیاه تاثیر بگذارند، در هر سه گروه یکسان نگه می‌دارید. این متغیرها، متغیرهای کنترل نامیده می‌شوند. در اینجا شما مایل هستید اثر ماده مغذی (متغیر مستقل) را بر روی رشد گیاه و سلامتی عمومی آن (متغیر وابسته) اندازه‌گیری کنید. در پایان دوره آزمایش، در صورت تائید آزمون‌های آماری می‌توان گفت گروهی که در آن میانگین رشد گیاهان بالاتر بوده، ماده مغذی کارآمدتری دریافت کرده است.
علت اینکه به این آزمایش‌ها کنترل‌شده گفته می‌شود به دو مورد برمی‌گردد. یکی اینکه با محدودیت‌هایی که در انجام آزمایش اعمال می‌شود، نمی‌گذاریم هم‌زمان با متغیر مستقل، متغیر دیگری بر روی نمونه‌ها اثر بگذارد. درواقع با ایزوله کردن سایر متغیرها ما قادر هستیم اثر خالص متغیر مستقل را اندازه‌گیری کنیم. برای مثال اگر هم‌زمان بااینکه گیاهان در هر گروه ماده مغذی متفاوتی دریافت می‌کنند، میزان نور خورشید متفاوتی هم دریافت کنند دیگر نمی‌توان مشخص کرد رشد گیاهان تحت تأثیر کدام عامل بوده است.
مورد دوم به وجود گروه کنترل برمی‌گردد. ما در این نوع آزمایش‌ها همواره مقایسه می‌کنیم. سؤال اینجاست که مقایسه نسبت به چه چیزی صورت می‌گیرد؟ مقایسه معمولاً نسبت به وضع موجود انجام می‌شود. شما در حالت فعلی گیاهان را با آب تغذیه می‌کنید. این، گروه کنترل را مشخص می‌کند. نتیجه آزمایش به شما نشان خواهد داد که آیا استفاده از مواد مغذی جدید نسبت به وضع موجود کارایی بیشتری دارد یا خیر.
اما در عمل نمی‌توان همه متغیرها را کنترل کرد. برخی از متغیرهای اثرگذار در مسئله ممکن است قابل‌شناسایی و کنترل باشند؛ اما ممکن است آزمایشگر همه متغیرهای اثرگذار بر مسئله را نتواند تشخیص دهد. اینجاست که مفهوم تصادفی بودن اهمیت پیدا می‌کند. ایده فیشر این بود که آزمایشگر باید متغیرهایی را که نسبت به آن شناخت دارد و می‌داند بر روی متغیر وابسته اثر می‌گذارند، کنترل کند. او پیشنهاد داد آزمایشگر برای از بین بردن اثر سایر متغیرهایی که ممکن است به آن آشنا نباشد از تخصیص تصادفی نمونه‌ها به گروه‌های آزمایش بهره ببرد. برای مثال ممکن است برخی از گیاهان به لحاظ ژنتیکی از بقیه بهتر باشند و این روی سرعت رشد آن‌ها اثر بگذارد. شما نمی‌توانید این عامل را کنترل کنید؛ بنابراین با توزیع کردن گیاهان به شکل تصادفی در سه گروه آزمایش سعی می‌کنید تا حد امکان اثر ژنتیک را خنثی کنید.
با روش علمی که فیشر پیشنهاد داد ما می‌توانیم مطمئن باشیم که نتایج آزمایش تنها محدود به نمونه‌های آزمایش‌شده نیستند و قابل‌تعمیم به‌کل جامعه موردبحث هستند.
تعریف آزمایش کنترل‌شده تصادفی
آزمایش کنترل‌شده تصادفی یک روش علمی است که با استفاده از آن می‌توانید اثر یک عامل یا مداخله (Intervention) را بر روی جامعه موردمطالعه بسنجید. در این روش نمونه‌ها به شکل تصادفی از جامعه آماری انتخاب و به شکل تصادفی به گروه کنترل و آزمایش تخصیص داده می‌شوند. تنها تفاوت بین گروه کنترل و آزمایش در دریافت آن عامل یا مداخله است. به‌این‌ترتیب اثر آن عامل یا مداخله بر روی متغیرهای خروجی سنجیده می‌شود.
مراحل آزمایش کنترل‌شده تصادفی
توصیه می‌شود مدیران با مراحل آزمایش کنترل‌شده تصادفی آشنا باشند و در جریان طراحی آزمایش با تحلیل‌گر مشارکت کنند. به‌این‌ترتیب مدیران می‌توانند دانش و تجربه عملی خود را از کسب‌وکار با روش علمی در هم بیامیزند و در مراحل جمع‌آوری داده و تحلیل آن مشارکت کنند. برای این منظور اهمیت دارد که مدیران مراحل انجام آزمایش کنترل‌شده تصادفی را خوب بفهمند.
این مراحل به شرح زیر است:
تصمیم بگیرید متغیرهای وابسته موردعلاقه شما کدام هستند. در مثال گفته‌شده رشد گیاه و سلامتی عمومی آن متغیرهای وابسته هستند. در این مرحله باید مشخص کنید این متغیرها را چگونه می‌خواهید سنجش کنید. برای مثال رشد گیاه را با اندازه‌گیری ارتفاع آن می‌سنجید.
مشخص کنید آزمایش را روی چه جامعه‌ای می‌خواهید انجام دهید. آیا می‌خواهید اثر مواد مغذی را روی یک گیاه خاص بسنجید یا چندین نوع گیاه موردنظر هستند؟
از خود سؤال کنید با انجام این آزمایش به دنبال چه هستید. می‌خواهید چه فرضیه‌ای را آزمایش کنید؟ فرضیه صفر (Null Hypothesis) شما کدام است؟ (فرضیه صفر فرضیه‌ای که شما سعی دارید آن را رد کنید) فرضیه مقابل آن کدام است؟ در مثال گفته‌شده یک فرضیه صفر می‌تواند این باشد که ” ماده مغذی اول هیچ اثری بر روی رشد گیاه ندارد” و فرضیه مقابل آن “ماده مغذی اول رشد گیاه را سریع‌تر می‌کند”.
به همه عواملی که ممکن است روی نتیجه آزمایش اثر بگذارد فکر کنید. مواردی مانند سایز گلدان، نوع خاک، میزان نور دریافتی و یا دمای نگهداری می‌توانند نتایج آزمایش را تحت تأثیر قرار دهند.
پروتکل انجام آزمایش را یادداشت کنید. چه مراحلی را برای انجام آزمایش باید طی کرد؟ چگونه متغیرهای دیگر را می‌خواهید کنترل کنید؟ اندازه نمونه (Sample Size) چقدر باید باشد؟ چگونه نمونه‌ها را انتخاب می‌کنید؟ چگونه فرآیند تخصیص نمونه‌ها به گروه‌ها را تصادفی می‌کنید؟ چگونه می‌خواهید داده‌های آزمایش را جمع‌آوری کنید؟
قبل از آنکه آزمایش را به‌طور کامل انجام دهید، بهتر است روی یک گروه کوچک‌تر مراحل آزمایش را جلو ببرید و مطمئن شوید همه‌چیز آن‌طور که برنامه‌ریزی کردید انجام می‌شود (Pilot Test).
بر اساس بازخوردهایی که از انجام آزمایش در مقیاس کوچک‌تر دریافت کردید، پروتکل انجام آن را اصلاح کنید.
آزمایش را به‌طور دقیق مطابق پروتکل طراحی‌شده اجرا کنید.
نتایج را بر اساس روش‌های آماری تحلیل و نتایج را گزارش کنید.
چه اشتباهاتی ممکن است در آزمایش کنترل‌شده تصادفی انجام دهید؟
مهم‌ترین نکته‌ای که مدیران باید بدانند این است که در دنیای واقعی تنها با یک آزمایش نمی‌توان به نتیجه رسید. در عمل باید آزمایش‌های مختلفی انجام داد. پیش‌فرض‌های ذهنی مختلف را سنجید. حتی مدیرانی که با این روش آشنا هستند و علاقه دارند از آن استفاده کنند، ممکن است پاسخ بعضی از سؤالات را دانسته تصور کنند. من در مقاله “با آزمایش کردن در کسب‌وکار، هوشمندانه ریسک کنید” به چند مثال پرداخته‌ام که چطور نتایج آزمایش‌ها، افراد را غافلگیر کرده است.
اشتباه دیگر این است که مدیران بخواهند آزمایش را سریع‌تر انجام دهند و مراحل ذکرشده در بالا را به‌درستی اجرا نکنند. برای مثال بر اساس تجربه شخصی می‌دانم بسیاری روی مرحله انتخاب نمونه تصادفی مناسب وقت کافی نمی‌گذارند و ترجیح می‌دهند روی نمونه‌هایی که به‌راحتی در دسترس هستند آزمایش کنند. فرض کنید جامعه آماری مورد مطالعه مشتریان سازمان هستند. در این حالت ممکن است به علت سهولت کار، تنها به نمونه‌گیری از مشتریان جوان‌تر که ممکن است وقت کافی برای شرکت در آزمایش دارند و به حضور در این‌گونه تجربه‌ها علاقه‌مندتر هستند، اکتفا کنیم. در این صورت نمونه ما نسبت به افراد با سن پایین‌تر سوگیری پیدا می‌کند و نتایج قابل‌اتکا نیست.
نکته دیگر در همین راستا عدم تلاش کافی در کنترل کردن متغیرهایی است که ممکن است بر روی نتایج اثر بگذارند. انجام درست این نوع آزمایش‌ها نیازمند آن است که افرادی که به طراحی آزمایش‌های تجربی مسلط هستند در تیم شما حضور داشته باشند. اگر شما نتوانید متغیرهای اثرگذار دیگر را ایزوله کنید ممکن است نتایج را به دلایلی ربط دهید که نادرست باشند. همچنین تحلیل‌گر داده نیز باید در هنگام طراحی آزمایش در تیم حضور داشته باشد و همفکری کند. تحلیل داده فرآیندی نیست که بعد از انجام آزمایش شروع شود. از همان ابتدا باید در مورد آن فکر کنید و برنامه داشته باشید.
کاربردهای آزمایش کنترل‌شده تصادفی در مدیریت کسب‌وکار
امروزه کسب‌وکارهای آنلاین پیشرو در دنیا به‌طور پیوسته از آزمایش تصادفی برای بهبود وب‌سایت خود و افزایش فروش استفاده می‌کنند. آنان هزاران آزمایش انجام می‌دهند تا جزئیات مختلف وب‌سایت خود را بازطراحی کنند. برای مثال شکل-۲ یک تبلیغ ترویجی آنلاین را نشان می‌دهد که در آن دو تبلیغ تنها در یک کلمه باهم تفاوت دارند. در یکی از آن‌ها اشاره شده است شما می‌توانید برای یک دوره آزمایشی ۷ روزه خدمات شرکت را رایگان تجربه کنید. در دیگری دوره آزمایشی، برای ۳۰ روز تعیین شده است. بااینکه ممکن است عجیب به نظر برسد ولی همین تفاوت کوچک تفاوت زیادی در رفتار مشتریان بالقوه ایجاد می‌کند.
کسب‌وکارهای آنلاین با توجه به آنکه هرروزه مخاطبان زیادی به آن‌ها مراجعه می‌کنند، می‌توانند با هزینه‌های بسیار پایینی آزمایش انجام دهند. این نوع از آزمایش‌ها که به آزمون A/B یا معادل انگلیسی آن A/B Testing معروف شده، شکل ساده‌تری از آزمایش کنترل‌شده تصادفی است که برای مقایسه عملکرد دو حالت بکار می‌روند. این آزمایش‌ها ممکن است از ایدئال گفته‌شده در این مقاله فاصله داشته باشند ولی در حوزه‌های متعددی ازجمله طراحی صفحات وب‌سایت، تبلیغات بنری، بازاریابی ایمیلی (Email Marketing) و قیمت‌گذاری بکار می‌روند.
در مقاله “آشنایی با آزمون A/B: آنچه مدیران باید بدانند” به این روش و کاربردهای آن اشاره کردم.
در حوزه مدیریت بازاریابی سال‌هاست که از آزمایش میدانی (Field Experiment) برای بررسی اثرات استراتژی‌های مختلف بازاریابی مانند قیمت‌گذاری، بسته‌بندی محصولات، طراحی محصول و تبلیغات بر روی نحوه رفتار مصرف‌کننده بهره می‌گیرند. چون در بسیاری از موارد نمی‌توان این آزمایش‌ها را در محیط آزمایشگاهی که کاملاً کنترل شده است، انجام داد از آزمایش‌های میدانی استفاده می‌کنند.
برای مثال در یک آزمایش که در بین ۸۶ شعبه یک خرده‌فروشی زنجیره‌ای در آمریکا صورت گرفت، مشخص شد وقتی به افراد کوپن تخفیف داده می‌شود، فروش ۳۵ درصد بیشتر از حالتی است که همان مقدار تخفیف روی برچسب قیمت کالا در قفسه فروشگاه داده می‌شود.
یک رستوران آلمانی در یک آزمایش میدانی، روش قیمت‌گذاری عجیبی را امتحان کرد. مشتریان خودشان تصمیم می‌گرفتند آنچه خورده بودند چه قیمتی باید داشته باشد و همان مقدار را پرداخت می‌کردند (Pay-What-You-Want Pricing Scheme). نتایج جالب بود. مشتریان برای یک نوشیدنی گرم به‌طور متوسط ۱٫۹۴$ قیمت‌گذاری می‌کردند، درحالی‌که قیمت‌گذاری شرکت ۱٫۵۷$ بود. برای استفاده از بوفه غذا مشتریان به‌طور متوسط ۶٫۴۴ $ پرداخت می‌کردند. ولی قیمت‌گذاری رستوران ۷٫۹۹$ بود؛ اما نکته جالب این بود که این روش قیمت‌گذاری آن‌قدر برای مشتریان جذاب بود که درآمد ناشی از افزایش تقاضای مشتریان بسیار بیشتر از حالت عادی بود.
آزمایش دیگری در کافه یک دانشگاه که نان حلقوی را همراه با پنیر خامه‌ای سرو می‌کرد، روی نحوه ارائه محصول انجام شد. پنیرهای خامه‌ای با سایز یکسان و شباهت کامل در دو نوع بسته گِرد یا مستطیلی قابل‌عرضه بودند. مطالعات نشان داد در روزهایی که پنیر خامه‌ای تنها در بسته‌بندی‌های گِرد عرضه می‌شد، با احتمال بیشتری مشتریان ۲ بسته پنیر را سفارش می‌دادند.
مثال‌های مختلفی از آزمایش‌های میدانی وجود دارد که نتایج جالب و برخلاف انتظاری نشان دادند. همه این‌ها نشان می‌دهد هر پیش‌فرضی که در مورد کسب‌وکار خود دارید حتی بدیهی‌ترین آن‌ها، ممکن است درست نباشد. آزمایش کردن فرصت‌های زیادی را برای بهبود کسب‌وکار شما می‌تواند فراهم کند.
کاربردهای آزمایش کنترل‌شده تصادفی در سیاست‌گذاری
آزمایش کنترل‌شده تصادفی را می‌توان در سیاست‌گذاری‌های کلان نیز بکار برد. امروزه در بسیاری از کشورها قبل از آنکه سیاست‌گذار طرحی را به‌طور کامل در سطح کلان اجرا کند، آن را به شکل آزمایشی و محدود اجرا کرده و اثرات آن را می‌سنجد. سپس تصمیم گرفته می‌شود آیا آن طرح اجرا شود و یا نیاز به بهبود دارد.
برای نمونه در کشور پاکستان با حمایت یونیسف (UNICEF) برنامه‌هایی برای بهبود سلامتی کودکان در سنین ابتدایی زندگی طراحی شد. از آزمایش کنترل‌شده تصادفی استفاده گردید تا مشخص شود آیا چنین طرحی در عمل مؤثر است و می‌تواند نتایج مطلوب را به بار آورد.
هدف ارزیابی سه برنامه طراحی‌شده بود. برای این منظور چهار گروه تعریف شد. گروه اول برنامه تغذیه بهبودیافته (Enhanced Nutrition) را که شامل مشاوره تغذیه و مکمل‌های غذایی بود در طول ۶ تا ۲۴ ماهگی کودک دریافت می‌کرد. گروه دوم برنامه پرورش زودهنگام کودکی (Early Childhood Development) را دریافت می‌کرد که شامل آموزش والدین در نگهداری و مراقبت نوزادان به همراه بازدید ماهیانه از نوزاد توسط پزشک بود. گروه سوم برنامه مراقبت سوم (Third Treatment Arm) را دریافت می‌کرد که ترکیب دو سیاست گفته‌شده بود. گروه کنترل (Control Group) مداخله جدیدی دریافت نمی‌کرد و روش‌های مرسوم فعلی در مورد آن بکار گرفته می‌شد (شکل-۳). نمونه‌ها به‌صورت تصادفی از خانواده‌هایی بودند که کودکان زیر ۲۴ ماه داشتند.
خروجی برنامه بر اساس چندین شاخص در مورد کودکان و خانواده‌های آن‌ها در زمان‌های مختلف تا رسیدن به ۲۴ ماهگی جمع‌آوری شد. گروه جمع‌آوری داده از گروه اجراکننده برنامه‌های مراقبتی جدا بود و اطلاعی از نوع مداخلات نداشتند. این مسئله سوگیری در ارزیابی برنامه‌ها را کمینه می‌کرد.
مطالعات نشان داد تا رسیدن به ۱۲ ماهگی، کودکان در سه گروهی که مداخله را دریافت می‌کردند به‌طور معناداری در شاخص‌های شناختی، زبان و معیارهای احساسی-اجتماعی از گروه کنترل بهتر بودند. همین‌طور گروه سوم که مداخله ترکیبی را دریافت می‌کرد در شاخص‌های شناختی و زبان به‌طور معناداری بهتر از گروه پرورش زودهنگام کودکی بود. در پایان ۲۴ ماهگی نیز سه گروهی که مداخله دریافت کرده بود به‌طور معناداری در همه شاخص‌ها بهتر از گروه کنترل بود، اما دو گروهی که مداخله پرورش زودهنگام کودکی را دریافت کرده بودند شاخص‌های بهتری از گروهی که تنها در معرض مداخله تغذیه بهبود یافته بودند، کسب کردند (شکل-۴). نتایج این تحقیقات به سیاست‌گذاران سلامت در پاکستان نشان داد که کدام مداخله می‌تواند مؤثرتر عمل کند.
منابع:
Conniffe, D. (1991). “RA Fisher and the Development of Statistics-A View in His Centerary Year”, Journal of the Statistical and Social Inquiry Society of Ireland, 26(3), 55-108
Dunn, P. M. (1997). “James Lind (1716-94) of Edinburgh and the Treatment of Scurvy”, Archives of Disease in Childhood-Fetal and Neonatal Edition, 76(1), F64-F65
Gallo, A. (2016). “A Refresher on Randomized Controlled Experiments”, Harvard Business Review, https://hbr.org/2016/03/a-refresher-on-randomized-controlled-experiments
Simester, D. (2017). “Field Experiments in Marketing”, Handbook of Economic Field Experiments, 1, 465-497
White, H., Sabarwal S. & T. de Hoop, (2014). “Randomized Controlled Trials (RCTs)”, Methodological Briefs: Impact Evaluation 7, UNICEF Office of Research, Florence