حاکمیت داده (Data Governance) چیست و چرا اهمیت دارد؟

حاکمیت داده (Data Governance) چیست و چرا اهمیت دارد؟

به‌عنوان کسی که در حوزه استفاده از داده برای کاربردهای کسب‌وکار (Business Analytics) فعال هستم، با لایه‌های مختلف مفهوم حاکمیت داده در کارم مواجه هستم. البته به خوانندگان باید یادآوری کنم که تخصص من حوزه حاکمیت داده نیست و این مقاله را صرفاً از منظر یک استفاده‌‌کننده از داده نوشتم تا افرادی که در لایه […]

مدل ICE برای اولویت‌بندی پروژه‌های داده

مدل ICE برای اولویت‌بندی پروژه‌های داده

ازآنجاکه حوزه علم داده (Data Science) یک حوزه کاربردی جدید محسوب می‌شود، اجرای پروژه‌های داده معمولاً با عدم قطعیت‌های زیادی همراه است. یکی از شرایطی که ممکن است تیم‌های داده با آن مواجه شوند، وجود ایده‌های مختلف در داخل شرکت برای پیاده‌سازی است. برای مثال، تیم عملیات پیشنهاد می‌دهد یک مدل ریاضی برای پیش‌بینی تقاضای […]

مقدمه‌ای بر یادگیری ماشین (Machine Learning)

مقدمه‌ای بر یادگیری ماشین (Machine Learning)

پیش‌تر در مقاله “هوش مصنوعی (Artificial Intelligence): ماشین‌هایی که یاد می‌گیرند” اشاره کردم، یادگیری ماشین شاخه‌ای از هوش مصنوعی است که در آن هدف استدلال کردن و تصمیم‌گیری بر اساس حجم زیادی از داده‌های ورودی است. برای مثال، می‌توان یک الگوریتم یادگیری ماشین را به‌گونه‌ای آموزش داد تا داده‌های سلامتی و پزشکی یک بیمار مبتلا […]

هوش مصنوعی (Artificial Intelligence): ماشین‌هایی که یاد می‌گیرند

هوش مصنوعی (Artificial Intelligence): ماشین‌هایی که یاد می‌گیرند

دنیای علم داده (Data Science) پر از کلمات و مفاهیمی است که در نگاه اول برای افراد خارج از این حوزه مبهم است. حتی افراد متخصص این حوزه هم ممکن است تعریف یکسانی از برخی مفاهیم نداشته باشند. عبارت هوش مصنوعی یکی از این موارد است. در این مقاله سعی دارم تا مفهوم آن را […]

ساختار شکست کار (WBS) و کاربرد آن در پروژه‌های داده چیست؟

ساختار شکست کار (WBS) و کاربرد آن در پروژه‌های داده چیست؟

ساختار شکست کار (Work Breakdown Structure – WBS) به شما کمک می‌کند تا ابعاد (Scope) فعالیت‌های پروژه از طریق دسته‌بندی و ساختاردهی آن‌ها مشخص شود. این رویکرد ضمن آن‌که‌ یک ساختار برای مدیریت پروژه در اختیار می‌دهد، کمک می‌کند جنبه‌های فنی و حل مسئله پروژه روشن شود.  ساختار شکست کار سه مزیت عمده دارد: پروژه […]

ماتریس واگذاری مسئولیت (RACI) و اهمیت آن در پروژه‌های داده چیست؟

ماتریس واگذاری مسئولیت (RACI) و اهمیت آن در پروژه‌های داده چیست؟

بسیاری از پروژه‌های داده پیچیده هستند و نیاز است تا افراد از تیم‌های مختلف یک سازمان در کنار هم قرار گیرند تا پروژه به موفقیت برسد. مطالعات نشان می‌دهد از عوامل مهم شکست پروژه‌های داده درگیر نبودن تمامی ذینفعان، عدم تعهد مدیران میانی و نبود فهم درست از مسائل کسب‌و‌کار است. بسیار پیش می‌آید که […]

مروری بر تبدیل Box-Cox و کاربردهای آن

مروری بر تبدیل Box-Cox و کاربردهای آن

بسیاری از تحلیل‌های آماری و پاره‌ای از الگوریتم‌های یادگیری ماشین مبتنی بر این فرض است که نمونه از جامعه‌ای با توزیع نرمال (Normal Distribution) به دست آمده و ساختار خطا جمعی است (Additive Error Structure). جمعی بودن ساختار خطا به این معنی است که خطا تنها به مقدار واقعی اضافه می‌شود و خودش وابسته به […]

احتمال شرطی؛ برداشت‌ها و سوءبرداشت‌ها

احتمال شرطی؛ برداشت‌ها و سوءبرداشت‌ها

یکی از حوزه‌هایی در احتمال که به‌راحتی افراد را گیج می‌کند و منجر به استدلال‌های خطا می‌شود، احتمال شرطی (Conditional Probability) است. احتمال شرطی، احتمال وقوع رخدادی مانند است به‌شرط آنکه بدانیم رخدادی مانند اتفاق افتاده است. در ریاضی آن را با نشان می‌دهند. فرض کنید یک مطالعه ادعا می‌کند ۸۵ درصد بیماران سرطانی قهوه […]

چگونه می‌توان پایتون را در خط فرمان ویندوز (CMD) اجرا کرد؟

چگونه می‌توان پایتون را در خط فرمان ویندوز (CMD) اجرا کرد؟

پایتون (Python) یکی از زبان‌های پرکاربرد برنامه‌نویسی برای کاربردهای علم داده (Data Science) است. برای پایتون محیط‌های توسعه (Integrated Development Environment) متنوعی وجود دارد. خیلی از کسانی که از پایتون برای تحلیل داده استفاده می‌کنند ممکن است از محیط‌های توسعه‌ای نظیر Jupyter Notebook ،Spyder و یا PyCharm استفاده کنند. یکی دیگر از راه‌های اجرای برنامه‌های […]

مروری بر مفاهیم نمونه‌گیری

مروری بر مفاهیم نمونه‌گیری

ارسطو می‌گوید از نشانه‌های یک ذهن آموزش‌دیده آن است که با درجه‌ای از تقریب که در تناسب با ماهیت موضوع است، راضی می‌شود و به دنبال دقت کامل نیست. اگر شما با دقت ۱۰۰ درصد بخواهید بفهمید که چه درصدی از آجرهای تولیدشده یک کوره آجرپزی، خراب هستند باید همه آن‌ها را آزمایش کنید. ازآنجاکه […]

الگوریتم گرادیان کاهشی چیست؟

الگوریتم گرادیان کاهشی چیست؟

در بسیاری از الگوریتم‌های یادگیری ماشین (Machine Learning) عملاً یک مسئله بهینه‌سازی حل می‌شود. برای مثال در مسائل رگرسیون (Regression) هدف آن است که فاصله مقدار پیش‌بینی‌شده توسط الگوریتم یادگیری ماشین از مقدار واقعی آن کمینه شود. ازآنجاکه بسیاری از الگوریتم‌های یادگیری ماشین در کامپیوتر با روش‌های عددی پیاده‌سازی می‌شوند، الگوریتم گرادیان کاهشی (Gradient Descent) […]

بررسی نرمال بودن داده‌ها

بررسی نرمال بودن داده‌ها

می‌توان گفت توزیع نرمال (Normal Distribution) یکی از پرکاربردترین توزیع‌های احتمالی در آمار و یادگیری ماشین است. علاوه بر این توزیع نرمال در توصیف خروجی بسیاری از فرآیندهای تصادفی در دنیای واقعی هم بسیار مفید است. در این مقاله بحث می‌کنم چگونه تشخیص دهید یک نمونه داده از جمعیتی با توزیع نرمال آمده است و […]

مقیاس‌های اندازه‌گیری و انواع داده‌

مقیاس‌های اندازه‌گیری و انواع داده‌

یکی از مفاهیم پایه‌ای که نیاز است کسانی که با داده کار می‌کنند با آن آشنا باشند مفهوم مقیاس‌های اندازه‌گیری (Measurement Scales) و انواع داده است. علت اهمیت این موضوع در این است که نوع داده به نحوه تحلیل آن جهت‌گیری می‌دهد. لزوماً نمی‌توان هر روش تحلیل داده‌ای را برای هر نوع داده‌ای بکار برد. […]

آمار درباره چیست و چرا اهمیت دارد؟

آمار درباره چیست و چرا اهمیت دارد؟

آمار هنر و دانش بررسی ایده‌ها، استنتاج کردن و پاسخ دادن به پرسش‌ها مبتنی بر داده است. امروزه هرچه که جلوتر می‌رویم داده‌های بیشتری در اختیار عموم مردم درباره ابعاد مختلف زندگی مانند اقتصاد، کسب‌وکار، سیاست، سلامت و … قرار می‌گیرد. اینکه افراد بتوانند با یک رویکرد نقادانه این داده‌ها را ارزیابی کنند و برای […]

شاخص‌های شکل در آمار

شاخص‌های شکل در آمار

در آمار شاخص‌های شکل (Shape Measures) بازتاب‌دهنده طرح کلی توزیع داده‌ها است. شاخص‌های شکل به‌ویژه برای متغیرهای پیوسته بکار می‌رود. دو شاخص مهم شکل، چولگی (Skewness) و کشیدگی (Kurtosis) هستند. چولگی چولگی میزان متقارن بودن توزیع را می‌سنجد. یک توزیع متقارن مانند توزیع نرمال (Normal Distribution) دارای چولگی صفر است. توزیعی که یک دنباله بلند […]

مقدمه‌ای بر مفاهیم کیفیت داده

مقدمه‌ای بر مفاهیم کیفیت داده

یکی از موضوعاتی که در بسیاری از پروژه‌های داده که تاکنون درگیر آن بودم، برجسته بوده اهمیت کیفیت داده (Data Quality) است. کیفیت داده موضوعی است که شاید در ادبیات حوزه علم داده (Data Science) کمتر به آن پرداخته شده ولی در هنگام اجرای پروژه‌های واقعی داده با آن زیاد مواجه خواهید شد. به‌خصوص اگر […]

نمودار چندک-چندک (Q-Q Plot) چیست و چه کاربردی دارد؟

نمودار چندک-چندک (Q-Q Plot) چیست و چه کاربردی دارد؟

نمودار چندک-چندک (Quantile-Quantile Plot) یک ابزار توصیفی است که کمک می‌کند بفهمیم یک مجموعه داده از یک توزیع احتمالی مشخص مانند توزیع نرمال (Normal Distribution) یا نمایی (Exponential Distribution) پیروی می‌کند یا خیر. برای مثال فرض نرمال بودن داده‌ها در بسیاری از آزمون‌های آماری وجود دارد. بنابراین قبل از انجام چنین آزمون‌های آماری نیاز است […]

کدام نمودار برای نمایش داده مناسب است؟

کدام نمودار برای نمایش داده مناسب است؟

نمودارهایی که خوب طراحی شده‌اند به تحلیلگر کمک می‌کنند تا سریع‌تر و بهتر اطلاعات را تحلیل و جمع‌بندی کنند. در سمت دیگر، در مقاله “چگونه ممکن است نمودارها شما را فریب دهند؟” بحث کردم چطور نمودارها ممکن است، موجب خطا در فهم داده‌ها و استنباط از آن شود. یک گام مهم در نمایش داده‌ها آن […]

تحلیل داده‌ها در جدول متقاطع و آزمون کای-دو

تحلیل داده‌ها در جدول متقاطع و آزمون کای-دو

فرض کنید در یک تحقیق مطالعه بازار علاقه‌مند هستیم بدانیم آیا مشتریان هنگام خرید محصولات مواد غذایی به اطلاعات برچسب سلامت (شکل-۱) روی بسته‌بندی توجه می‌کنند یا خیر. ممکن است یک فرضیه محقق در چنین تحقیقی این باشد که جنسیت روی توجه به اطلاعات برچسب سلامت هنگام خرید اثرگذار است؛ احتمالاً زنان هنگام خرید بیشتر […]

چندک (Quantile) در R و پایتون چگونه محاسبه می‌گردد؟

چندک (Quantile) در R و پایتون چگونه محاسبه می‌گردد؟

به زبان ساده چندک (Quantile) یعنی وقتی شما داده‌ها را به بخش‌هایی مساوی تقسیم کنید، برش‌هایی از داده که این قسمت‌های مساوی را از هم جدا می‌کند چندک نامیده می‌شود. یکی از معروف‌ترین چندک‌ها میانه (Median) است. میانه یک شاخص مرکزی است. اگر داده‌ها به ترتیب از کوچک‌تر به بزرگ‌تر مرتب شوند، نیمی از آن‌ها […]