شنیدن عبارتی مثل «۸۰ درصد موفقیت» امیدوارکننده است؛ اما تا وقتی ندانیم هر موفقیت چه دستاوردی داشته و هر شکست چه هزینه‌ای ساخته، نتیجه کامل روشن نیست. برای ارزیابی یک روش، تعداد نتیجه‌های مثبت باید کنار اندازه آن‌ها، هزینه اجرا و مجموع نتیجه قرار بگیرد.
مدیر یک تیم می‌گوید بیشتر پروژه‌های ماه گذشته موفق بوده‌اند. سفارش‌ها به‌موقع تحویل شده، مشتریان راضی بوده‌اند و فقط دو پروژه مشکل داشته‌اند. بااین‌حال، گزارش مالی پایان ماه زیان نشان می‌دهد. آیا میان این دو گزارش تناقضی وجود دارد؟
لزوماً نه. ممکن است سود پروژه‌های موفق کوچک بوده و هزینه دو پروژه ناموفق، مجموع آن را از بین برده باشد. هر دو گزارش می‌توانند درست باشند، اما به دو پرسش متفاوت پاسخ دهند: «چند بار موفق شدیم؟» و «در مجموع چه نتیجه‌ای گرفتیم؟» اشتباه از جایی شروع می‌شود که پاسخ سؤال اول را برای پاسخ‌دادن به سؤال دوم کافی بدانیم.
اول مشخص کنیم موفقیت را چگونه تعریف کرده‌ایم
واژه موفقیت در هر گزارش می‌تواند معنای متفاوتی داشته باشد. برای یک تیم، تحویل به‌موقع معیار است؛ برای تیم دیگر، رضایت مشتری یا سودآوری. اگر این تعریف روشن نباشد، حتی یک درصد دقیق هم ممکن است برداشت مبهمی بسازد.
فرض کنید یک فروشگاه از افزایش تعداد سفارش‌های موفق خبر می‌دهد. آیا منظور سفارش‌های پرداخت‌شده است، سفارش‌های تحویل‌داده‌شده یا سفارش‌هایی که پس از کسر هزینه‌ها سود داشته‌اند؟ یک سفارش ممکن است تحویل شده باشد، اما به دلیل تخفیف زیاد و هزینه ارسال، سودی ایجاد نکرده باشد.
پیش از مقایسه دو عدد، باید مطمئن شویم معیار آن‌ها یکسان است. «بیشترشدن تعداد مشتری» و «بهترشدن نتیجه مالی» می‌توانند هم‌زمان رخ دهند، اما یکی به‌تنهایی دیگری را ثابت نمی‌کند. تعریف شاخص باید به هدفی که بررسی می‌کنیم مربوط باشد.
یک مثال ساده: هشت موفقیت، اما نتیجه منفی
دو تیم فرضی را در نظر بگیرید که هرکدام ده پروژه انجام داده‌اند. برای سادگی، نتیجه هر پروژه را پس از کسر همه هزینه‌های مربوط به همان پروژه حساب می‌کنیم و هزینه دیگری هم در مثال وجود ندارد.
تیم اول، هشت پروژه سودده دارد. هر پروژه یک واحد سود ساخته، پس مجموع سودها هشت واحد است. دو پروژه دیگر، هرکدام پنج واحد زیان ایجاد کرده‌اند؛ در نتیجه مجموع زیان‌ها ده واحد شده است. نتیجه نهایی این تیم، دو واحد زیان است؛ با وجود اینکه ۸۰ درصد پروژه‌ها سودده بوده‌اند.
تیم دوم، فقط شش پروژه سودده دارد، اما هرکدام دو واحد سود ساخته‌اند. چهار پروژه ناموفق هم هرکدام یک واحد زیان داشته‌اند. حاصل کار، دوازده واحد سود و چهار واحد زیان، یعنی هشت واحد سود خالص است.
این مثال نشان نمی‌دهد تیم دوم همیشه بهتر عمل خواهد کرد. فقط روشن می‌کند که با دیدن درصد پروژه‌های سودده، هنوز اندازه دستاوردها و هزینه شکست‌ها را نمی‌دانیم. این محاسبه یک مثال آموزشی است، نه آمار واقعی یک کسب‌وکار.
اندازه نتیجه‌ها را کنار تعدادشان ببینیم
وقتی نتیجه‌ها هم‌وزن نیستند، شمردن ساده آن‌ها بخشی از اطلاعات را حذف می‌کند. یک خطای پرهزینه می‌تواند اثر چندین تصمیم درست اما کم‌اثر را تغییر دهد. در مقابل، تعداد بیشتری خطای کوچک ممکن است با چند دستاورد بزرگ همراه شود.
برای همین، گزارشی که تعداد موفقیت‌ها را نشان می‌دهد بهتر است اندازه معمول موفقیت، اندازه معمول شکست و مجموع نتیجه را هم روشن کند. همچنین باید دید آیا چند مورد استثنایی، بخش بزرگی از نتیجه را ساخته‌اند یا عملکرد میان موارد مختلف پراکنده است.
این مسئله در بررسی روش‌های مالی نیز اهمیت دارد. در مقاله سی‌پیپ درباره رابطه درصد موفقیت، هزینه و نتیجه نهایی، نمونه‌های عددی تخصصی‌تری از همین موضوع بررسی شده است. اصل عمومی آن ساده است: تعداد نتیجه‌های مثبت، به‌تنهایی برای قضاوت درباره حاصل کار کافی نیست.
هزینه اجرا می‌تواند مرز موفقیت را تغییر دهد
گاهی پیش از کسر هزینه‌ها، یک فعالیت نتیجه مثبتی دارد؛ اما پس از محاسبه هزینه اجرا، آن نتیجه کم می‌شود یا از بین می‌رود. برای یک کسب‌وکار، تبلیغات، ارسال، پشتیبانی و اصلاح خطا می‌توانند بخشی از این هزینه‌ها باشند.
برای نمونه، یک کمپین ممکن است سفارش بیشتری ایجاد کند، اما اگر هزینه جذب هر مشتری هم افزایش یافته باشد، هنوز معلوم نیست نتیجه مالی بهتر شده است. باید روشن شود افزایش سفارش با چه هزینه‌ای به دست آمده و چه چیزی پس از آن باقی مانده است.
در خواندن گزارش، بپرسیم عدد اعلام‌شده قبل از هزینه است یا بعد از آن. همچنین هزینه‌ها نباید دوبار کسر شوند. اگر شاخصی واقعاً سود خالص را نشان می‌دهد، لازم است بدانیم چه اقلامی در محاسبه آن لحاظ شده‌اند. نام یک شاخص، بدون توضیح روش محاسبه، برای مقایسه کافی نیست.
مجموع نتیجه را ببینیم، اما مسیر را فراموش نکنیم
عدد نهایی مهم است، ولی تمام تجربه را توصیف نمی‌کند. ممکن است دو روش در پایان یک دوره نتیجه مشابهی داشته باشند، اما یکی در میانه راه با تأخیرهای طولانی، فشار نقدی یا هزینه‌های پیش‌بینی‌نشده روبه‌رو شده باشد.
در مثال پروژه‌ها، صرفاً سود پایان دوره نشان نمی‌دهد تیم چه زمانی درآمد را دریافت کرده یا برای پوشش هزینه‌ها چه منابعی لازم داشته است. اندازه تعهد، زمان و امکان ادامه فعالیت هم در ارزیابی کاربردی اهمیت دارند.
در گزارش یک آزمایش مقایسه‌ای در سی‌پیپ، نتیجه‌های متفاوت و محدودیت‌های یک روش در بازارهای مختلف کنار هم آمده‌اند. این گزارش تاریخی است و خواننده باید نتیجه آن را در محدوده همان آزمایش ببیند. برای مطالعه چنین گزارش‌هایی، دیدن موارد ناموفق به اندازه توجه به نمونه‌های موفق اهمیت دارد.
یک درصد جذاب را با پنج سؤال بررسی کنیم
اگر با ادعای درصد موفقیت بالا روبه‌رو شدیم، می‌توانیم از این پرسش‌ها شروع کنیم:
موفقیت دقیقاً چیست؟ معیار باید روشن و قابل بررسی باشد.
چند مورد بررسی شده است؟ درصد بدون تعداد نمونه، اطلاعات ناقصی می‌دهد.
اندازه نتیجه‌های مثبت و منفی چقدر است؟ تعداد، جای اندازه را نمی‌گیرد.
چه هزینه‌هایی حساب شده‌اند؟ نتیجه ناخالص را با نتیجه خالص مقایسه نکنیم.
آیا همه موارد گزارش شده‌اند؟ حذف چند مورد نامطلوب می‌تواند برداشت را عوض کند.
درصد موفقیت همچنان شاخص مفیدی است؛ به شرط آنکه بدانیم کدام بخش از عملکرد را توصیف می‌کند. برای یک تصمیم روشن‌تر، باید آن را کنار سایر اطلاعات خواند. گاهی تفاوت میان یک گزارش جذاب و یک ارزیابی مفید، در همین پرسش است: «بعد از همه موفقیت‌ها، شکست‌ها و هزینه‌ها، چه چیزی باقی مانده است؟»
