Метрики и критерии успеха
Успех функции нужно описать числом: что считаем, откуда берём данные и какое значение считаем достаточным. Без этого «стало лучше» нельзя ни доказать, ни опровергнуть.
В статье 02-02 мы сформулировали цель бизнеса. Теперь нужно понять, по какому признаку мы узнаем, что она достигнута. Критерий успеха - это проверяемое условие, при котором мы считаем, что функция сделала своё дело. Метрика - это число, которое мы измеряем, чтобы это условие проверить.
Кейс: как понять, что поддержку разгрузили
Цель владельца «Узелка»: разгрузить поддержку за счёт самостоятельной отмены заказов. После запуска функции владелец спросит: «Работает?». Если мы ответим «вроде да, обращений стало меньше», это не ответ: неясно, меньше чем что и по каким данным.
Поэтому до начала разработки мы договариваемся с владельцем, по какому числу мы оценим результат. Все числа в статье условные: они показывают форму записи, а не данные магазина.
Из чего состоит критерий успеха
Полная запись состоит из четырёх частей, которые идут после цели.
| Часть | Что это | Пример в кейсе |
|---|---|---|
| Метрика | Что именно считаем | Доля обращений об отмене в общем потоке обращений |
| Источник данных | Откуда берём цифру | Журнал обращений в поддержку |
| Исходное значение | Какое число сейчас, до изменения | 30% (пример) |
| Целевое значение | Какое число считаем достаточным и к какому сроку | 15% за квартал (пример) |
Исходное значение часто забывают. Без него нельзя понять, улучшили мы что-то или нет: после запуска мы будем сравнивать не с чем.
Если данных для исходного значения нет, это тоже важный результат: мы записываем в список неясного, что источника нет, и начинаем собирать данные до запуска, а не после.
Как проверить, что формулировка проверяемая
Хорошая формулировка отвечает на три вопроса: что считаем, откуда берём данные и сколько хотим. Если на один из них ответа нет, формулировка ещё расплывчатая.
Есть три частые ловушки. Первая: метрика без срока, и тогда неясно, когда проверять. Вторая: метрика, которую нельзя собрать, например «довольны ли покупатели» без опроса. Третья: целевое значение, взятое с потолка. Его лучше согласовать с владельцем и проверить, возможно ли его достичь.
Основная и защитная метрика
Одна метрика может улучшиться во вред бизнесу. Долю обращений об отмене можно снизить, если спрятать кнопку поддержки, но отмены от этого не станут лучше. Поэтому рядом с основной метрикой мы держим защитную. Защитная метрика - это число, которое не должно ухудшиться, пока улучшается основная.
В кейсе защитной может быть число отмен после отправки, потому что такие отмены дороги для склада. Если оно растёт, значит, цена успеха вышла выше ожидаемой.
Какие вопросы задать
| Вопрос | Зачем |
|---|---|
| По какому числу мы поймём, что функция работает? | Чтобы успех был измерим |
| Откуда мы берём это число сейчас? | Чтобы убедиться, что источник существует и доступен |
| Какое оно сейчас? | Чтобы было с чем сравнивать |
| Какое значение владелец считает успехом и к какому сроку? | Чтобы цель не была выдумана нами |
| Что не должно ухудшиться рядом? | Чтобы найти защитную метрику |
Где это встречается в работе
- Когда заказчик просит «сделать быстрее» или «сделать удобнее» без цифр.
- При подготовке бизнес-обоснования для запуска новой функции.
- Когда после запуска нужно ответить, сработала ли функция.
- При настройке отчётов и дашбордов, где метрика должна быть точно определена.
Итог
- Критерий успеха - это проверяемое условие, при котором функция считается сработавшей.
- Запись включает метрику, источник данных, исходное и целевое значения.
- Без исходного значения изменение нельзя оценить.
- Рядом с основной метрикой держат защитную, чтобы успех не наносил вред.
- Если данных нет, это повод начать собирать их до запуска.
Что дальше
- 02-09 Acceptance Criteria: как записать критерии готовности для одной истории.
- 02-21 Приоритизация требований: как выбрать, что делать в первую очередь.
- 10-04: как превратить метрику в отчёт.
5 вопросов