Менеджеры принимают решения, никогда не располагая полной информацией. Если кандидат хорошо показал себя на собеседовании, он точно будет хорошим сотрудником? Если тираж новой книги распродался за первые две недели, это признак устойчивого спроса или ажиотаж на старте? Если после рекламной кампании продажи выросли на 15 %, даст ли увеличение бюджета ещё рост продаж?
Представим, что издательство готовит к выпуску новую книгу. Автор известный, тема выглядит актуальной, редактор уверен в проекте. Что такое быть уверенным в проекте? Можно ли описать эту уверенность числом?
До выхода книги мы знаем только автора, тему, обложку, планируемую цену и результаты похожих проектов. Затем можем собрать предзаказы. После выхода книги получим первые продажи. Потом — повторные заказы и возвраты. Каждый новый блок информации может повлиять на нашу уверенность.
Умение пересматривать решения при появлении новой информации — важная управленческая компетенция. И именно этот процесс формализует теорема Байеса.
Как убедиться в чём-либо
В примере с книгой уверенность редактора в её успехе не появилась из ничего. Мы уже что-то знаем о книжном рынке — например, продажи книг этого жанра или продажи предыдущих книг автора. Это знание формирует у нас исходное убеждение о будущем успехе, или, если перевести убеждение в измеримые единицы, исходную оценку вероятности успеха новинки. В байесовской терминологии это называется априорной вероятностью — лучшее предположение о вероятности до появления новой информации.
Новая информация сама по себе ничего не доказывает. Допустим, книга собрала хороший предзаказ. Интуитивно хочется считать это доказательством её успеха после выхода, но с точки зрения Байеса нужно сначала задать два вопроса:
- насколько хорошие предзаказы характерны для успешных книг?
- как часто неуспешные книги собирали хорошие предзаказы?
Например, если почти у всех будущих хитов хорошие предзаказы, а у провальных книг их почти никогда не бывает, это сильный сигнал в пользу успеха. Если же хорошие предзаказы бывают и у тех, и у других, сигнал практически бесполезен. Получается, что важно не только, насколько такое наблюдение характерно для успешных книг, но и насколько реже оно встречается у неуспешных. В байесовской терминологии это называется правдоподобием.
Скажем, априорную вероятность успеха новинки мы оценили в 20 %. Перед отправкой в печать мы решили собрать предзаказы, потому что не могли определиться с тиражом, и увидели количество заказов на уровне хитов. Теперь успех новинки мы считаем более вероятным. В байесовской терминологии это называется апостериорной вероятностью. Теперь этот уровень уверенности становится отправной точкой для поступления новых данных — например, первых отгрузок.
Таким образом, вероятность гипотезы зависит от того, насколько мы верили в неё раньше и насколько полученное наблюдение характерно для ситуации, в которой эта гипотеза верна.
$$ P(A|B) = \frac{P(B|A) \times P(A)}{P(B)} $$$P(A)$ — это априорная вероятность, $P(B|A)$ — правдоподобие наблюдения при верной гипотезе, $P(B)$ — общая вероятность наблюдения, а $P(A|B)$ — апостериорная вероятность события $A$ при наблюдении $B$.
Разумеется, считать всё это каждый раз, когда нужно принять любое решение, невозможно. Для руководителя ценность теоремы Байеса прежде всего в дисциплине мышления: с появлением новой информации нужно, во-первых, не бояться изменить своё исходное убеждение, во-вторых, задаться вопросом, насколько сильно новая информация должна его изменить.
Здесь возникает другой важный вопрос: из чего сложилось самое первое убеждение? Почему в примере с книгой на первом этапе мы оценили вероятность успеха в 20 %? Разберём это на простом примере.
Допустим, из исторических данных мы знаем, что только 20 % сопоставимых новинок становятся успешными. Представим 100 похожих книг. В среднем 20 из них станут успешными, а 80 — нет. Это наша априорная вероятность: $P(\text{успех}) = 0{,}2$.
Теперь мы получаем новую информацию: наша книга продалась тиражом не менее 1000 экземпляров за первую неделю. Из исторических данных мы знаем, что такой старт бывает у 80 % успешных книг, но только у 10 % неуспешных. Получается, что среди 20 успешных книг такой старт покажут $20 \times 0{,}8 = 16$ книг, а среди 80 неуспешных — $80 \times 0{,}1 = 8$ книг.
Всего продажи выше 1000 экземпляров в первую неделю покажут 24 книги: 16 из них в итоге станут успешными, а 8 — нет. Значит, если мы уже увидели такой результат первой недели, вероятность успеха новой книги составляет:
$$ \frac{16}{16 + 8} \approx 0{,}67 $$То же самое можно записать через формулу Байеса:
$$ P(\text{успех} \mid \geq 1000 \text{ экз.}) = \frac{0{,}8 \times 0{,}2}{0{,}8 \times 0{,}2 + 0{,}1 \times 0{,}8} \approx 0{,}67 $$Откуда взять априорную вероятность
Априорная вероятность — это не число, которое можно просто придумать. Её нужно искать в накопленном опыте: что обычно происходило в похожих случаях.
Допустим, у автора нашей новинки уже вышло пять книг, одна из которых стала хитом. Тогда на основе этого опыта мы оцениваем вероятность успеха готовящейся к выходу книги в 20 %. Или, например, в этом году издательство выпустило 100 сопоставимых новинок, только 20 из которых достигли заранее определённого уровня успеха. В таком случае 20 % — это не ощущение редактора, а базовая частота: если ничего больше о конкретной книге не известно, разумно ожидать, что она будет вести себя примерно так же, как аналогичные издания.
До появления данных о первых продажах мы оценивали вероятность успеха в 20 %. Один достаточно сильный сигнал повысил её примерно до 67 %. При этом вероятность не стала равна 100 %: среди книг с таким же сильным стартом в нашем примере каждая третья всё равно не становится успешной.
Что считать сопоставимыми изданиями, кстати, тоже сложный вопрос. Если взять все книги издательства, то вероятность успеха может быть 20 %. Среди книг этого автора — уже 30 %. А среди книг этого автора в этом жанре и в определённом ценовом сегменте — и все 50 %. То есть априорная вероятность успеха зависит от того, к какой категории мы отнесли новинку.
Здесь мы сталкиваемся с первой управленческой проблемой: чем уже выбранная для сравнения группа, тем она релевантнее конкретной книге, но тем меньше в ней наблюдений. Возьмём 10 тысяч книг издательства — получим много наблюдений, но слишком разных. Возьмём два почти идентичных аналога — книги похожи, но пара наблюдений даёт совсем ненадёжную базу.
Основание для априорной вероятности должно быть одновременно и релевантным, и надёжным. В книжном бизнесе вопрос, что именно считать аналогами, очень сложный: помимо понятных маркетинговых характеристик вроде ценового сегмента, книгу можно отнести к огромному количеству жанров и поджанров, внутри которых могут быть разные темы, а естественная монополия на авторов и их произведения не допускает существования абсолютных аналогов.
Если остановиться на книгах одного автора, может быть два аргумента — и с ними я реально сталкиваюсь в работе. При утверждении тиража редактор может апеллировать к прошлой книге, которая продалась тиражом в 30 тысяч. Формально редактор использует исторические данные, но выбрал наиболее заметный случай. Тем временем у автора всего вышло 10 книг. Последней действительно продали 30 тысяч экземпляров. Две предыдущие — по 10 тысяч, а остальные — только по 2 тысячи.
Здесь можно столкнуться с частой когнитивной ошибкой — игнорированием базовой частоты. Мы склонны придавать слишком большое значение яркой информации о конкретном объекте и слишком маленькое — скучной статистике. Чтобы немного дистанцироваться от собственной уверенности, в духе Байеса следует задать себе вопрос:
что обычно происходит в похожих случаях, когда решения в них принимаю не я или речь не идёт о конкретном проекте?
Исторические данные нужны не только для отчёта о прошлом. Они дают нам исходные вероятности для решений о будущем. Тем не менее хорошие исторические данные — это только начало. Потом мы получаем предзаказы, продажи первого месяца, возвраты, отзывы, динамику повторных заказов — и далеко не каждый из этих показателей может быть одинаково полезен при определении, скажем, размера дополнительного тиража. Как отличить сильный сигнал от слабого и почему важно не менять уверенность на основании шумных данных?
Не вся новая информация одинаково полезна
Байесовский подход требует оценивать не только направление нового сигнала, но и его диагностическую силу: насколько вероятно увидеть такие данные, если наша гипотеза верна, и насколько вероятно увидеть их, если она неверна.
Допустим, наша книга вышла, и в первую неделю продажи оказались выше ожиданий. Интуитивно хочется повысить оценку будущего успеха, но прежде нужно ответить на вопрос, насколько в принципе продажи первой недели предсказывают дальнейший успех. Мы продали 1000 экземпляров новинки в первую неделю. Из исторических данных известно, что 80 % наших бестселлеров продавали не менее 1000 экземпляров в течение первой недели, а среди неуспешных книг мы наблюдали это только в 10 % случаев. Теперь мы понимаем не просто значение показателя продаж в первую неделю, а его способность различать успешные и неуспешные книги.
Яркость сигнала и его полезность — не одно и то же. Первый тираж, распродавшийся за две недели, выглядит впечатляюще сам по себе. Но если такое происходит регулярно, например из-за слишком маленького тиража на старте, этот сигнал не так силён. В то же время, если магазины понемногу дозаказывают книгу на протяжении нескольких недель после старта продаж, это сильнее говорит об устойчивости спроса, хоть и менее ярко. И, конечно же, нельзя отделять размер эффекта от объёма данных: если продажи выросли на 40 %, это может быть как с 5000 до 7000 экземпляров, так и с 50 до 70 копий.
Пришло время решить, нужен ли дополнительный тираж книги из примера. У нас есть такие данные:
- первый тираж новинки распродан на 70 %,
- продажи первой недели высокие,
- магазины стабильно делают повторные заказы,
- книга вошла в топ продаж,
- несколько блогеров о ней написали.
Все эти сигналы могут убедить нас допечатать книгу. При этом они могут иметь разный вес:
- 70 % проданного первого тиража — это разный объём в случае 2000 и 5000 экземпляров;
- высокие продажи первой недели могут быть связаны со стартовой аудиторией автора;
- стабильные повторные заказы действительно могут быть важным сигналом устойчивого спроса;
- топ продаж может значительно отличаться в зависимости от методики рейтинга;
- посты блогеров могут объяснить разовый всплеск и даже снизить уверенность в том, что продажи сохранятся на прежнем уровне.
Получается, что несколько положительных показателей не обязательно означают несколько независимых подтверждений одной гипотезы. Если книга получила упоминания в соцсетях, продажи выросли и она попала в рейтинги бестселлеров, можно ошибочно считать это отдельными доказательствами успеха. Но все три наблюдения могут быть следствием одного события — например, рекламной кампании.
Для принятия решения при появлении новых данных менеджер должен задать себе три вопроса:
- Как часто я вижу такой результат, когда моя гипотеза верна?
- Как часто я вижу такой результат, когда моя гипотеза неверна?
- Не являются ли несколько наблюдаемых сигналов следствием одной и той же причины?
Высокая вероятность — это ещё не решение. Даже если после всего этого мы считаем вероятность успешной допечатки равной, скажем, 70 %, из этого ещё не следует, что книгу нужно допечатывать. Финальное решение будет зависеть от размера тиража, стоимости печати, потенциальной прибыли и цены ошибки.
Высокая вероятность — не само решение
Кажется, что при уверенности в 70 % книгу точно нужно допечатывать. Но сама по себе вероятность ещё ничего не говорит о том, насколько хорошим будет это решение.
Предположим, мы рассматриваем дополнительный тираж в 3000 экземпляров. Если спрос сохранится, мы продадим весь тираж и после учёта печати, логистики, скидок и других переменных расходов заработаем на этом решении дополнительные 450 тысяч рублей. Если же мы ошиблись и спрос быстро закончится, часть тиража останется на складе. С учётом проданных экземпляров, затрат на печать и стоимости остатков результат решения составит минус 250 тысяч рублей.
У нас получается два возможных исхода:
- с вероятностью 70 % — $+450\,000$ рублей;
- с вероятностью 30 % — $-250\,000$ рублей.
Теперь можно посчитать математическое ожидание ценности решения:
$$ E = 0{,}7 \times 450\,000 + 0{,}3 \times (-250\,000) = 240\,000 \text{ рублей} $$Это не значит, что издательство заработает именно 240 тысяч. В реальности результат будет ближе к одному из двух сценариев: мы либо заработаем около 450 тысяч, либо потеряем около 250 тысяч рублей. Математическое ожидание отвечает на другой вопрос: насколько выгодно было бы принимать такое решение много раз в аналогичных условиях.
При наших предположениях дополнительный тираж имеет положительную ожидаемую ценность, поэтому решение выглядит рациональным. Но интереснее посмотреть, что произойдёт, если изменить вероятности. При какой минимальной уверенности в устойчивом спросе допечатка вообще становится выгодной?
Обозначим вероятность успеха через $p$:
$$ \begin{aligned} p \times 450\text{ }000 + (1 − p) \times (−250\text{ }000) = 0 \\ 450\,000p - 250\,000(1-p) = 0 \\ 450\,000p -250\,000 +250\,000p=0 \\ 700\,000p = 250\,000 \\ p = \frac{250\,000}{700\,000} \approx0{,}36 \\ \end{aligned} $$Получается, что нам вовсе не обязательно быть уверенными в успехе на 70 % или 80 %. При заданном соотношении потенциальной прибыли и убытка решение о дополнительном тираже имеет положительное математическое ожидание уже примерно при 36-процентной вероятности успеха.
И наоборот: высокая вероятность успеха сама по себе не гарантирует хорошего решения. Представим проект, где в случае успеха мы заработаем 100 тысяч рублей, а в случае неудачи потеряем миллион. Даже 80-процентная вероятность успеха даст:
$$ E = 0{,}8 \times 100\,000 + 0{,}2 \times (-1\,000\,000) = -120\,000 \text{ рублей} $$Вероятность отвечает на вопрос, насколько мы уверены, что произойдёт определённый исход. Математическое ожидание уточняет, сколько мы выиграем или потеряем, если окажемся правы или ошибёмся. Именно вместе эти две вещи превращают оценку неопределённости в управленческое решение.
Хороший менеджер не обязан заранее угадать, станет ли книга успешной. У него должно быть разумное исходное ожидание, понимание того, какие новые данные действительно способны его изменить, и готовность пересматривать решение по мере появления этих данных.
Теорема Байеса не избавляет от неопределённости. Она предлагает более дисциплинированный способ с ней работать: начинать с базовой вероятности, обновлять уверенность только под влиянием содержательных сигналов и отделять вероятность исхода от ценности самого решения.
В конечном счёте задача менеджера не в том, чтобы всегда оказываться правым с первого раза, а в том, чтобы последовательно становиться менее неправым по мере появления новой информации.
