Почему идеальной ML-модели недостаточно, чтобы построить бизне | GoPractice!

Почему идеальной ML-модели недостаточно, чтобы построить бизнес вокруг ML



Перед тем как перейти к кейсу, небольшое напоминание.

Cегодня — последний день, когда можно приобрести «Симулятор управления ML/AI-проектами» по сниженной цене. Завтра стоимость курса вырастет с 59 900 рублей до 65 900 рублей.

Ниже — поучительная история о том, как даже крайне продвинутая ML-модель не помогает избежать провала бизнес-проекта. В нашем симуляторе мы обучаем, как не допустить подобных ситуаций.



В 2021 году Zillow — один из крупнейших маркетплейсов недвижимости в США — объявил о сокращении 25% сотрудников и списании $304 миллионов убытков. На фоне новостей акции Zillow обвалились.

Что же пошло не так?

Дело в том, что значительная часть бизнеса Zillow к этому моменту была выстроена вокруг ML-технологий, крайне точно прогнозирующих текущую стоимость недвижимости. И даже несмотря на то, что сами по себе ML-модели были хорошими и качественными, их интеграция в бизнес-процессы оказалась, можно сказать, катастрофической.

Давайте обсудим, как же так вышло.

Один из известных сервисов Zillow называется Zestimate, и он позволяет владельцам домов в реальном времени отслеживать стоимость своей недвижимости. Работает он, как вы уже догадались, на основе ML-моделей, дающих весьма точные прогнозы.

Изначально Zestimate разрабатывался как механизм повышения Retention маркетплейса. Ведь люди покупают и продают дома не слишком часто, а заходить в Zillow в другие моменты жизни не имеет особого смысла. Зато отслеживать стоимость своего дома на регулярной основе — это уже вполне себе ежемесячный юзкейс, который легко может стать привычкой.

В 2018 году на основе наработок для Zestimate было решено запустить новое направление работы в Zillow. Теперь маркетплейс стал покупать дома для последующей их перепродажи по более высокой цене.

Ценность нового продукта для пользователей была в возможности закрыть сделку по продаже дома очень быстро. После этого Zillow планировали делать ремонт в доме и продавать его с наценкой.

Идея не была оригинальной, но у Zillow были преимущества перед конкурентами: доступ к капиталу и суперточные ML-модели для прогнозирования стоимости дома.

Но ставка на бизнес, выстроенный вокруг ML, не сработала. В 2021 году компания объявила о закрытии программы выкупа домов, а также сократила четверть сотрудников и списала колоссальные убытки.

Проблема была не столько в ML-моделях, сколько в том, как именно их интегрировали в бизнес. Модели хорошо оценивали стоимость домов в текущем моменте. Но сделки по покупке и последующей продаже занимают время, в течение которого стоимость домов может существенно меняться. Именно это случилось в 2021 году, когда на фоне ряда глобальных процессов в экономике произошло охлаждение рынка недвижимости и взаимосвязи между характеристиками домов и их стоимостью поменялись. Все это привело к тому, что примерно 2/3 приобретенных домов оказались куплены по более высоким ценам, чем цена их возможной продажи.

Какие выводы можно сделать из этой истории

Успех бизнеса, выстроенного вокруг ML, зависит не только от технологий машинного обучения как таковых и качества созданных моделей. Важно правильно внедрить эти модели в бизнес. Риск потерпеть неудачу возникает из-за ошибочных предположений, которые с машинным обучением, собственно, никак не связаны.

Какие вопросы можно себе задать, чтобы избежать подобных ошибок

Обеспечены ли ваши ML-модели достаточным мониторингом и актуализацией?

Есть ли скрытые риски за пределами ML, которые могут сильно повлиять на бизнес?


Чтобы еще лучше разобраться в работе над ML/AI-проектами и узнать больше кейсов, присоединяйтесь к студентам нашего «Симулятора управления ML/AI-проектами».