Хит дня в глобальном мире машинного обучения.
Огромная и очень известная компания Zillow, занимающаяся торговлей американской недвижимостью онлайн, объявила об убытках на $420M и сокращении примерно 2000 сотрудников. Для IT это очень много, это примерно как закрыть целиком Avito, например.
Причина в их системе
Zestimate, которая должна была предсказывать стоимость недвижимости на нейросеточках. Zillow вливала большие деньги в Kaggle (глобальные соревнования MLщиков, полирующих модели, решающие те или иные задачи) и качеством своего машинного обучения компания ужасно гордилась. На основе предсказаний этой самой Zestimate компания смело скупала дома с 2018 года, но, как теперь выяснилось, система напредсказывала что-то не то.
Это прям шокирует, т.к. индекс стоимости недвижимости в Штатах за то же время вырос на 40% (я смотрю на S&P 500 Real Estate Overview, если это неправильно, скажите в комментариях). То есть если бы Zillow просто скупала дома случайным образом, она неплохо выросла бы.
Примерно понятно, что Zillow каким-то образом сделала то же, что хедж-фонды время от времени делали лет двадцать назад, но потом вроде как научились не делать: сами себя запутав, незаметно сделали ставку с большим мультипликатором на то, что не случится редкое неприятное событие. Но детали ещё будут выясняться и, думаю, постепенно мы узнаем много всего интересного. Новая страница в бессмертном противостоянии "loss на validate против ручных правил доменных экспертов"!