Big Data и BI Day: день работы над ошибками

В сентябре в Москве прошла организованная агентством Tadviser конференция «Big Data и BI Day 2018», посвященная применению технологий Big Data и BI (Business Intelligence) в бизнесе и государственном управлении. Интересная тенденция: если пять-семь лет назад выступления на подобных конференциях напоминали парады побед и выставки достижений, то сегодня профессионалы, даже выступая перед возможными заказчиками, откровенно делятся своими неудачами. Все больше кажется справедливой высказанная на одной из таких конференций мысль: для освоения возможностей новых технологий, как для бизнесменов, так и ИТ-специалистов, опыт неудач не менее, а возможно, и более ценен, чем опыт успеха.

Дмитрий ЛАЗАРЕНКО (Mail.ru Cloud Solution) обозначил несколько «граблей», на которые наступила его служба по ходу создания сервисов обработки пользовательских данных. Самая большая и неожиданная проблема — 60% трафика на тех сервисах, которые предоставлялись клиентам бесплатно, составляли… майнеры, использовавшие мощности Cloud Solution для добычи биткоинов. В результате специалистам пришлось создавать и ставить специальные фильтры для отсечения паразитного трафика.

Отрезвляющую ноту внес своим докладом и Дмитрий КАРБАСОВ (Управление «Промышленный искусственный интеллект», Евразийская Группа). Все, кто интересуется современными цифровыми технологиями, конечно же, в курсе тех чудес, которые сулит и уже приносит Интернет вещей (IoT): высокоточное земледелие, умные дома и города, роботизированные производства и т. д. и т. п. Однако в реальности далеко не всё так радужно и волшебно, как в броских новостях и картинках. Обобщая свой опыт и опыт коллег, Дмитрий пришел к выводу: датчики, которые составляют основу IoT, независимо от цены и производителя, часто дают неточные показания, и сегодня это — одна из серьезнейших проблем в развитии промышленного Интернета вещей. Дмитрий также призвал бизнесменов более критично относиться к успешным кейсам, приводимым в качестве аргументов при продаже BI-инструментов: то, что сработало в одной компании, вовсе не обязательно сработает в другой, с другим персоналом, другим бизнесом и другим IТ-ландшафтом.

Яна КРУХМАЛЕВА (ПАО «Газпром») заострила внимание на проблеме управления рисками. Оказывается, несмотря на развитый математический аппарат и основанное на нем программное обеспечение, управление рисками сегодня — это скорее миф, чем реальная практика. Одна из причин в том, что люди, принимающие решения о внедрении того или иного инструмента риск-менеджмента, зачастую плохо знакомы с основами математики и теории измерений. И редко задаются вопросом: откуда берется и сколь надежна оценка вероятности рискового события, поступающая на вход математического алгоритма? Но это — далеко не единственные «грабли» в управлении рисками. Яна привела пример откровенно вредительской работы зарубежных консультантов, которым было доверено управлять рисками компании. Кроме того, под прикрытием риск-консалтинга часто протаскивались необъективная оценка программных продуктов и попытка продать ПО зарубежных производителей. Неожиданное обстоятельство: проведя всесторонние исследования рынка инструментов риск-менеджмента, ПАО «Газпром» остановил выбор на отечественном продукте Riskgap.

Александр МАЛАХОВ (Аналитический центр при Правительстве РФ) в своем докладе остановился, в частности, на проблеме ложных корреляций. Методами работы с Big Data можно обнаружить, например, что динамика самоубийств в городе четко коррелирует с продажами сыра, а количество присуждаемых степеней доктора наук — с продажами йогурта. Нераскрытым, правда, остался вопрос о причинах ложных корреляций и способах их выявления и исключения из выводов бизнес-аналитики.

Кристина БАРЫШ (Отдел управления клиентской аналитикой, «Почта России») поделилась историей, поистине вызывающей недоумение: руководители департамента, обращаясь в отдел аналитики, не могут внятно сформулировать свои вопросы. Как разобраться с теми болями, которые ощущают, но не могут высказать ее внутренние заказчики-маркетологи? Как перевести их смутные пожелания на язык четко поставленных задач? Для того чтобы справиться с проблемой, Кристине пришлось нанять отдельных маркетологов в штат своего отдела. Интересно, как будет решаться вопрос, когда спрос на аналитику Big Data взлетит и во всех других департаментах корпорации?

Название доклада Николая ГОЛОВА (Avito) звучало совсем уж вызывающе: «Почему бизнес не может извлечь пользу из больших данных?» Николай обрисовал схему принятия решений о внедрении платформ обработки данных, которая, к сожалению, является достаточно распространенной. Сначала выбирается платформа (с ее возможностью или невозможностью работать с теми или иными метриками), затем программное обеспечение BI, и лишь в последнюю очередь встает вопрос о четкой и однозначной формулировке бизнес-задач, которые должны решаться инструментами работы с Big Data. Здравый смысл требует прямо противоположной цепочки: от бизнес-задач — к метрикам, затем к инструментам обработки, и лишь затем — к выбору платформы, на которой эти инструменты можно развернуть.

Одна из проблем, поднятых Александром Малаховым и рельефно прозвучавших в завершающей дискуссии, — терминологический хаос в публикациях, сложившийся вокруг словечек «Big Data», «BI», «AI» и «ML». Дискуссия показала, что единообразного понимания нет и среди ее участников — тех самых профессионалов, которые своими собственными руками делают Big Data, BI, AI и ML.