Стратегия AI: что вы покупаете и как узнать, что это сработало
Под словами «AI-консалтинг» продают четыре разные вещи. Разбираем, какая из них нужна первой, что каждая оставляет после себя и как отличить работу, которая что-то изменит, от работы, которая закончится презентацией.
Кратко
Прежде чем сравнивать подрядчиков, решите, что именно вы покупаете: стратегию, архитектуру, разработку или правила и контроль (в англоязычных текстах governance). У них разные результаты, и нужны они в разное время. Если в договоре это не названо, по умолчанию получится стратегия: её дешевле всего сделать и труднее всего с неё спросить. Хорошую работу от декоративной отличает один вопрос: какое число измерили до начала работы. Оценки эффекта без исходного замера остаются мнением, даже если сведены в таблицу.
Для кого это
- Генеральный директор, CTO или COO, которым нужно решить, куда вкладываться в AI, и объяснить это решение совету директоров.
- Компания, которая запустила пилоты и не знает, какие из них переводить в эксплуатацию, а какие остановить.
- Компания, которая получила предложения от нескольких AI-поставщиков и хочет независимого мнения до того, как подписаться.
- Организация со старыми системами и разрозненными данными, которой нужно понять, что подготовить до старта.
Четыре покупки под одним названием
| Что | На какой вопрос отвечает | Что остаётся после | Когда нужно |
| Стратегия | Какие задачи вообще стоит решать | Короткий упорядоченный список. У каждого пункта указан замер, который докажет, что сработало | Только если вы не можете назвать задачу, которую хотите убрать. Иначе её можно пропустить |
| Архитектура | Как строить систему, которая работает с вашими данными, и где проходят границы | Куда идут данные, что видит модель, что детерминировано, что передаётся человеку | До первой разработки и ещё раз перед тем, как первая система выйдет к клиентам |
| Разработка | Построить | Работающая система и обязательство её эксплуатировать | После того как граница из строки выше записана. Иначе вы платите за то, чтобы открыть её дважды |
| Правила и контроль | Что организации разрешено делать и как это подтверждается | Правила с версиями, журнал аудита и названный владелец для каждого типа решений | Одновременно с архитектурой, а не после неё. Если добавлять их задним числом, меняется маршрут данных |
Чаще всего не на своё место ставят последнюю строку. Правила и контроль считают шагом соответствия требованиям в конце проекта, но на деле они ограничивают архитектуру. От них зависит, могут ли данные покидать организацию, должно ли решение быть объяснимым и нужно ли записывать версию модели. Если решить это поздно, эти ограничения приходят в виде переделки.
Вопрос, который отделяет хорошую работу от плохой
Вопрос один, и он не о технологиях: какое число измерят до того, как что-то начнётся?
Обычный результат на этом рынке выглядит как список возможностей с оценками эффекта и сложности. Он выглядит строго, но проверить его нельзя. Через полгода сверить что-либо не с чем: в начале ничего не измерили, и любой исход можно назвать успехом.
Альтернатива скучная. Выберите задачу, которую хотите убрать. Измерьте, сколько она занимает сегодня, сколько людей в ней участвует и как часто она возникает. Это три числа, их можно собрать за неделю без консультанта. Всё, что будет дальше, сравнивается с ними.
Есть и второй вопрос, который стоит задать: «Что заставит вас сказать нам не делать этого?» Если у подрядчика нет ответа, вывод возможен только один, а значит, не работа его сформировала.
Что вы получаете
- Три исходных числа по выбранной задаче: сколько времени она занимает сегодня, сколько людей в ней участвует и как часто она возникает. Всё дальнейшее сравнивается с ними.
- Границу, записанную как решения, а не как функции. Что система отвечает сама, что передаёт человеку, что модели видеть нельзя.
- Рекомендацию «разрабатывать или покупать» по каждой задаче: своя разработка, готовый продукт или их сочетание, включая риск зависимости от одного поставщика.
- Модель выгоды и затрат с явно записанными допущениями. После пилота её сверяют с исходным замером, а не принимают на веру.
- Ограничения правил и контроля, которые влияют на архитектуру: где могут лежать данные, какие решения должны быть объяснимы, что нужно журналировать.
- Порядок работ с названным риском на каждом шаге и точкой решения: продолжать, менять или остановить.
Чего вы не получите: списка возможностей с оценками до того, как что-либо измерено.
Как проходит работа
- Встреча с руководством: бизнес-цели, ограничения, что уже пробовали.
- Интервью с руководителями подразделений, ИТ и командой данных: где ручная работа, где решения принимаются медленно и где лежат данные.
- Замер выбранных задач: три исходных числа. Сюда же входит технический разбор систем, данных и уже идущих пилотов.
- Анализ: задачи сравниваются по замеренным числам, сложности и риску, и для каждой решается, разрабатывать её или покупать.
- Презентация руководству, правки по замечаниям и передача результата.
Если захотите, мы продолжаем с вами до первого пилота и вывода в эксплуатацию. Можно выполнять и с другой командой: результат написан так, чтобы любая команда могла работать по нему.
Что содержит результат по правилам и контролю
Это строка, которую чаще всего покупают и реже всего уточняют. Полезный результат состоит из четырёх артефактов. Если вместо них вы получили документ с политикой, вы получили материал для чтения.
- Список типов решений, у каждого пометка: разрешено, разрешено с участием человека, запрещено. Здесь нужны не принципы, а названные решения: отказать в заявке, назначить цену, ответить клиенту по его счёту, составить внутреннюю сводку. Ценность в конкретности: такое инженер может реализовать, а аудитор проверить.
- Правила с версиями. Если политика изменилась, решение прошлого года должно объясняться по той политике, что действовала тогда. Система, которая хранит только текущие правила, не может обосновать собственную историю, а спрашивают именно её.
- Карта данных на одной странице: что покидает организацию, в какой сервис, по какому договору и что там хранится. Именно одна страница, а не приложение, потому что её должны прочитать люди, которые приложения не читают.
- Названный владелец для каждого типа решений. Не комитет, а человек, который отвечает, если это решение окажется ошибочным.
Четвёртый пункт проверяет, настоящие ли остальные три. Политика без владельца описывает намерение. Та же политика, где у каждой строки стоит имя, становится обязательством, которое кто-то принял.
И вопрос, по которому видно, чем закончится работа: «Кто будет это поддерживать после вас?» Правила и контроль не остаются верными сами по себе: меняются модели, поставщики меняют условия, бизнес добавляет новые задачи. Если внутри организации у списка нет владельца, он остаётся точным примерно квартал.
Разговорный AI
Часть запросов, по которым приходят на эту страницу, касается именно разговорного AI, поэтому отвечаем прямо.
Работающего ассистента сегодня сделает любой поставщик, это уже не сложно. Сложно определить границу, и она складывается из четырёх решений:
- На что ассистент отвечает по вашим материалам и на что не отвечает вовсе. Ассистент, которого не научили отказывать, не откажет, а придумает ответ, причём уверенно.
- Что происходит, когда он не знает. Передачу человеку нужно проектировать отдельно, включая то, что этот человек получает. Фраза «я не могу помочь» передачей не считается.
- Как обнаружить неверный, но уверенный ответ. Не по жалобе пользователя, а выборочной сверкой реальных диалогов с источниками, намеренно и по графику.
- Кто отвечает за то, что ассистент сказал клиенту. У этого вопроса юридическая сторона появляется раньше технической, и его надо закрыть письменно до запуска, а не после первого инцидента.
Если ассистент должен отвечать по данным из ваших внутренних систем, а не по публичным страницам, это другая архитектура с другим управлением доступом. Подробнее: интеграции.
Что добавляет израильский контекст
- Текст на иврите подписывает носитель. Мало, чтобы его просмотрел человек, говорящий на иврите: нужна подпись того, кто профессионально пишет на этом языке. Немного неправильный иврит у ассистента выглядит небрежно, команда, которая его строила, этого не замечает, а клиенты видят с первого дня.
- Многоязычность здесь обычный случай, а не исключение. Один и тот же человек читает на иврите, работает на английском и получает материалы на русском. Язык принадлежит человеку и каждому сообщению, а не всей системе. Отсутствующий перевод должен быть виден как отсутствующий, а не тихо заменяться другим языком.
- Юрисдикция входит в исходные данные проекта. Где могут лежать данные и должно ли решение, затрагивающее клиента, быть объяснимым, это юридические вопросы, и они определяют архитектуру. Если подрядчик откладывает их в чек-лист на потом, он спроектировал систему на непроверенных допущениях.
Наши принципы
- Начинаем с бизнес-задачи, а не с технологии.
- Одна задача, которая работает в эксплуатации, ценнее нескольких пилотов, оставшихся демонстрацией.
- Каждое допущение в модели выгоды записано, его можно проверить. Окупаемость мы не обещаем.
- У каждой задачи есть ответственный с вашей стороны и заранее назначенная точка, где решают, продолжать ли.
- Обзор оплачивается отдельно и не зависит от разработки, которая может последовать. Поэтому выводы «здесь нужен не AI, а исправленный процесс» и «у вас слишком малый объём, чтобы это окупилось» нам ничего не стоят, и в тех случаях, что мы замеряли, именно они встречаются чаще всего.
Форматы работы
- Удалённо. Интервью и рабочие встречи по видеосвязи, защищённый доступ к документам и данным. Подходит для большинства этапов замера и анализа.
- У клиента. Семинары с руководством и руководителями подразделений в вашем офисе, встречи с командами, которые выполняют работу. Подходит, когда нужно привести несколько подразделений к общему решению.
- Гибрид. Стартовый семинар у вас, дальше работа удалённо, итоговая презентация руководству лично. Часто это правильный баланс между глубиной и временем.
Почему мы
- Разрабатываем программные системы с 2004 года: 150+ проектов для клиентов в 14 странах. С AI-системами работаем с 2023 года.
- Мы сами строим и эксплуатируем системы. Наша основная система работает в эксплуатации с 2008 года, поэтому рекомендации проверяются тем, что происходит после запуска.
- Замеры, модель и порядок работ принадлежат вам, и по ним может продолжать любая команда.
Частые вопросы
Сколько времени занимает работа?
Зависит от размера организации и числа подразделений, которые участвуют. Объём определяем на первой встрече, после неё даём обоснованный срок.
Вы рекомендуете конкретную модель или поставщика?
Только после того, как определена задача. Рекомендация обоснована требованиями к точности, безопасности, месту хранения данных и стоимости. В неё входит запасной вариант на случай, если поставщик изменит условия.
У нас уже есть пилоты. Это ещё актуально?
Да. Пилоты дают реальные числа по точности, стоимости и использованию. Для этих задач это готовый исходный замер, и мы начинаем с него.
Чем это отличается от карты возможностей AI на сайте?
Карта возможностей это короткий опросник, он даёт первое направление. Здесь работа строится на интервью и замере ваших задач, а к результату добавляются граница, решения «разрабатывать или покупать», правила и контроль и порядок работ.
Кто должен участвовать с нашей стороны?
Представитель руководства, который ведёт процесс, руководители нужных подразделений и человек из ИТ или команды данных. От каждого требуется немного времени: интервью и просмотр результатов.
Вы и выполняете план?
Можем: мы разрабатываем AI-системы и выводим их в эксплуатацию. Но обзор продаётся отдельно и к разработке не привязан, а результат написан так, что выполнить его может любая команда.
SLAtech LTD