Сервисная статистика на примерах: как работать с цифрами, чтобы был смысл и результат

Любая организация производит продукцию или предоставляет услуги. Чтобы оценить, насколько хорошо это получается, нужно иметь систему координат и задать правила для измерения результатов. Цифровые показатели помогают руководству компании и рядовым сотрудникам понимать:

• двигается ли организация к своей цели,
• нуждаются ли процессы организации в улучшении, и успешны ли произведённые изменения,
• где есть узкие места, и нужно ли их устранить,
• что нужно добавить к стратегии развития организации,
• как оценить сотрудников и сделать выводы об их эффективности,
• кого наградить за успехи в работе.

Статистика позволяет подкрепить эмоциональное ощущение успеха объективными цифровыми результатами. Она помогает отслеживать тренды и видеть глобальную картину работы бизнес-процессов. А исследования и прогнозы, которые базируются на международных стандартах и методологических подходах, дают возможность предвидеть кризисные ситуации и верно реагировать на самые разные вызовы.

Всё, что мы делаем при работе в специализированных системах, таких как Jira, 1С и подобные, порождает данные для статистического анализа. Когда мы заполняем экранные формы в системе, мы создаём данные в структурных таблицах. Например, когда заводим в системе новую сущность, будь то отдельное задание или новый проект, ей присваивается номер, дата создания, наименование, связь с другими компонентами, существующими в системе и так далее.

Несмотря на внешнее сходство, здесь представлены разные данные: в одной строке буква «А» написана кириллицей. Для человека это незаметно, а вот машина сочтёт строки разными. В случае с кириллической буквой «А» служба поддержки не найдёт ни оборудование, ни срок поддержки, а значит, не сможет обработать запрос заказчика.

Ещё один пример про «грязные» данные. При заведении заявок в сервисе мы всегда отмечаем, кто к нам обратился. Оператор поддержки может завести заявку, указав в поле «Заказчик» данные, которые тоже кажутся одинаковыми:

Наша система обработки обращений чувствительна к регистру, и для неё это будут два разных заказчика. Когда сервисная служба решит посчитать, какой процент обращений по заказчику «Рога и копыта» был обработан в срок (а это важная метрика для сервиса, мы ещё вернёмся к ней), запросы с записью «Рога и Копыта» (с «грязными» данными) не будут учтены. Есть риск сделать неверные выводы.

Данные загрязняются, если относиться к ним небрежно: ставить галочку там, где она не нужна, выбирать в выпадающем списке случайное значение, использовать неверный формат или регистр. Вот так на ровном месте результаты анализа наполняются «шумами», за которыми сложно увидеть существующие паттерны или зависимости. Данные вроде бы есть, но они становятся бесполезными или сбивают с толку.

Человек — существо, которое 80% информации о мире получает визуально. Поэтому очень важно при работе с данными корректно их отображать, чтобы помогать пользователю считывать результат анализа и моментально его применять. Приведу пример из замечательной книги Альберто Кайро, которая называется «Графики лгут. Как стать информационно грамотным человеком в мире данных?».

Посмотрите на этот график:

Он показывает, что в результате возможных изменений в законах гражданам придётся платить больше налогов. Наверное, мы восприняли бы эту информацию негативно, потому что наглядно показано, что отдавать придется намного больше. Но если расположить шкалу правильно, то разница окажется уже не настолько критичной:

Это всего лишь одна небольшая иллюстрация того, как устроено наше восприятие. Люди, отображающие информацию о статистических данных на чартах или в отчётах, могут влиять на наше восприятие, а следовательно — на решение, к которому мы склоняемся. Масштаб, работа с цветом и выделение области не по количественному результату, а по размеру — лишь небольшая часть уловок, которые используют люди, составляющие графики.

Хорошие графики делают нас умнее. Но прежде чем это произойдёт, мы должны научиться работать с ними: не просто смотреть как на картинку, а видеть смысл и уметь принимать правильные решения.

Сочетание нескольких графиков — это отчёт. Дашборды, или оперативные отчёты, нужны чтобы быстро принимать управленческие решения, в реальном времени отслеживать «здоровье» наших процессов в комплексе, понимать, насколько мы хорошо работаем и предсказывать возможные проблемы. Вот основные правила, чтобы составить полезный отчёт:

1. Начинать с простого, постепенно наращивая сложность. Помнить, каково назначение отчёта, его цель и кто читатель.
2. Вносить в отчёты только значимую информацию, которая помогает принимать решения, замечать несоответствия и побуждает задаваться вопросами и разбираться, почему несоответствия возникают.
3. Использовать различную визуализацию: линейные графики, гистограммы, круговые, иерархические, каскадные, пузырьковые диаграммы, различные объекты с картами и так далее.
4. Заботиться о пользователе, который читает эти данные, помогать ему правильно сфокусировать взгляд, расставить приоритеты и акценты.
5. Правильно подбирать детализацию, чтобы не искажать восприятие. Например, если рядом с большими агрегирующими результатами по количеству обработанных заявок расположить детальную информацию по двум из них, она будет восприниматься как проблемная область, на которую надо обратить внимание. Это отвлечёт внимание от общей картины и не даст вовремя принять стратегическое решение.
6. Строить отчёты на данных вашей системы. Таблицы в Excel и выгрузки из систем помогают на начальных этапах быстро принять решение или провести короткий анализ. Но эти данные быстро теряют актуальность и их невозможно тиражировать. Если каких-то данных в системе нет, задумайтесь о том, чтобы прийти к специалистам, которые отвечают за неё, и попросить добавить соответствующую разметку или дополнительные поля. Но будьте аккуратны, не забывайте, что бесконечно плодить «галочки» тоже плохо, надо уметь работать с комбинациями значений разных параметров, не утомляя пользователя (это неминуемо приведет к ошибкам) и делая прозрачными правила игры.
7. Смотреть на других. Полезные примеры находятся всегда. Ориентируясь на них, вы быстро сделаете что-то похожее или почерпнёте что-то важное для себя вместо того, чтобы очень долго, нудно и итеративно приходить к тому идеальному формату отчёта, который подошёл бы вашим пользователям. Посмотреть чужие отчёты — это как пойти в музей, чтобы почерпнуть вдохновение, глядя на шедевры мастеров.

Несколько я лет отвечала за процессы блока «Сервис» в компании YADRO и вместе с коллегами оптимизировала наши бизнес-операции. За это время мы продумали логику работы, запустили несколько крупных информационных систем блока и выстроили архитектуру их взаимодействия со смежными общекорпоративными системами.

Приведу примеры, для чего, как и сбор каких данных мы организовали в блоке «Сервис», на основе каких принципов подошли к формированию ключевых параметров качества работы блока, когда и какие целевые значения выставили для себя. Речь пойдет о планировании сервисного обслуживания сложного технического оборудования, отслеживании операционных показателей и даже о развитии наших продуктов. Информация — это новое золото. В сервисе можно самим создать эту «золотую жилу» и внести заметный во всех смыслах вклад в развитие своих продуктов и компании в целом.

Мы начинали регистрировать сервисные обращения в собственном модуле к системе 1С. Но это не очень хорошо работало — большая часть полей не использовалась, информации было мало, данные о загруженности инженеров не были прозрачными, специалистов постоянно не хватало. Мы понимали, что при такой организации процессов объём более чем в десять заявок на сервис в неделю мы не потянем.

Мы решили кардинально пересмотреть подход к нашей системе учёта: выбрали новое ПО-конструктор и описали идеальную для нас на тот момент структуру данных (именно тех, на основании которых мы уже тогда хотели строить анализ). С тех пор мы её постоянно совершенствуем. Усложняется наш бизнес-процесс, для управления которым требуется более сложная аналитика, а следовательно, появляется больше данных в системе. Сейчас у нас в месяц обрабатывается до 1500 заявок. И вот как мы развивались.

В качестве самого первого шага мы стандартизовали поля формы заявки на сервис. Они обязательно должны были содержать серийный номер оборудования, данные о заказчике и тех его сотрудниках, которые имеют право обращаться за сервисом. Затем, прежде чем устанавливать наши целевые результаты, стали смотреть, какова обычная загрузка сотрудника за период (день, неделю, месяц), и как она изменяется.

Для развития сервисной организации очень важно знать точное месторасположение оборудования. Эти данные позволяют планировать работу инженеров, направлять ресурсы в те локации, где они наиболее востребованы и строить планы по развитию новых сервисных центров компании.

Распределение на карте показывает, как далеко расположены потребители нашего сервиса. С точки зрения удалённой поддержки может показаться, что это несущественная информация, но, например, разница в часовых поясах накладывает свой отпечаток — оборудование, которое мы поддерживаем, работает 24/7.

К информации о локации мы привязываем данные об уровне обслуживания для каждой единицы оборудования. Благодаря этому мы понимаем, где необходимо развивать инженерные центры и какие компетенции сотрудников поддержки наращивать. Это делает нашу работу быстрее и эффективнее с точки зрения и заказчиков — получателей наших услуг, и компании, оптимизирующей расходы на оказание сервиса.

Мы сформировали перечень основных сервисных показателей и учли рост потребностей бизнеса и пользователей в горизонте двух лет. Спустя год сбора этих данных мы определили по ним нормальный для нас уровень и поставили себе амбициозные, но достижимые цели, которые побуждают нас развиваться и улучшаться, но не являются нереальными. Например, ниже приведён график изменений важной для нас метрики TCE T2B за несколько месяцев.

На этом графике представлена общая интегральная оценка удовлетворённости клиентов сервисным обслуживанием. А если заказчик не против уделить нам чуть больше времени или его оценка отличается от максимальной, мы задаём более детальные вопросы про скорость обработки обращений, решения вопросов, уровень коммуникации с заказчиком, квалификацию инженеров, про то, насколько оказалось быстро получить запчасть или просто дозвониться до сервиса.

А вот пример, который показывает, как можно организовать контроль операционных метрик и метрик качества работы сервисной службы. Здесь в центре внимания будут цифры, позволяющие отслеживать, как соблюдается SLA — тот уровень обслуживания, который мы гарантируем заказчикам:

• SLA met — процент запросов, обработанных вовремя в соответствии с уровнем контракта.
• FIX time met — время восстановления систем, один из критичных и самых важных для заказчика критериев SLA, показывающий количество процентов случаев, в которых мы выполнили свою работу вовремя.
• TCE T2B — процент клиентов, оценивших уровень сервиса на высший балл.
• P1 INCs — количество инцидентов с первым приоритетом.

Также здесь показаны результаты месяца, года и метрики YoY, MoM, YtD, MtD.

Все эти показатели совмещаются в едином отчёте, потому что работают в комплексе. Например, если мы начнём закрывать заявки не разбираясь, что произошло, у нас вырастет SLA met, ведь мы делаем это быстро! Но тогда мы сразу заметим падение TCE T2B — заказчики точно останутся недовольны таким подходом. Динамика изменений в этом отчёте помогает нам прогнозировать достижение поставленных целей.

Если показатели не соответствуют норме, значит, нужно проверить, хватает ли нам инженерных или других ресурсов, эффективно ли работают процессы, не произошёл ли массовый дефект, который нужно срочно исправлять.

В отчёте настроены фильтры. Чтобы быстро определить возможный источник аномальных результатов, мы можем переключаться и посмотреть на те же метрики, но в разрезе продуктов, заказчиков, сервисных групп, типов обращений.

Основной подход такой: мы следим за показателями, за тем, как достигаем поставленных целей, изучаем аномалии, если что-то пошло не так и вносим корректировки в процесс. Это помогает выполнять обязательства перед заказчиками, используя оптимальное количество ресурсов, и в конечном итоге обеспечить нашему бизнесу важное конкурентное преимущество — классный сервис, а нашим заказчикам — долгосрочное партнерство и надёжную поддержку.

Здесь всё просто: мы наблюдаем как растём.

С помощью когортного анализа мы смотрим, сколько систем было отгружено в календарном периоде (или в партии) и сочетаем эти данные с периодами жизни систем. Мы можем видеть, как у нас меняются пики, узнавать о причинах изменений, передавать обратную связь на производство и в разработку. Мы наблюдаем, как наш продукт становится более «взрослым» и видим наш вклад в это.

Чем дольше мы будем вести когортный анализ, тем больше выводов о продукте сможем сделать. Мы увидим кривую обращений: её пик — выход нового продукта на рынок. Затем кривая снизится, и это будет сигналом того, что оборудование становится более «зрелым», инструменты и проверка качества на производстве отлажены, а у заказчиков возникает меньше вопросов. Через 4 года запросов снова станет больше — это будет значить, что оборудование износилось. Благодаря когортному анализу мы можем настраивать внутренние процессы, прогнозировать жизненный цикл продукта и работу сервисной службы.

Они нужны для отслеживания изменений скорости роста бэклога и быстрой реакции на проблемы:

INC Backlog/IBP — отношение обращений в бэклоге к продуктивной базе. Этот график должен всё время снижаться, и любые изменения — повод для серьёзного анализа совместно со всеми командами, включёнными в разработку и поддержку продукта.

Серая вертикальная черта — это момент значимого события, выхода нового релиза или внесения изменения в логику расчёта метрики (такое тоже бывает).

Здесь важно, что все показатели отображаются в единой временной шкале. Наглядность даёт ответы на вопросы про причины флуктуаций.

Такой отчёт — это предиктивный инструмент и чуткий индикатор разного рода проблем со стороны и возможных инцидентов, и текущих процессов, и даже документации (например, график может показать вам, что нужно поработать с инструкциями службы поддержки, если показатель escalated to L3 будет слишком высок).

После того как мы провели работу по когортному анализу и настроили все нужные графики, мы добавили к этому уровень удовлетворённости заказчика по данным от продуктовой команды, график выхода новых релизов и модификаций, распределение закрытых заявок по причинам возникновения инцидентов. Теперь мы постоянно смотрим, коррелируют ли все эти показатели друг с другом и корректируем процессы. Если по результатам анализа какие-то показатели перестают быть для нас информативными (больше не показывают наглядно появившуюся аномалию), мы их меняем или усложняем логику их расчёта.

Ещё раз вернёмся к тому, как составить хороший отчёт.

1. Выносите в отчёт только то, что значимо, то есть помогает принимать решения.
2. Используйте разнообразную и подходящую визуализацию.
3. Соблюдайте баланс детализации.
4. Расставляйте акценты, нужные вашим пользователям.
5. Старайтесь строить отчёты на системных данных.
6. Смотрите на то, как делают отчёты другие.

В сервисной организации всегда очень много данных. С их помощью можно оценить множество процессов: от качества сборки на производстве, подготовки релиза и тестирования, выпуска документации для заказчиков, инженеров, сервиса до финансовых показателей. В статье мы раскрыли лишь часть примеров используемых нами методов анализа и сбора статистики.

Мы работаем со статистикой для того, чтобы принимать управленческие решения, избегать негативного воздействия возникающих ошибок и проблем на оборудование и имидж компании. А также это помогает нам вовремя делать необходимые запасы ресурсов.

Работайте с цифрами не ради цифр, а ради смысла и результата. Любой график и любой отчёт должны быть правильными и корректными с точки зрения отображения информации, их влияния и восприятия пользователя. Они должны давать ответы или заставлять задуматься.

Если вы занимаетесь статистикой, фокусируйтесь на том, что нужно пользователю: принимать решения, просто глядя на график, а не углубляться в анализ. Если вы используете статистику, копите информацию сами и не пренебрегайте возможностью почаще обращаться к тем, кто выполняет эту работу в вашей компании.