практики управления

Сервисная статистика на примерах: как работать с цифрами, чтобы был смысл и результат

780
0
18/07/2023
Изображение создано с помощью нейросети
практики управления
780
0
18 июля 2023
Сервисная статистика на примерах: как работать с цифрами, чтобы был смысл и результат

Помните замечательную цитату из фильма «Служебный роман»: «Если бы не было статистики, мы бы даже не подозревали о том, как хорошо мы работаем»? Ирина Сенатская считает, что эта фраза полностью отражает то, ради чего мы собираем и анализируем данные. В этой статье разберёмся, для чего статистика нужна людям и бизнесу, увидим на примерах, как с её помощью можно планировать работу и управлять изменениями.

Изображение создано с помощью нейросети
Ирина Сенатская работает в IT более 20 лет: Hewlett-Packard, ЕМС, Dell, YADRO. Специалист в области организации сервисной поддержки, консалтинга и профессиональных услуг, построения, перестройки и контроля эффективности бизнес-процессов, сертифицированный IT-аудитор. Имеет «зелёный пояс» по методологии «Шесть Сигм».

Любая организация производит продукцию или предоставляет услуги. Чтобы оценить, насколько хорошо это получается, нужно иметь систему координат и задать правила для измерения результатов. Цифровые показатели помогают руководству компании и рядовым сотрудникам понимать:

  • двигается ли организация к своей цели,
  • нуждаются ли процессы организации в улучшении, и успешны ли произведённые изменения,
  • где есть узкие места, и нужно ли их устранить,
  • что нужно добавить к стратегии развития организации,
  • как оценить сотрудников и сделать выводы об их эффективности,
  • кого наградить за успехи в работе.

Статистика позволяет подкрепить эмоциональное ощущение успеха объективными цифровыми результатами. Она помогает отслеживать тренды и видеть глобальную картину работы бизнес-процессов. А исследования и прогнозы, которые базируются на международных стандартах и методологических подходах, дают возможность предвидеть кризисные ситуации и верно реагировать на самые разные вызовы.

Какие бывают данные, где их взять и зачем их чистить

Всё, что мы делаем при работе в специализированных системах, таких как Jira, 1С и подобные, порождает данные для статистического анализа. Когда мы заполняем экранные формы в системе, мы создаём данные в структурных таблицах. Например, когда заводим в системе новую сущность, будь то отдельное задание или новый проект, ей присваивается номер, дата создания, наименование, связь с другими компонентами, существующими в системе и так далее.

От аккуратности нашей работы в системе зависит качество данных для последующего анализа. Если они «грязные», то наши решения и понимание ситуации будут как минимум неточными, а могут быть и вовсе неверно истолкованы. Приведу пример.

Мы производим и продаём серверы и системы хранения данных. У каждой единицы продукции есть серийный номер. Он состоит из букв и цифр, и по нему в наших системах прослеживается целая история: когда произвели, для какого заказчика, из каких компонентов состоит продукция. Глядя на серийный номер, мы определяем, какой у нашего клиента уровень поддержки и видим ещё множество разных атрибутов.

Представьте, что в письме в службу поддержки заказчик указал серийный номер, а сотрудник скопировал и вставил его в систему. Посмотрите на эти номера: есть ли в них различия?

Несмотря на внешнее сходство, здесь представлены разные данные: в одной строке буква «А» написана кириллицей. Для человека это незаметно, а вот машина сочтёт строки разными. В случае с кириллической буквой «А» служба поддержки не найдёт ни оборудование, ни срок поддержки, а значит, не сможет обработать запрос заказчика.

Ещё один пример про «грязные» данные. При заведении заявок в сервисе мы всегда отмечаем, кто к нам обратился. Оператор поддержки может завести заявку, указав в поле «Заказчик» данные, которые тоже кажутся одинаковыми:

Наша система обработки обращений чувствительна к регистру, и для неё это будут два разных заказчика. Когда сервисная служба решит посчитать, какой процент обращений по заказчику «Рога и копыта» был обработан в срок (а это важная метрика для сервиса, мы ещё вернёмся к ней), запросы с записью «Рога и Копыта» (с «грязными» данными) не будут учтены. Есть риск сделать неверные выводы.

Данные загрязняются, если относиться к ним небрежно: ставить галочку там, где она не нужна, выбирать в выпадающем списке случайное значение, использовать неверный формат или регистр. Вот так на ровном месте результаты анализа наполняются «шумами», за которыми сложно увидеть существующие паттерны или зависимости. Данные вроде бы есть, но они становятся бесполезными или сбивают с толку.

Если мы небрежно относимся к данным, например, нарушаем правила разметки или классификации, наши данные начинают нам врать.

Искусство изображения. Как данные могут врать

Человек — существо, которое 80% информации о мире получает визуально. Поэтому очень важно при работе с данными корректно их отображать, чтобы помогать пользователю считывать результат анализа и моментально его применять. Приведу пример из замечательной книги Альберто Кайро, которая называется «Графики лгут. Как стать информационно грамотным человеком в мире данных?».

Посмотрите на этот график:

Он показывает, что в результате возможных изменений в законах гражданам придётся платить больше налогов. Наверное, мы восприняли бы эту информацию негативно, потому что наглядно показано, что отдавать придется намного больше. Но если расположить шкалу правильно, то разница окажется уже не настолько критичной:

Это всего лишь одна небольшая иллюстрация того, как устроено наше восприятие. Люди, отображающие информацию о статистических данных на чартах или в отчётах, могут влиять на наше восприятие, а следовательно — на решение, к которому мы склоняемся. Масштаб, работа с цветом и выделение области не по количественному результату, а по размеру — лишь небольшая часть уловок, которые используют люди, составляющие графики.

Хорошие графики делают нас умнее. Но прежде чем это произойдёт, мы должны научиться работать с ними: не просто смотреть как на картинку, а видеть смысл и уметь принимать правильные решения.

Как построить идеальный отчёт

Сочетание нескольких графиков — это отчёт. Дашборды, или оперативные отчёты, нужны чтобы быстро принимать управленческие решения, в реальном времени отслеживать «здоровье» наших процессов в комплексе, понимать, насколько мы хорошо работаем и предсказывать возможные проблемы. Вот основные правила, чтобы составить полезный отчёт:

  1. Начинать с простого, постепенно наращивая сложность. Помнить, каково назначение отчёта, его цель и кто читатель.
  2. Вносить в отчёты только значимую информацию, которая помогает принимать решения, замечать несоответствия и побуждает задаваться вопросами и разбираться, почему несоответствия возникают.
  3. Использовать различную визуализацию: линейные графики, гистограммы, круговые, иерархические, каскадные, пузырьковые диаграммы, различные объекты с картами и так далее.
  4. Заботиться о пользователе, который читает эти данные, помогать ему правильно сфокусировать взгляд, расставить приоритеты и акценты.
  5. Правильно подбирать детализацию, чтобы не искажать восприятие. Например, если рядом с большими агрегирующими результатами по количеству обработанных заявок расположить детальную информацию по двум из них, она будет восприниматься как проблемная область, на которую надо обратить внимание. Это отвлечёт внимание от общей картины и не даст вовремя принять стратегическое решение.
  6. Строить отчёты на данных вашей системы. Таблицы в Excel и выгрузки из систем помогают на начальных этапах быстро принять решение или провести короткий анализ. Но эти данные быстро теряют актуальность и их невозможно тиражировать. Если каких-то данных в системе нет, задумайтесь о том, чтобы прийти к специалистам, которые отвечают за неё, и попросить добавить соответствующую разметку или дополнительные поля. Но будьте аккуратны, не забывайте, что бесконечно плодить «галочки» тоже плохо, надо уметь работать с комбинациями значений разных параметров, не утомляя пользователя (это неминуемо приведет к ошибкам) и делая прозрачными правила игры.
  7. Смотреть на других. Полезные примеры находятся всегда. Ориентируясь на них, вы быстро сделаете что-то похожее или почерпнёте что-то важное для себя вместо того, чтобы очень долго, нудно и итеративно приходить к тому идеальному формату отчёта, который подошёл бы вашим пользователям. Посмотреть чужие отчёты — это как пойти в музей, чтобы почерпнуть вдохновение, глядя на шедевры мастеров.

Примеры из жизни сервисной организации

Несколько я лет отвечала за процессы блока «Сервис» в компании YADRO и вместе с коллегами оптимизировала наши бизнес-операции. За это время мы продумали логику работы, запустили несколько крупных информационных систем блока и выстроили архитектуру их взаимодействия со смежными общекорпоративными системами.

Приведу примеры, для чего, как и сбор каких данных мы организовали в блоке «Сервис», на основе каких принципов подошли к формированию ключевых параметров качества работы блока, когда и какие целевые значения выставили для себя. Речь пойдет о планировании сервисного обслуживания сложного технического оборудования, отслеживании операционных показателей и даже о развитии наших продуктов. Информация — это новое золото. В сервисе можно самим создать эту «золотую жилу» и внести заметный во всех смыслах вклад в развитие своих продуктов и компании в целом.

Сервисная статистика с нуля

Мы начинали регистрировать сервисные обращения в собственном модуле к системе 1С. Но это не очень хорошо работало — большая часть полей не использовалась, информации было мало, данные о загруженности инженеров не были прозрачными, специалистов постоянно не хватало. Мы понимали, что при такой организации процессов объём более чем в десять заявок на сервис в неделю мы не потянем.

Мы решили кардинально пересмотреть подход к нашей системе учёта: выбрали новое ПО-конструктор и описали идеальную для нас на тот момент структуру данных (именно тех, на основании которых мы уже тогда хотели строить анализ). С тех пор мы её постоянно совершенствуем. Усложняется наш бизнес-процесс, для управления которым требуется более сложная аналитика, а следовательно, появляется больше данных в системе. Сейчас у нас в месяц обрабатывается до 1500 заявок. И вот как мы развивались.

Определили правила игры и проследили за трендами

В качестве самого первого шага мы стандартизовали поля формы заявки на сервис. Они обязательно должны были содержать серийный номер оборудования, данные о заказчике и тех его сотрудниках, которые имеют право обращаться за сервисом. Затем, прежде чем устанавливать наши целевые результаты, стали смотреть, какова обычная загрузка сотрудника за период (день, неделю, месяц), и как она изменяется.

Очень важно определить, в чём заключается норма. Можно сказать: я хочу, чтобы к концу квартала показатель удовлетворённости заказчика был равен 100%. Но что, если на старте у вас было 85%? Тогда неоправданно высокая или недостижимая за обозначенный временной интервал цель демотивирует команду. Амбициозные задачи двигают нас вперёд, но мы точно должны представлять, как сможем их решить.
Увидели всю картину

Наш следующий шаг — стандартизировать типы обращений в сервис. Мы разделили их на типы: инциденты, консультации, проактивная работа, сервисные кампании и стали смотреть, как меняется их процентное соотношение с ростом нашей инсталлированной базы. Спустя несколько лет мы получили вот такую цельную картину:

На этом графике мы видим, что скорость появления инцидентов не повысилась с ростом нашей инсталлированной базы. А это значит, что, во-первых, у нас достаточно зрелый продукт, а во-вторых, мы стали предпринимать больше действий, чтобы не допускать возникновения инцидентов.

Разметили геоданные

Для развития сервисной организации очень важно знать точное месторасположение оборудования. Эти данные позволяют планировать работу инженеров, направлять ресурсы в те локации, где они наиболее востребованы и строить планы по развитию новых сервисных центров компании.

Распределение на карте показывает, как далеко расположены потребители нашего сервиса. С точки зрения удалённой поддержки может показаться, что это несущественная информация, но, например, разница в часовых поясах накладывает свой отпечаток — оборудование, которое мы поддерживаем, работает 24/7.

К информации о локации мы привязываем данные об уровне обслуживания для каждой единицы оборудования. Благодаря этому мы понимаем, где необходимо развивать инженерные центры и какие компетенции сотрудников поддержки наращивать. Это делает нашу работу быстрее и эффективнее с точки зрения и заказчиков — получателей наших услуг, и компании, оптимизирующей расходы на оказание сервиса.

В таком случае мы поднимаем данные о том, как в этой локации сегментируется проданное оборудование, видим основных заказчиков, отсортированных по количеству единиц оборудования и уровню сервиса, который мы им оказываем, узнаём, есть ли подобные запросы от других менеджеров по продажам. Благодаря этому можно подсчитать, оправдаются ли затраты на расширение сервисного присутствия в регионе, и какой уровень обязательств мы сумеем выполнять.

Определили точку отсчёта и поставили перед собой цели (KPI)

Мы сформировали перечень основных сервисных показателей и учли рост потребностей бизнеса и пользователей в горизонте двух лет. Спустя год сбора этих данных мы определили по ним нормальный для нас уровень и поставили себе амбициозные, но достижимые цели, которые побуждают нас развиваться и улучшаться, но не являются нереальными. Например, ниже приведён график изменений важной для нас метрики TCE T2B за несколько месяцев.

На этом графике представлена общая интегральная оценка удовлетворённости клиентов сервисным обслуживанием. А если заказчик не против уделить нам чуть больше времени или его оценка отличается от максимальной, мы задаём более детальные вопросы про скорость обработки обращений, решения вопросов, уровень коммуникации с заказчиком, квалификацию инженеров, про то, насколько оказалось быстро получить запчасть или просто дозвониться до сервиса.

Собрали операционный отчёт

После того как мы научили систему накапливать данные для последующего анализа, увидели тренды и определили то, к чему стремимся, мы построили операционный отчет (дашборд), который позволяет в режиме реального времени отслеживать основные операционные метрики.

Мы готовим статистику для множества подразделений и выводим на графики именно те данные, которые важны в работе коллег.

Например, для инженеров и руководителей инженерных групп мы делаем статистику по SLA для их продуктов, предоставляем данные по уровню отчитанных трудозатрат и переработок. На графиках это видно наглядно.

Настроили сервисную аналитику

А вот пример, который показывает, как можно организовать контроль операционных метрик и метрик качества работы сервисной службы. Здесь в центре внимания будут цифры, позволяющие отслеживать, как соблюдается SLA — тот уровень обслуживания, который мы гарантируем заказчикам:

  • SLA met — процент запросов, обработанных вовремя в соответствии с уровнем контракта.
  • FIX time met — время восстановления систем, один из критичных и самых важных для заказчика критериев SLA, показывающий количество процентов случаев, в которых мы выполнили свою работу вовремя.
  • TCE T2B — процент клиентов, оценивших уровень сервиса на высший балл.
  • P1 INCs — количество инцидентов с первым приоритетом.

Также здесь показаны результаты месяца, года и метрики YoY, MoM, YtD, MtD.

Все эти показатели совмещаются в едином отчёте, потому что работают в комплексе. Например, если мы начнём закрывать заявки не разбираясь, что произошло, у нас вырастет SLA met, ведь мы делаем это быстро! Но тогда мы сразу заметим падение TCE T2B — заказчики точно останутся недовольны таким подходом. Динамика изменений в этом отчёте помогает нам прогнозировать достижение поставленных целей.

Следим за бэклогом

Важная часть отслеживания операционных метрик — статистика по количеству заявок, поступающих на сервис. Её можно изобразить по-разному. Мы предпочитаем смотреть в разрезе их общего количества. Яркая линия показывает состояние бэклога: как меняется от недели к неделе количество незавершённых заявок. Если бэклог растёт, значит, мы не справляемся либо у нас возникла аварийная ситуация. Если бэклог уменьшается, значит, мы обрабатываем и закрываем заявки быстрее, чем наши заказчики их открывают.

Подобные отчёты дают нам понимание того, как мы справляемся с потоком входящей нагрузки.

Если показатели не соответствуют норме, значит, нужно проверить, хватает ли нам инженерных или других ресурсов, эффективно ли работают процессы, не произошёл ли массовый дефект, который нужно срочно исправлять.

В отчёте настроены фильтры. Чтобы быстро определить возможный источник аномальных результатов, мы можем переключаться и посмотреть на те же метрики, но в разрезе продуктов, заказчиков, сервисных групп, типов обращений.

Основной подход такой: мы следим за показателями, за тем, как достигаем поставленных целей, изучаем аномалии, если что-то пошло не так и вносим корректировки в процесс. Это помогает выполнять обязательства перед заказчиками, используя оптимальное количество ресурсов, и в конечном итоге обеспечить нашему бизнесу важное конкурентное преимущество — классный сервис, а нашим заказчикам — долгосрочное партнерство и надёжную поддержку.

Пример о продуктовом здоровье

Ещё одна важная часть задач, связанных со статистикой — совместная работа с командой разработчиков продукта. В сервисной статистике мы смотрим, как работает «последняя миля» — всё, что происходит после того, как оборудование было продано заказчику. Для продуктовой команды мы тоже поставляем данные, но они совсем другие. С их помощью можно наблюдать за развитием продукта, а ещё — увидеть все процессы в компании: от разработки до «последней мили». На примере одного из молодых продуктов расскажу, за какими параметрами мы постоянно наблюдаем.

Общий объём инсталлированной базы

Здесь всё просто: мы наблюдаем как растём.

Когортный анализ

С помощью когортного анализа мы смотрим, сколько систем было отгружено в календарном периоде (или в партии) и сочетаем эти данные с периодами жизни систем. Мы можем видеть, как у нас меняются пики, узнавать о причинах изменений, передавать обратную связь на производство и в разработку. Мы наблюдаем, как наш продукт становится более «взрослым» и видим наш вклад в это.

Чем дольше мы будем вести когортный анализ, тем больше выводов о продукте сможем сделать. Мы увидим кривую обращений: её пик — выход нового продукта на рынок. Затем кривая снизится, и это будет сигналом того, что оборудование становится более «зрелым», инструменты и проверка качества на производстве отлажены, а у заказчиков возникает меньше вопросов. Через 4 года запросов снова станет больше — это будет значить, что оборудование износилось. Благодаря когортному анализу мы можем настраивать внутренние процессы, прогнозировать жизненный цикл продукта и работу сервисной службы.

Тренды и соотношение метрик разных групп

Они нужны для отслеживания изменений скорости роста бэклога и быстрой реакции на проблемы:

INC Backlog/IBP — отношение обращений в бэклоге к продуктивной базе. Этот график должен всё время снижаться, и любые изменения — повод для серьёзного анализа совместно со всеми командами, включёнными в разработку и поддержку продукта.

Серая вертикальная черта — это момент значимого события, выхода нового релиза или внесения изменения в логику расчёта метрики (такое тоже бывает).

Инсталлированная база (IB):

IBA — количество проданных систем (отгрузок заказчику).

IBP — инсталлированные и запущенные в эксплуатацию системы.

INC volume — количество обращений (здесь мы отслеживаем именно инциденты).

P1 — критичные обращения с первым приоритетом.

Backlog — количество открытых, но ещё нерешённых обращений.

Aged backlog — старый бэклог, зависшие обращения, которые мы не решаем, тянущие нас вниз.

Escalated to L3 — процент обращений, которые ушли на третий — специализированный уровень поддержки.

Здесь важно, что все показатели отображаются в единой временной шкале. Наглядность даёт ответы на вопросы про причины флуктуаций.

Такой отчёт — это предиктивный инструмент и чуткий индикатор разного рода проблем со стороны и возможных инцидентов, и текущих процессов, и даже документации (например, график может показать вам, что нужно поработать с инструкциями службы поддержки, если показатель escalated to L3 будет слишком высок).

Изучаем аномалии

После того как мы провели работу по когортному анализу и настроили все нужные графики, мы добавили к этому уровень удовлетворённости заказчика по данным от продуктовой команды, график выхода новых релизов и модификаций, распределение закрытых заявок по причинам возникновения инцидентов. Теперь мы постоянно смотрим, коррелируют ли все эти показатели друг с другом и корректируем процессы. Если по результатам анализа какие-то показатели перестают быть для нас информативными (больше не показывают наглядно появившуюся аномалию), мы их меняем или усложняем логику их расчёта.

Ещё раз вернёмся к тому, как составить хороший отчёт.

6 правил составления отчёта

  1. Выносите в отчёт только то, что значимо, то есть помогает принимать решения.
  2. Используйте разнообразную и подходящую визуализацию.
  3. Соблюдайте баланс детализации.
  4. Расставляйте акценты, нужные вашим пользователям.
  5. Старайтесь строить отчёты на системных данных.
  6. Смотрите на то, как делают отчёты другие.

Итого

В сервисной организации всегда очень много данных. С их помощью можно оценить множество процессов: от качества сборки на производстве, подготовки релиза и тестирования, выпуска документации для заказчиков, инженеров, сервиса до финансовых показателей. В статье мы раскрыли лишь часть примеров используемых нами методов анализа и сбора статистики.

Мы работаем со статистикой для того, чтобы принимать управленческие решения, избегать негативного воздействия возникающих ошибок и проблем на оборудование и имидж компании. А также это помогает нам вовремя делать необходимые запасы ресурсов.

Работайте с цифрами не ради цифр, а ради смысла и результата. Любой график и любой отчёт должны быть правильными и корректными с точки зрения отображения информации, их влияния и восприятия пользователя. Они должны давать ответы или заставлять задуматься.

Если вы занимаетесь статистикой, фокусируйтесь на том, что нужно пользователю: принимать решения, просто глядя на график, а не углубляться в анализ. Если вы используете статистику, копите информацию сами и не пренебрегайте возможностью почаще обращаться к тем, кто выполняет эту работу в вашей компании.

Наверх

Будь первым, кто оставит комментарий