качество системы – общие характеристики системы, такие как простота освоения и использования, время отклика и т.д.;

качество информации – комплексная характеристика выходных данных системы, включая актуальность, своевременность, достоверность и т.д.;

качество сервиса – уровень поддержки системы (техническая компетенция, время реакции и др.);

использование системы – такие показатели, как количество пользователей, число транзакций и т.д.;

удовлетворенность пользователей;

общая полезность – польза, которую использование данной ИС приносит отдельным людям, группам, организации и т.д., например, возрастание производительности или сокращение затрат.

Основная критика модели Делона – Маклина сводится к тому, что фактически это метамодель, которая предлагает лишь возможные способы построения моделей измерения, но не дает конкретных рекомендаций. На практике всегда реализуется измерение лишь нескольких ее компонентов (а наиболее часто – лишь одного), причем почти всегда используются описательные качественные метрики.

Интересно, что в статье[73] авторы модели на основании анализа 90 работ других исследователей изучили степень взаимосвязи между шестью вышеперечисленными компонентами. При этом были получены парадоксальные результаты: выяснилось, что на организационном уровне сильная связь существует только между качеством системы и ее общей полезностью (отметим, что такая прямая связь отсутствует в модели, см. рис. 5.2). Более слабая связь наблюдается между качеством системы и ее использованием, все остальные связи – не имеют существенного значения. Авторы объясняют это недостаточным количеством данных, т.е. исследовательских работ, посвященных изучению этих зависимостей. На индивидуальном уровне, напротив, на общую полезность влияют все компоненты.

Из других методов данной группы отметим работу китайских специалистов[74], где представлены результаты статистического исследования влияния выбора поставщика, консультанта по бизнес-процессам и самой ERP-системы на успешность их внедрения в тайваньских компаниях. В целом методы этой группы имеют следующие недостатки:

определенная произвольность выбора показателей, характеризующих эффективность ИТ-системы, низкая релевантность этих показателей среде, в которой происходит оценка ИТ-системы и целям компании;

отсутствие связи между показателями эффективности ИТ-системы и результатами работы компании в целом;

отсутствие учета влияния других факторов, так как фактический эффект, как правило, достигается сочетанием различных мер, лишь одной из которых является внедрение ИС;

плохо подходят для прогнозирования будущего эффекта, так как не детализируют механизм влияния новой ИТ-системы на показатели, это делается экспертной оценкой.

Система показателей работы компании. Данные методы расширяют базу для оценки по сравнению с учетом финансовых затрат и выгод, это обобщение ROX на все аспекты существования компании. Например, в книге «Измерение эффективности бизнеса» Энди Нили перечислил пять критериев, по которым можно измерять эффективность операций[75]:

качество, т.е. соответствие спецификациям продукта или услуги;

надежность, под которой понимается способность выполнять план;

скорость или время выполнения операций;

адаптивность – соответствует способности быстро изменяться;

стоимость.

Дальнейшее развитие этого подхода привело к появлению таких моделей, как пирамида SMART (strategic measurement and reporting technique)[76], сбалансированная система показателей (Balanced Score Cards, BSC)[77], призма производительности[78] и др. Основная цель этой группы методов – направить все действия фирмы на повышение дохода ее акционеров. Общие недостатки этих методов:

система показателей должна быть сконструирована до начала измерений, причем такая система проектируется «сверху вниз», т.е. параметры какого-либо достаточно локального процесса выводятся в итоге из стратегических показателей работы компании, которые, в свою очередь, весьма сложно определить, как это было показано в части, посвященной эволюционной модели предприятия;

требуют если не четко сформулированной бизнес-стратегии, то как минимум ее общего понимания, по сути, эти методы сначала формируют бизнес-стратегию компании, а значит, этот подход мало поможет нам в ситуации, когда такую стратегию формализовать по тем или иным причинам не удается (например, в ситуации, когда меняется и законодательство, и рыночная среда, и не удается сформировать надежные стратегические показатели работы компании);

предполагают, что если развитие ИТ фокусируется на стратегических целях бизнеса, то эффект от такого развития гарантирован, хотя это не всегда верно;

необходим достаточно высокий уровень управления как компании в целом, так и ИТ-департамента;

плохо подходят для прогнозирования будущего эффекта, так как не детализируют механизм влияния ИТ-системы на показатели деятельности компании, это делается экспертным путем.

Другие недостатки подходов на основе финансовых и нефинансовых показателей описаны в книге Маршала Мейера[79].

Отметим, что к этой группе методов относятся и достаточно известные методики оценки эффективности инвестиций в ИТ TVO (Gartner) и REJ (Microsoft). Обе они предполагают наличие показателей работы компании, методика TVO (Total Value Of Opportunity) – в виде полноценной сбалансированной системы показателей работы компании[80], а REJ (Rapid Economic Justification)– в виде более ограниченного набора критических факторов успеха организации. И хотя после формулировки показателей работы компании, логика этих методик весьма существенно отличается, тем не менее, в рамках нашей классификации они относятся именно к этой группе.

Известны также статистические методы измерения фактического качества процессов предприятия, и прежде всего, подход «шесть сигма» (six sigma)[81]. Статистическая модель уже отказывается от попыток определить реакцию на конкретные воздействия и акцентируется на динамике показателей, описывающих общее состояние организации. Это подход к управлению производством (а позже и бизнес-процессами), фокусирующийся на улучшении качества выходов каждого из процессов, минимизации дефектов и статистических отклонений в операционной деятельности. Зрелость производственного процесса в этой концепции описывается как количество отклонений выхода процесса от заранее заданного результата, или процентом бездефектных результатов процесса (например, наиболее распространен уровень качества 3σ, который соответствует 93-процентному уровню качества, то есть 66 807 дефектов на миллион выходов процесса).

Если известно целевое значение некого параметра процесса

где n – количество процессов, выполненных за период времени t,

xi – результат выполнения конкретного экземпляра процесса,

c - постоянный коэффициент.

Использование функции потерь базируется на идее Г. Тагучи, что качество не может рассматриваться только как мера соответствия требованиям проектной документации, поэтому соблюдения качества в терминах границ допусков недостаточно. Необходимо постоянно стремиться к номиналу, к уменьшению разброса даже внутри границ, установленных проектом.

Все процессы предприятия можно разделить на производственные и транзакционные или управленческие процессы (в работе Аластера Мюера[82] проведен анализ различий между ними). И недостатки похода «шесть сигма» связаны с его происхождением из производственной среды (исходной целью методологии было сокращение дефектных продуктов):

1. Подход «шесть сигма» требует, чтобы результаты каждого проекта по повышению эффективности процессов выражались в количественном отношении и были измеряемыми. Однако для транзакционных (управленческих) процессов очень сложно однозначно определить понятия «дефект», «запасы», «незавершенное производство» и в итоге вычислить их экономические характеристики. Для производственных процессов эти значения задаются и измеряются значительно легче.