Фактор субъективности при оценке риска по качеству

Автор: Александр В. Александров 

Статус: Статья опубликована в журнале "Промышленное обозрение. Фармацевтическая отрасль" №5 (28) 2011, с. 116-119

Логика субъективности

В последнее время, инициативы ICH, FDA и Европейского агентства по лекарственным средствам активно пытаются увлечь специалистов фармацевтических предприятий в мир управления рисками. С одной стороны, управление рисками само по себе не считается сложной темой – процесс понятен, методология хорошо описана и легко воспринимаема. С другой стороны в странах бывшего СССР бытует устойчивое мнение о том, что эта методология некорректна по своей сути. Чего только стоят два эпизода из отечественной практики. Первый эпизод – это российские специалисты, лишенные рисков – из ГОСТ Р 52249-2009 исключено Приложение 20 с криминальной формулировкой«Этот текст изложен неконкретно и непригоден к практическому применению». Второй эпизод – полное игнорирование возможностей, связанных с управлением рисками со стороны регуляторных органов всех без исключения стран СНГ, например возможности сокращения объема входного контроля, объема испытаний при квалификации IQ/OQ, уменьшение объема и периодичности надзорных инспекций и уровня тотального государственного контроля и т.п.

На чем основано отрицание возможностей системы управления рисками у некоторых представителей нашей профессии? Первое,о чем сразу же заявляют скептики – это фактор субъективности, которым якобы сопровождается оценка рисков.Поэтому, давайте на этом и остановимся.

Что такое субъективность? Это все то, что относится к субъекту (всему его психологическому состоянию) и более или менее совпадает с его взглядами, интересами, вкусами и т.д. И ведь действительно все решения, принимаемые при оценке рисков, по своей сути субъективны. Эти решения совпадают со взглядами, с мировоззрением и степенью понимания принципов GMP в группе специалистов конкретного предприятия (словами ICHQ9, субъекта риска).Однако есть и другой вопрос: «А какие решенияможно назвать объективными?». Ведь любое принимаемое решение всегда связано с некой долей неопределенности,на чем бы оно ни основывалось. Не согласны? Очевидно, скажите, что допуск сырья в производство по результатам входного контроля – очень даже объективен, выпуск готовой продукции по результатам оценки досье серии – тоже объективен, принятие решения инспектором о степени соответствия предприятия принципам GMP – это априори объективное решение!Готов поспорить, ведь каждое из этих решений связано с неопределенностью. В отношении первого – всегда есть сомнения в репрезентативности пробы, в отношении второго – хочешь не хочешь, но появляются сомнения в действиях персонала и достоверности данных, представленных в досье серии, а в отношении последнего – все и всегда зависит от компетентности инспектора, его «политической» воли и поставленных перед ним заданий.А следовательно, всегда можно кинуть камень в сторону лица, принимающего решения,в отношении того, что его решения субъективны, а по большому счету и его позиция тоже субъективна. А на вопрос «Насколько мы объективны?», всегда есть ответ «Мы-то точно объективны!», все остальное субъективное мнение! Другими словами, понятие «субъективность» само по себе уже субъективно.

Зачем нам управление рисками?

Основная цель управления рисками – это получение разумной степени уверенности в правильности принимаемых решений, и уменьшение доли неопределенности в отношении последствий таких решений. Соответственно, нашей главной задачей при создании системы управления рисками должна стать не борьба с ветряными мельницами, а создание алгоритма принятия решений, основанных на фактах. Первое что мы должны сделать – организовать слаженную работу команды разнопрофильных специалистов, каждый из которых привносит свои знания, опыт и мнение в общие решения команды. Второе – использовать знания и факты для оценки компонентов риска. И третье – сохранить знания, накопленные командой, и что не менее важно, логику принятия того или иного решения. Первый и третий аспекты– это вопрос ответственности менеджмента предприятия. А вот второй аспект – это и есть фундамент всей методологии оценки рисков.

Что такое риск?

По определению, представленному в ICH Q9 (Часть 3 GMP), риск – это совокупность вероятности и тяжести последствий. Другими словами, критичность риска всегда определяется значением вероятности вреда, умноженного на значение тяжести его последствий.

Риск = Вероятность × Тяжесть последствий вреда

Именно поэтому все методы оценки рисков основаны на последовательном определении потенциальных опасностей, связанных с объектом оценки («Что может случиться?»), выявлении вероятности их появления («Какова вероятность, что это произойдет?») и оценке возможных последствий («Каковы могут быть последствия?»). Т.е. независимо от применяемого метода мы получаем ответ на каждый из трех ключевых вопросов, заявленных в ICHQ9. Ответы на эти вопросы всегда приведут нас к значению риска, которое может быть выражено качественно (риск неприемлемый, серьезный или незначительный) иликоличественно (величина риска в баллах).

Качественная оценка риска

При качественной оценке для установления величины риска (неприемлемый, серьезный или незначительный) необходимо использовать комбинацию принимаемых значений для величин вероятности (низкая, средняя и высокая) и тяжести последствий (низкая, средняя и высокая). Матрица принятия решений для такого случая представлена в виде таблицы 1.

Таблица 1: Матрица качественной оценки рисков

		Последствия вреда
		Низкая	Средняя	Высокая
Вероятность	Низкая	Незначительный риск	Незначительный риск	Серьезный риск
	Средняя	Незначительный риск	Серьезный риск	Неприемлемый риск
	Высокая	Серьезный риск	Неприемлемый риск	Неприемлемый риск

Преимущества качественной оценки риска – простота, удобство и возможность использования бездополнительных расчетов. Однако сложности с которыми специалисты сталкиваются при выборе значений «вероятности» и «тяжести последствий» для конкретных отклонений зачастую непреодолимы.

На практике многие специалисты считают, что качественная оценка риска является основным носителем субъективности принимаемых решений. Поэтому и рекомендуют использование количественной оценки.

Количественная оценка риска

В фармацевтической отрасли количественная оценка традиционно считается более приемлемой для принятия решений, основанных на оценке риска. В отличие от качественной шкалы (низкая, средняя и высокая) для величин вероятности и тяжести последствий принимается соответствующая бальная оценка по количественной шкале. В таблице 2 приведен пример нормирования риска с использованием 10-ти бальной шкалы. При такой шкале значения вероятности и степени тяжести могут варьировать от 1 до 10. Соответственно, и величина риска также будет варьировать от 1 (1×1) до 100 (10×10).

Таблица 2 – Пример количественной оценки риска (в баллах)

Что делать?

На практике для конечного результата оценки рисков абсолютно не принципиален вопрос выбора шкалы или метода оценки рисков. Качественная или количественная шкала, выбранный метод оценки – все это не принципиально. Например, значение вероятности, соответствующее по качественной шкале значению «средняя» может быть также субъективно, как и ее значение в количественном выражении «5 (пять)» по 10-бальной шкале. Выбор метода НАССР в качестве «любимого» вместо FMEA или наоборот тоже субъективен.

Необходимо сосредоточится на другом. Принципиальными должны стать вопросы: «На каких знаниях и данных мы основываемся, принимая величины вероятности и тяжести последствий?», «Какова доказательная база?», «Что считать неприемлемым риском?». Профессионал должен понимать и принимать логику своих оппонентов. А далее либо соглашаться, либо убеждать. Третьего не дано!Еще на этапе подготовки важно сформировать шкалу оценки рисков для любого из применяемых методов оценки. Другими словами необходимо:

1. выбрать дискретность шкалы оценки,
2. каждому значению в шкале присвоить четкую характеристику,
3. определить данные и/или их источники, с помощью которых будет проводиться выбор значения для каждого из компонентов риска,
4. установить критерии критичности для риска.

Нормирование шкалы оценки рисков

Выбор дискретности шкалы

Для качественной оценки риска лучше применять 3-х бальную, либо 5-ти бальную шкалу. Применениешкалы большей размерности может значительно затруднить ее интерпретацию. Для количественной оценки рисков наоборот – больше распространена 5-ти бальная, либо 10-ти бальная шкала.Выбор размерности шкалы не является принципиальным фактором, это больше вопрос предпочтений и привычки.

Интерпретация значений шкалы по компонентам риска

Независимо от типа шкалы и ее размерности каждому значению шкалы необходима характеристика. В таблице 3 приведен один из ее примеров такой интерпретации.

Таблица 3: Характеристика компонентов риска в различных шкалах

Шкала качественной оценки		Тяжесть последствий	Вероятность возникновения	Шкала количественной оценки
3-х бальная	5ти бальная			10-ти бальная	5-ти бальная	3-х бальная
Высокая	Очень высокая	Смерть	Всегда	10	5	3
		Критическое состояние (реанимация, кома)	Практически неизбежно	9
	Высокая	Госпитализация, длительный период	Очень часто	8	4
Средняя		Госпитализация, краткосрочный период	Часто	7		2
	Средняя	Длительная потеря работоспособности, под наблюдением врача без госпитализации	Возможно	6	3
		Краткосрочная потеря работоспособности	Случайность, чаще вызванная  человеческим фактором	5
	Низкая	Временное ухудшение работоспособности	Время от времени	4	2
Низкая		Легкое побочное действие, предусмотренное инструкцией по применению	Очень редко	3		1
	Очень низкая	Незначительные проявления без ухудшения состояния	Практически невозможно	2	1
		Негативных проявлений нет	Невозможно	1

Из таблицы 3 очевидно, что выбор значений для каждого из компонентов риска по количественной шкале в целом аналогичен логике их выбора с использованием качественной шкалы. Другими словами, выбор шкалы и ее размерности при условии их корректного применения не влияет на субъективность оценки рисков.

Нормирование компонента «Тяжесть последствий (вреда)»

Нормировать тяжесть последствий вреда на практике не сложно. Нужно проранжировать тяжесть последствий по отношению к потребителю (пациент, дистрибьютор, процесс, единица оборудования и т.п.). Источниками данных, которые могут использоваться при оценке рисков в конкретных ситуациях могут быть текст утвержденной инструкции по применению, результаты клинических испытаний, данные фармаконадзора и др. Для оборудования может использоваться документация поставщика, международные стандарты и др.

Нормирование компонента «Вероятность»

Выбор значения вероятностиявляетсяпожалуй самой сложной задачей при оценке рисков. Именно на этом этапе возникают дискуссии, споры и ошибочные выводы. Выбортого или иного значения вероятности проявляет все наши предрассудки и фобии.

Давайте вернемся к таблице 3. Например, выбрать значение вероятности между «часто» и «очень часто» просто невозможно без анализа имеющихся фактов и знаний о природе изменчивости объекта оценки риска. Более того, для сохранения значения вероятности после оценки необходимо обеспечить эффективность системы управления отклонениями и изменениями, наладить статистическое управление процессами.

Очень важно иметь четкие критерии и понятную интерпретацию для каждого значения шкалы вероятности. В таблице 4 представлен пример оценки вероятности наступления тех или иных событий с помощью3-х индикаторов. На практике получается использовать от 5 до 12 индикаторов, основанных на статических методах. Источниками данных о вероятности являются Ежегодный Обзор Качества, результаты валидации, отчеты по фармацевтической разработке, досье серии, журналы работы оборудования, отчеты по отклонениям, информация о претензиях, частоте побочных действий в PSUR и т.п.

Таблица 4: Интерпретация шкалы значений для вероятности тех или иных событий

Шкала оценки	Вероятность возникновения	Индикаторы оценки
		Статистические (индексы Ср, Срk)	AQL (по ISO 2859)	Частота побочных действий
10	Всегда	Ср£ 0,67	400	³ 25,0%
9	Практически неизбежно	0,67 < Ср £ 0,83	100	³ 15,0%
8	Очень часто	0,83 < Ср £0,97	65	³ 10,0%
7	Часто	0,97 < Ср £1,01	10	³ 7,5%
6	Возможно	1,01 < Ср £1,10	4,5	£ 5,0%
5	Случайность, чаще вызванная  человеческим фактором	1,10 < Ср £1,18	2,5	£ 1,0%
4	Время от времени	1,18 < Ср £1,33	1,0	£ 0,5%
3	Очень редко	1,33 < Ср £1,45	0,065	£ 0,1%
2	Практически невозможно	1,45 < Ср £1,67	0,025	£ 0,05%
1	Невозможно	Ср³1,67	0,01	£ 0,01%

Выбор критериев критичности риска

Ни одно предприятие не обладает безграничными ресурсами для того, чтобы управлять всеми возможными рисками. Необходимо установить четкие критерии отнесения рисков к неприемлемым, серьезным или незначительным. И для каждого выявленного неприемлемого или серьезного риска необходимо создавать программу по его управлению.

Соответственно, очень важно понять какое сочетание вероятности и тяжести последствий будет приводить к появлению неприемлемого риска.Будет ли риск приемлемым при средних значениях вероятности и тяжести последствий? Если взять количественную оценку по 10-ти бальной шкале это будет соответствовать величине риска равной 25 (5×5) баллам.Или для того, чтобы считать риск неприемлемым необходимо, чтобы один из его компонентов был близок к максимальному значению? Например, при вероятности в 5 баллов, но с допустимой степенью тяжести последствий 8 баллов, величина риска будет соответствовать значению 40 (5×8) баллов (а это как минимум, длительная госпитализация «счастливого»обладателя препарата, который по своей сути должен быть безопасным).

Выбор пороговых значений критичности риска является судьбоносным. Если мы завысим порог критичности большинство потенциально опасных ситуаций останутся неуправляемыми; а если, наоборот занизим, не меньшее количество безопасных ситуаций будет требовать управления и в результате произойдет «распыление» как внимания, так и ресурсов. Единого рецепта нет, все зависит от подхода команды по оценке риска и критичности оцениваемого объекта. Но проблема даже не в этом. В таблице 5 приведена ситуация, когда одному и тому же количественному значению риска может соответствовать разная качественная характеристика. 

Таблица 5: Интерпретация числового значения риска

Вероятность (Р)	Тяжесть последствий (S)	Величина риска (P×S)	Примечание
3	9	27	Это «Неприемлемый риск», т.к. имеет хоть и низкую, но вероятность критических последствий для потребителя
9	3	27	По своей сути это «Серьезный риск»,потому что несмотря на его высокую вероятность, он не сможет причинить большого вреда потребителю

Из таблицы 5 очевидно, что тяжесть последствий является более значимым фактором риска, нежели его вероятность. Поэтому количественная оценка рисков не может основываться только на «магии чисел». Но это и не значит, что нам нужно сомневаться в каждой полученной цифре. На практике достаточно установить предельные значения по каждому из компонентов риска. Ниже представлен фрагмент одного из возможных алгоритмов оценки.

Заключение

Субъективность в худшем понимании этого слова проявляется не в методологии оценки рисков или в выбранном методе оценки (качественный или количественный). Плохой ту или иную методологию делают не методы, но люди. Субъективность – это в мозгах. На практике легко навесить ярлыки «Осторожно!», «Субъективно!», «Некомпетентно!», «Не пригоденк применению!» и все, – точка. Зачем напрягаться? Зачем разбираться? Главное понимать, что во многом этот пресловутый фактор субъективности зависит от того каково чувство меры у участников команды по оценке риска.

Поэтому, говорить о субъективности оценки рисков как минимум не корректно, ведь любые решения, принимаемые кем-либо (другими словами, субъектом) по своей природе субъективны. Говорить нужно об ошибочной оценке одного или всех компонентов риска, основанной на фобиях, предрассудках и самонадеянности. Говорить нужно об ответственности руководителей, их личных качествах и уважении ими своего потребителя. Говорить нужно о нашей славянской ментальности, основанной не на фактах и логике, а на эмоциях и интуиции. Но поверьте, дело совсем не в ментальности работников, привлеченных к оценке рисков. Корень мнимой субъективности – в качестве обучения и корректности оценки рисков, навязанной тренером. 

Версия для печати