Как построить систему управления модельным риском

Автор: Полина Суслова, руководитель направления, «Квадриум-Системы», член Ассоциации «Институт внутренних аудиторов»1

Геннадий Бережной, управляющий партнер, «Квадриум-Системы»

I. Зачем управлять модельным риском?

Модель – это количественный метод или система, которая с помощью статистических, экономических, финансовых или математических методов преобразует входные данные в количественные оценки, используемые для принятия решений или реализации иных управленческих задач. Сфера применения моделей постоянно растет ввиду расширения области применения цифровых технологий. Согласно данным исследования, проведенного MarketsandMarkets, объем рынка MLOps-систем вырастет с 1,1 млрд. долларов США в 2022 году до 5,9 млрд. долларов США к 2027 году при среднегодовом темпе роста 41,0% в течение прогнозируемого периода2. Возрастает сложность используемых методов и алгоритмов, что существенным образом увеличивает вероятность модельного риска и, соответственно, вынуждает организации заниматься построением зрелых практик управления модельным риском.

Модельный риск – это риск процессов, связанных с разработкой, внедрением и применением моделей. Источниками модельного риска могут быть:

1) Персонал: ошибки и неверные допущения при разработке модели, неконтролируемое изменение данных, внесение искажений.

2) Недостатки организации процесса: неполнота, недостаточность или низкое качество используемых данных, неактуальные подходы, необоснованное расширение сферы применения модели, несоответствие модели бизнес-задачам, ошибочная интерпретация результатов, отсутствие четких критериев валидации, калибровки, бэктестинга и т.д.

3) Сбои и недостатки информационных систем, применяемых на любом этапе жизненного цикла модели.

4) Внешние обстоятельства: например, низкое качество внешних данных.

В России практики управления модельным риском находятся в стадии становления. Существует ряд законодательных актов Банка России, которые регулируют данный вопрос для банков и устанавливают общие требования к процедурам управления модельным риском. Включение его в периметр регулирования отвечает вызовам, связанным с расширением сферы применения информационных технологий.

Международные подходы и рекомендации по управлению модельным риском также основаны на опыте реализации модельного риска в финансовых институтах. Перечень ключевых нормативных документов по управлению модельным риском приведен ниже:

Регулирование в РФ

  • Указание Банка России № 3624-У от 15.04.2015 «О требованиях к системе управления рисками и капиталом кредитной организации и банковской группы»

  • Положение Банка России № 483-П от 06.08.2015 «О порядке расчета величины кредитного риска на основе внутренних рейтингов»

  • Положение Банка России № 716-П от 08.04.2020 «О требованиях к системе управления операционным риском в кредитной организации и банковской группе»

Международные подходы

  • Basel Committee on Banking Supervision May 2005 «Studies on the Validation of Internal Rating Systems»

  • US Federal Reserve Policy 01.04.2011 SR 11/7 «Guidance on Model Risk Management»

  • Bank of England April 2018 «Model risk management principles for stress testing»

  • European Central Bank Banking April 2021 «Supervisory Guidance On Model Risk Management»

Построение системы модельного риск-менеджмента имеет следующие цели:

  • предвидеть потери заранее и предотвратить их посредством создания контрольной среды и системы митигирующих мер (соответственно, основная конечная цель – рост доходов и снижение убытков);

  • информированность о возможных или фактических уязвимостях в работе моделей, оперативное принятие решений по их устранению;

  • повышение качества процессов, в которых задействованы модели, путем улучшения дискриминирующей/ предиктивной способности моделей и стабильности работы, и, как следствие, повышение качества принимаемых решений.

Построение системы модельного риск-менеджмента – сложный процесс, требующий трудозатрат и денежных затрат, а также масштабной трансформации внутренних процессов. Важность задачи управления модельным риском зачастую недооценивают ввиду следующих причин:

1) Отсутствие в организации стандартов моделирования, понимания и желания разобраться, что именно является моделью. Распространенным заблуждением является признание моделью только

полностью автоматических моделей, либо исключительно моделей количественной оценки рисков.

2) Отсутствие в России устоявшихся практик управления и регулирования в отношении модельного риска. Даже для кредитных организаций Банком России устанавливаются только общие правила, нет четких требований и ожиданий регулятора, каким именно образом должна быть выстроена система управления модельным риском.

3) Техническое и методологическое разнообразие применяемых моделей, разные разработчики и группы пользователей моделей (например, каждое подразделение самостоятельно разрабатывает модели), и как следствие, сложность централизации данного процесса. Основные этапы жизненного цикла моделей находятся в разных системах, что также усложняет внедрение, валидацию, мониторинг моделей, и понимание общей картины модельного ландшафта.

4) Незрелость систем управления нефинансовыми рисками. Предлагаемые теоретические подходы не всегда удается перевести в практическую плоскость.

5) Недостаточно высокий уровень риск-культуры. Риск-ориентированный менеджмент зачастую вводится формально и воспринимается как инструмент обеспечения регуляторного соответствия, а не как инструмент эффективного корпоративного управления, который помогает организации снизить объем потерь и повысить качество внутренних процессов.

6) Недостаточность исторических данных о событиях модельного риска. Как правило, их выявляет подразделение валидации. При отсутствии налаженной функции валидации в организации такие события трудно идентифицировать.

Рассмотрим вопрос построения системы модельного риск-менеджмента на примере банковского сектора. Именно в банках область применения моделей и, как следствие, подверженность модельному риску достаточно широка. В банках применяются:

  • системы принятия решений, скоринговые модели, кредитные конвейеры, в том числе включающие оценку доходов и долговой нагрузки клиентов;

  • модели оценки кредитоспособности контрагентов, эмитентов ценных бумаг;

  • модели по выявлению внешнего и внутреннего мошенничества (антифрод-модели), транзакционный скоринг, модели в рамках ПОД/ФТ;

  • модели управления наличным денежным оборотом (пополнение банкоматов);

  • финансовые модели: планирование, бюджетирование, ценообразование, планирование резервов и стоимости риска (cost of risk);

  • модели взыскания (collection), например, collection-scoring;

  • маркетинговые и продуктовые модели, прогнозирующие приток/ отток клиентов;

  • модели количественной оценки рисков, PD-модели, оценка залогов, VaR, модели оценки ожидаемых кредитных убытков и т.д.

Зачастую банки не признают и не считают нужным управлять модельным риском, потому что у них отсутствует понимание, сколько они теряют вследствие ошибок и недостатков работы моделей, так как подобная оценка никогда не проводилась.

Если отсутствует независимая валидация, процедура мониторинга моделей и контроль за их жизненным циклом, а также не оценивается влияние ошибок в моделях на финансовый результат, на резервы и достаточность капитала, то банк не имеет представления о подверженности модельному риску и его негативных последствиях. Таковыми могут быть прямые потери на финансовый результат либо недополученные доходы как следствие принятия неверных решений, а также репутационные/ имиджевые потери в случае невыполнения банком своих обязательств перед клиентами и контрагентами. Также Банк России может отказать банку в ходатайстве о переходе на подход оценки кредитного риска на основе внутренних рейтингов (ПВР)3 в случае признания моделей количественной оценки кредитных рисков не соответствующими требованиям Положения Банка России от 06.08.2015 № 483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов».

Таким образом, для управления модельным риском и снижения потерь от его реализации нужно выстроить систему модельного риск-менеджмента, которая будет не только отслеживать поведение моделей, включая случаи ошибок, но и заранее предупреждать о возможном наступлении событий модельного риска.

II. Как управлять модельным риском?

После того, как банк приходит к пониманию, что необходимо управлять модельным риском, возникает вопрос: каким образом это делать?

1) Задачей № 1 является задать дизайн и ролевую модель системы управления модельным риском. Она декомпозируется на следующие элементы:

  • Создание среды: должны быть определены участники системы, их роли и порядок взаимодействия;

  • Общее понимание модели: чтобы у менеджмента и всех участников процесса было единое понимание, что является моделью;

  • Вовлечение топ-менеджмента: ввиду множества участников модельного процесса, разнообразия технологий без вовлеченности руководства не получится эффективно его выстроить и централизовать. Необходимо вовлечь бизнес-владельцев моделей, разработчиков, риск-менеджмент, валидацию и внутренний аудит, чтобы все понимали стратегическую значимость управления модельным риском. Важно понимать, что без вовлечения бизнес-подразделений (владельцев моделей) система модельного риск-менеджмента будет неэффективной и носить формальный характер.

Дизайн системы модельного риск-менеджмента выстраивается с учетом Модели трех линий [защиты], см. Таблицу 2:

Элемент системы модельного риск-менеджмента

Управление контрольной деятельностью
(1-я линия защиты)

Управление риском
(2-я линия защиты)

Управление аудитом
(3-я линия защиты)

Ответственное подразделение

  1. Бизнес-подразделения – владельцы моделей

  2. Подразделения, разрабатывающие модели

  1. Подразделение риск-менеджмента или специализированное подразделение по управлению модельным риском

  2. Подразделение валидации (обособлено и независимо от риск-менеджмента)

Подразделение внутреннего аудита

Ключевые функции

Регулярный мониторинг работы моделей, контрольная деятельность

  1. Работа с реестром моделей, рейтингование моделей и управление моделями на агрегированном уровне

  2. Валидация моделей

Оценка эффективности функционирования системы в целом

Инструмент автоматизации функционала

ModelOps-система (система операционализации мониторинга моделей)

GRC4-система с модулем по управлению модельным риском

GRC-система с модулем по управлению внутренним аудитом

Ролевую модель необходимо разрабатывать с учетом разграничения конфликта интересов. Например, конфликт интересов может проявляться в виде совмещения функций разработки и валидации модели, функции валидации модели и управления риском в рамках одного подразделения. В идеале, подразделения, выполняющие функции 1-й, 2-й и 3-й линии защиты в рамках модельного процесса, должны быть подчинены разным курирующим топ-менеджерам.

2) Задача № 2 – собрать полные сведения обо всех моделях и участниках модельного процесса после того, как банк утвердил понятие модели и определил функционально-ролевую модель системы.

Чтобы иметь полное представление о модельном ландшафте, необходимо систематизировать перечень моделей и их влияние на банк. Для более детальной аналитики и контроля жизненного цикла по версиям модели рекомендуется фиксировать следующую информацию:

  • сведения о сотрудниках, ответственных за данную модель в рамках жизненного цикла: владелец (со стороны бизнеса), разработчик, валидатор;

  • тип модели, сведения об инструментах мониторинга, показатели (метрики) для целей мониторинга модели;

  • сведения об истории жизненного цикла модели, отклонениях фактических сроков реализации модели от первоначально заданных: первоначальная/ ожидаемая/ фактическая дата подготовки предложения по модели; первоначальная/ ожидаемая дата формирования определения модели, планируемая/ предельная/ фактическая дата завершения разработки, первоначальная/ фактическая/ ожидаемая дата утверждения модели и прочее;

  • входные и выходные данные;

  • информация об использовании модели: статус, использующее подразделение, дата развертывания и т. д.;

  • сведения о проведенных оценках модели и их параметрах;

  • расписание валидации;

  • прочие характеристики модели.

3) Задача № 3 – выстроить процесс анализа и оценки с учетом модельного ландшафта и особенностей отдельно взятого банка. Анализу должны быть подвергнуты все идентифицированные модели, а не только полностью автоматизированные модели и модели количественной оценки рисков. Для этого требуется:

  • внедрить стандарты и процедуры управления модельным риском;

  • внедрить систему рейтингования моделей, учитывающую уровень риска и влияние модели на бизнес;

  • оценить риск по каждой отдельно взятой модели, в первую очередь, по моделям, которые имеют критическую значимость для деятельности банка;

  • оценить риск по портфелю моделей (подверженность риску в целом);

  • встроить функцию валидации и систему контроля качества данных в систему управления модельным риском;

  • проработать систему мотивации для участников процесса управления моделями.

Важно помнить, что для реализации данных задач требуется высококвалифицированный персонал с компетенциями в сфере управления рисками и анализа данных. При этом их карьерные перспективы размыты, поскольку результат работы часто является неочевидным и непонятным лицам, принимающим решения. Поэтому для обеспечения вовлеченности в систему модельного риск-менеджмента необходимы единое информационное пространство, а также материальные стимулы. Вовлеченность достигается посредством декомпозиции и оцифровки задач управления жизненным циклом моделей в КПЭ (ключевых показателях эффективности), с учетом влияния моделей на бизнес: определяются целевые/ контрольные показатели в разрезе моделей, направлений деятельности, бизнес-процессов, подразделений-участников модельного процесса и топ-менеджмента с учетом их зон ответственности. Например, в качестве таких показателей могут быть использованы: соблюдение сроков разработки и внедрения, качество данных, частота/ характер вносимых изменений, последние результаты независимой валидации. Состав КПЭ банк определяет самостоятельно, при этом они должны быть прозрачны и понятны всем участникам модельного процесса.

Единое информационное пространство реализуется посредством внедрения автоматизированной системы. Она является инструментом поддержки данного процесса. Но если процессы не выстроены должным образом, без учета масштаба, специфики банка и его модельного ландшафта, то не будет и положительного эффекта от автоматизации.

III. Каким образом модельный риск связан с кредитным риском?

Модельный риск, в соответствии с подходами Банка России, рассматривается как разновидность операционного риска5. Одним из видов прямых потерь от операционного риска является начисление резервов на возможные потери и резервов на возможные потери по ссудам по причине реализации операционного риска. Таким образом, модельный риск в силу своей специфики может быть связан с иными рисками, в частности, с кредитным риском. Если рассматривать массовые сегменты кредитования, в частности, кредитование МСБ, розничное кредитование или кредитные карты, то значительный объем рисков может носить не финансовую (неисполнение заемщиком обязательств), а модельную природу, когда действующие модели принятия решений «пропускают» недобросовестных/ неплатежеспособных заемщиков. Таким образом, причиной реализации риска в таком случае будут недостатки либо ошибки в работе одной из моделей, используемых в кредитном процессе (см. Рис. 1).

Рис. 1. Связь модельного риска с кредитным риском

В рамках системы интегрированного риск-менеджмента аналитика конверсии модельного риска в кредитный риск необходима, чтобы понимать, какой именно объем дефолтов обусловлен недостатками работы моделей, а не факторами, связанными с деятельностью заемщика, чтобы применить правильные митигирующие меры. При наличии единого информационного пространства, где ведется версионирование моделей оценки кредитоспособности и моделей кредитного конвейера, можно проводить винтажный анализ уровня дефолтов по кредитам, выданным в период действия версии модели и проводить комплексный анализ рисков, связанных с трансформацией процесса принятия решений. Так можно проводить оценку винтажных PD6, а также анализировать предикативную способность моделей ожидаемых кредитных убытков (МСФО 9) в кризисные периоды. При выявлении закономерностей можно произвести «примерку» данных кейсов с реализацией риска на другие схожие модели и внедрить систему индикаторов раннего предупреждения дефолтности: это является митигирующим действием по устранению потенциального кредитного риска.

Таким образом, чтобы своевременно предотвращать потери банка, связанные со снижением качества работы моделей, необходимо точно идентифицировать ту версию модели, которая привела к убыткам, и провести необходимые действия по донастройке или перекалибровке действующих моделей, которые могут быть подвержены такому же риску. Данная задача требует точных аналитических инструментов и консолидации данных о моделях в едином информационном пространстве, куда имеют доступ все участники модельного процесса.

IV. Как можно автоматизировать процесс управления модельным риском?

Существует два типа программных продукта для решения разных классов задач в рамках системы модельного риск-менеджмента:

  • Системы для управления риском: GRC-системы для ведения реестра моделей, управления жизненным циклом и валидацией;

  • Системы для операционализации мониторинга моделей и модельного процесса: ModelOps-системы, интегрированные с моделями и корпоративными хранилищами данных.

В простом случае GRC-система может быть использована как ModelOps-система и реализовывать функции операционализации мониторинга моделей в отношении небольшого количества несложных моделей. В случае большого количества моделей для целей операционализации мониторинга рационально использовать ModelOps-системы. GRC-система при этом должна быть способна взаимодействовать с множеством ModelOps-систем, получая как результат тестирования моделей значения метрик моделей, которые с точки зрения GRC-системы являются ключевыми индикаторами рисков (КИР: например, коэффициенты Gini, PSI, CSI и прочие). Если по какому-либо из КИР модели возникает оповещение (alarm signal), то это является основанием для ее перекалибровки или внеплановой валидации, и в GRC-системе должна формироваться соответствующая задача для владельца или разработчика модели.

Преимущества готового GRC-решения как инструмента автоматизации процесса управления жизненным циклом моделей очевидны. Именно благодаря ему осуществляется связывание модели и риска, что позволяет:

  • проанализировать функции в рамках модельного процесса и дедуплицировать их;

  • производить контроль за версионностью моделей и анализ эффективности вносимых в модель изменений;

  • осуществлять централизованный мониторинг и контроль уровня риска (в том числе контроль своевременности мониторинговых тестов модели и исполнения плана-графика валидации);

  • фиксировать инциденты и события модельного риска;

  • оперативно получать информацию об основных переменных, рейтингах моделей, распределении моделей по бизнес-направлениям, а также об ухудшении трендов через систему контрольных показателей, отчетности и дашбордов.

Зрелая ModelOps-система, в свою очередь, может быть использована как единая система операционализации мониторинга разрозненных моделей, реализованных на разных технологических инструментах. Инструменты мониторинга моделей позволяют выполнять тестирования моделей в разных математических и вычислительных средах, используя данные произвольных информационных систем. Результаты мониторинга и проведенных тестов передаются в GRC-систему, где уполномоченным сотрудником выносится заключение о регрессе модели, необходимости ее доработки или перекалибровки.

Одной из важнейших для бизнеса задач, которую решает внедрение ModelOps-системы, является ускорение перехода модели в эксплуатационную фазу. Это достигается благодаря стандартизации интерфейсов взаимодействия моделей с инфраструктурой ИТ и приведению моделей к этим стандартам. Таким образом, введение новой версии модели в эксплуатацию существенно ускорится и не превратится в отдельный интеграционный ИТ-проект, когда каждая модель существует изолировано в рамках своей среды. Ускоряя процесс разработки и развертывания модели, банк может повысить/ ускорить клиентский путь7, и, как следствие, нарастить прибыль.

Подводя итог, ответим на вопрос: какими качествами должен обладать программный продукт по управлению модельным риском?

1) Формировать и поддерживать базу данных о моделях, истории и логике принятых решений в едином информационном пространстве.

2) Проводить оценку влияния моделей на финансовый результат и достаточность капитала, в том числе с учетом взаимного влияния моделей друг на друга.

3) Предлагать систему оперативного контроля риска по моделям (Embedded operational control system) с возможностью измерения модельного риска по утвержденной методологии.

4) Вести библиотеку шаблонов мониторинга и валидации.

5) Обеспечивать возможность контроля качества данных, используемых при создании и в процессе использования моделей.

6) Работать с большим потоком информации и интегрироваться с необходимыми системами ModelOps и ландшафтом ИТ.

И, что не менее важно, должно быть желание и готовность менеджмента инвестировать в систему модельного риск-менеджмента. Если проанализировать исторические потери от реализации модельного риска (дефолты, штрафы надзорных органов, расходы на устранение последствий риска) и потенциальную экономию капитала, внедрение системы модельного риск-менеджмента и ее автоматизация станет оправданным решением. Результатом, который получит компания, будет снижение потерь, сохранность капитала и повышение качества процессов работы с моделями.

* * *

В текущих условиях одной из наиболее ключевых задач в области индустрии ИТ является импортозамещение решений зарубежных вендоров ПО. Данный тренд затронул также автоматизацию систем корпоративного управления и систем управления рисками. Для российских ИТ-компаний это открывает возможности расширения своей рыночной ниши. Но в то же время важно, чтобы отечественные решения не являлись прямой адаптацией западных аналогов, а предлагали продукт, учитывающий потребности рынка, разработанный с учетом лучших практик, накопленных знаний и опыта в автоматизации управления отдельными видами рисков.

Приведенные в настоящей статье практики и подходы используются в качестве теоретической базы для разработки программного модуля Model Risk Management системы Quadrium ActiveGRC. Система разрабатывалась с учетом подхода Gartner к интегрированному управлению рисками (IRM), который предполагает комплексное управление рисками организации в рамках единой платформы и ее программных модулей. Благодаря отсутствию барьеров между сегментами и видами рисков, пользователи получают полную консолидированную картину по всему пространству рисков, в том числе данные о потерях и событиях на стыке нескольких рисков (например, кредитного и модельного рисков).


1. Ассоциация «Институт внутренних аудиторов» (Ассоциация «ИВА»), зарегистрированная в 2000 г., является профессиональным объединением внутренних аудиторов, внутренних контролеров и работников других контрольных подразделений российских компаний и организаций. Подробности на сайте www.iia-ru.ru

2. MLOps Market by Component (Platform and Services), Deployment Mode (Cloud and On-premises), Organization Size (Large Enterprises and SMEs), Vertical (BFSI, Healthcare and Life Sciences, Retail and eCommerce, Telecom) and Region — Global Forecast to 2027

3. Указание Банка России от 06.08.2015 № 3752-У «О порядке получения разрешений на применение банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков в целях расчета нормативов достаточности капитала банка, а также порядке оценки их качества».

4. Governance, Risk management & Compliance.

5. Положение Банка России от 08.04.2020 № 716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе».

6. PD (probability of default) – вероятность дефолта.

7. Применимо к CRM-системам.

Комментарии закрыты