Об этом шла речь на сессии «Не навреди. Подходы к обеспечению и доказательству функциональной безопасности современных систем управления», которая прошла в рамках Международной научно-практической конференции «PRO//Движение.Транспортные системы управления» в Нижнем Новгороде.

Для разработчиков систем с использованием искусственного интеллекта (ИИ) сегодня самым главным является вопрос безопасности, сообщил первый заместитель генерального директора АО «НИИАС» Ефим Розенберг. «У интеллектуальных управляющих систем, которые могут быть использованы на железной дороге, существует несколько проблем с безопасностью, а именно нечёткая архитектура, наличие большого количества уязвимостей и изменение параметров в результате обучения, – отметил он. – Те же системы технического зрения сильно зависят от погодных условий. Поэтому необходимо серьёзное математическое обоснование для их безопасности. Без этого верить просто качественному анализу уже нельзя».

Доказательств безопасности ИИ действительно не существует, подтверждает заместитель генерального директора АО «НИИАС» Ароп Хатламаджиян: «Классическая нормативная база для ИИ не работает, поскольку у нейронных сетей нет предсказуемых режимов отказа, а их нелинейность ломает все классические методы верификации. Есть определённая методология проверки, которая позволяет заказчику немного успокоиться, но выхода из этой методологии в сторону доказательств всё равно не вижу. Поэтому пока невозможно представить разрешения к эксплуатации на сети нейронных систем».

Сейчас НИИАС прорабатывает два пути для выхода из этой ситуации. Первый – метод Simplex, ограничение ИИ контуром безопасности. При нарушении контроллером ИИ этого контура следует мгновенный переход на контроллер безопасной остановки. Метод уже применяется. Второй – это создание доверенного ИИ, взаимодействующего с человеком без ограничений. Для этого нужно использовать определённые принципы: модульность архитектуры, контроль входных данных, валидация с учётом контекста, понятность решений. Есть также определённые технические и организационные меры, которые должны обеспечить надёжность и предсказуемость его действий.

Также НИИАС разрабатывает и систему проверки ИИ. «Суть разработанных систем проверки безопасности ИИ заключается в сочетании эвристики и математических моделей безо­пасности и надёжности системы со строгими математическими методами анализа. Аналитическая оценка безопасности достигается путём граничных многоэтапных расчётов», – заявил Ароп Хатламаджиян.

ИИ в системах по организации работы движения поездов требует очень высокой квалификации сотрудников, которые его настраивают и обучают, поэтому ещё необходимо потратить определённое время, чтобы ему можно было полностью доверять, заметил первый заместитель генерального директора ОАО «РЖД» Сергей Кобзев.

«В ОАО «РЖД» определили ряд направлений, которые будут развивать при работе с ИИ, но мы чётко понимаем, что дальнейшее развитие железной дороги без него невозможно, – заявил Сергей Кобзев. – ИИ экономит много времени, позволяет просчитывать быстрое изменение логистики, создавать доверенную среду для парт­нёров, для которых важно сохранение коммерческой тайны».

Нейронные сети в области железнодорожного транспорта уже широко используются в ряде областей, например в дефектоскопии и при обследовании пути. ИИ используется для обработки полученных данных, и это уже существенно сократило время выдачи рекомендаций. Получить план работы на инфраструктуре после прохода вагона-измерителя с помощью ИИ стало уже обычной практикой.

Сергей Плетнёв