В России появилась первая система мониторинга и защиты ИИ от кибератак

САНКТ-ПЕТЕРБУРГ, 6 августа. /ТАСС/. Первую отечественную систему защиты искусственного интеллекта от кибератак HiveTrace создали магистранты ИТМО совместно с экспертами компании Raft. Разработка совместима с любыми открытыми или закрытыми ИИ-моделями, сообщили в пресс-службе ИТМО.

"Чтобы защитить ИИ от появляющихся уязвимостей, компания HiveTrace, в которую входят студенты онлайн-магистратуры AI Talent Hub ИТМО, при поддержке IT-компании Raft разработала HiveTrace. Это первая в России система защиты на основе ИИ, которая отражает кибератаки на веб-приложения с генеративным ИИ", - отмечается в сообщении.

Разработка совместима с любыми популярными ИИ-моделями, независимо от того, открытые они или закрытые. Такая совместимость позволяет компаниям гибко настраивать правила безопасности под собственные требования.

Система защищает ИИ-модели от 7 из 10 наиболее критичных уязвимостей. В будущем планируется увеличить количество функций, позволяющих бороться не только с существующими, но и зарождающимися киберугрозами. Система борется с промт-инъекциями, утечками конфиденциальной информации и системных инструкций, некорректной обработкой входных данных, чрезмерным использованием LLM-агентов, уязвимостями в обработке векторов и эмбеддингов, а также неограниченным потреблением вычислительных ресурсов.

"Зарубежный рынок предлагает много аналогов, но они не адаптированы под наш рынок и русский язык. Российские компании еще в начале пути по внедрению ИИ в бизнес-процессы, но со временем необходимость в защите ИИ-решений только увеличится. Крупные технологические компании обладают экспертизой в области защиты ИИ-систем, но существующие разработки созданы для внутренних задач и недоступны на рынке. Для остальных компаний, которые внедряют GenAI, нужны продукты для защиты ИИ", - приводятся слова СЕО компании HiveTrace, руководителя AI Security лаборатории ИТМО Евгения Кокуйкина.