Студенты Северо-Кавказского федерального университета разработали прототип анализатора нейронных сетей, способного обнаруживать уязвимости в системе и защищать ее от состязательных атак.
Этот программный комплекс способен идентифицировать поддельные данные в нейронных сетях и предлагать методы усовершенствования их устойчивости. Состязательные атаки злоумышленников направлены на искажение информации с целью ввести систему в заблуждение и получить неверные результаты. Анализатор нейронных сетей призван предотвращать такие атаки и обеспечивать защиту системы.
«Нейросети имеют большой потенциал в анализе вредоносных программ. Они позволяют буквально сканировать файлы на наличие искаженных компонентов. Разработки наших ученых направлены на повышение безопасности и устойчивости к кибератакам в самых разных сферах деятельности. Это особенно важно, учитывая постоянно увеличивающееся число киберугроз, направленных против информационных систем нашей страны», — отметил ректор СКФУ Дмитрий Беспалов.
Предложенный анализатор работает по определенному методу ученых СКФУ: если нейронная сеть выдаёт неправильные данные, то при проверке на правильных данных она будет делать ошибки. Чем больше ошибок на определённом элементе, тем вероятнее искажение этого элемента. Для создания анализатора студенты СКФУ Глеб Дюдюн и Денис Котляров использовали нейронную сеть и её параметры. На основе этого они создали копии сети с такими же параметрами, но обучали их на правильных ответах.
«Анализатор поможет повысить уровень безопасности и надежности нейронных сетей в различных прикладных областях. Применяться разработка может в интеллектуальных системах видеонаблюдения, которые сейчас активно использует ГИБДД или диспетчерские службы, способные по изображению опознать злоумышленника. Если кибермошенник получит доступ к данной системе и изменит алгоритм своего распознавания, на котором обучается нейросеть, то он всегда будет уходить незамеченным и даже в повседневной жизни не будет обнаружен», — рассказал автор разработки, студент Института цифрового развития СКФУ Глеб Дюдюн.
На простых вариантах атаки он показал себя успешно и уже сейчас планируется масштабирование. Конечная цель разработки — создание программного обеспечения.
Научные исследования ребят прошли апробацию на Коллоквиуме молодых исследователей по программной инженерии в мае 2023 в Перми. Исследования студентов опубликованы в журнале ВАК «Труды Института системного программирования РАН».
