Как поймать ИИ с поличным?

И. Иванов
(«ХиЖ», 2023, №6)

Обучаемые алгоритмы часто взаимодействуют друг с другом и с людьми. Это автономные дроны в небе, автомобили и доставщики еды на дорогах, роботы в госпиталях и др. Что знает их ИИ? Это стало животрепещущей проблемой компаний и людей, заботящихся о сохранности своих данных. Такие вопросы и опасения вызваны резким увеличением в мире числа устройств с ИИ.

В последние несколько месяцев в Интернете наблюдается взрывной рост интереса к обучаемым алгоритмам, способным рисовать картинки по описаниям или создавать тексты по заданным темам. Необходимость проверять и контролировать их работу стала насущной. Особенно это касается поддержания приватности и целостности источников данных для таких программных пакетов.

Однозначно ответить на вынесенный в заголовок вопрос взялись исследователи университета Суррея, возглавляемые доктором Солофомампионона Фортунат Раджаона (Solofomampionona Fortunat Rajaona) из лаборатории формальной верификации приватности. Они разработали программу, которая определяет, какой конкретно информацией владеют алгоритмы искусственного интеллекта и какие данные они извлекают из баз данных.

Новое программное обеспечение можно применять как протокол безопасности компании, работающий онлайн. Он поможет понять, не получил ли ИИ избыточные для него сведения и не приобрел ли он доступ к чувствительным для компании данным. Софт также определяет, не обладает ли ИИ возможностью использовать «дыры» в программном обеспечении и не реализовал ли он уже такую возможность. К примеру, в контексте онлайн-игр и ставок на тотализаторе пакет программ выполняет работу службы безопасности казино и выясняет, не научился ли ИИ постоянно выигрывать за счет программных ошибок кода. Пакет программ даже узнает, способен ли ИИ к успешной кооперации с софтом фирмы и нет ли у него знаний и способностей для преодоления границ безопасности в будущем.

Доктор Раджаона отмечает, что на создание работающего пакета программ ему потребовались годы усилий. Он уверен, что теперь пользователи смогут сами решать, какой ИИ безопасен для них. Пакет программ выиграл соревнование на лучшее исследование на 25 международном симпозиуме по формальным методам.

Разные разности
Белая подруга
В многочисленной березовой семье не без урода. Есть в ней необычные деревья — белоствольные, но низкорослые, извилистые и с большими наростами. Однако это именно тот случай, когда вся красота спрятана внутри, потому что это — карельская бер...
Почему заржавел Марс?
Что придает Марсу ржаво-красный цвет? За это должна отвечать какая-то форма оксида железа. Но вопрос — какая именно? Действительно, железо в изобилии присутствует в марсианских породах, и оно могло окислиться, заржаветь. Однако оксидов железа мн...
Противоестественная эволюция
Если сравнить фотографии носорогов, сделанные за последние полтора столетия, то бросается в глаза, что рога носорогов стали заметно меньше. Почему такой поворот эволюции? А потому, что в нее вмешался человек.
Люблю грозу в начале марта
Помните у Тютчева: «Люблю грозу в начале мая,/ Когда весенний, первый гром…»? Фёдор Иванович написал эти строки 197 лет назад. Но за два прошедших столетия многое изменилось. Сегодня строки Тютчева нуждаются в редактуре по существу и должны звуч...