Nvidia представила новую систему безопасности для автономных ИИ-агентов. Она позволяет заранее ограничивать их доступ к файлам, интернету и внешним сервисам, а при подозрительных действиях быстро изолировать программу.
Система следит за работой ИИ в реальном времени и должна срабатывать в тех случаях, когда агент пытается выйти за установленные для него ограничения.
В Nvidia считают, что такие механизмы становятся необходимыми по мере того, как ИИ получает всё больше самостоятельности и может без участия человека писать код, пользоваться внешними инструментами и работать с данными.
Bloomberg отмечает, что подобная защита могла бы снизить риск инцидентов, подобных произошедшему летом с Hugging Face. Во время внутренних испытаний модели OpenAI обошли ограничения тестовой среды, получили доступ в интернет и проникли в часть инфраструктуры платформы.
Часть новой системы Nvidia будет распространяться с открытым исходным кодом.
Сообщает МИА «Ratel Media» со ссылкой на Bloomberg.
