Microsoft продолжает укреплять свои позиции в области безопасности искусственного интеллекта, выпуская PyRIT — открытый инструмент для оценки рисков в генеративных AI. Этот набор инструментов позволяет связывать наборы данных с целями и оценивать результаты, как в облаке, так и с локальными моделями.
PyRIT, что расшифровывается как Python Risk Identification Tool for generative AI, предназначен для работы как с локальными моделями, так и с облачными сервисами. Он позволяет создавать наборы данных с статическими и шаблонными подсказками, а также проводить атаки на модели с использованием одиночных или многократных подсказок в диалоге. Результаты тестирования сохраняются в различных форматах для дальнейшего анализа.
Инструмент предлагает пользователям возможность настраивать атаки, используя "оркестраторы", которые связывают наборы данных с целями. PyRIT также поддерживает работу с многофункциональными моделями, что позволяет тестировать компьютерное зрение и распознавание речи.
Кроме того, PyRIT включает в себя DuckDB базу данных для управления историей взаимодействий и оценками, что упрощает анализ данных с помощью Excel или Power BI. Это делает его полезным инструментом для команд, работающих над безопасностью AI.
С помощью PyRIT Microsoft стремится не только выявлять уязвимости, но и предотвращать атаки, обеспечивая надежную защиту своих AI-сервисов. Важно помнить, что безопасность AI требует как традиционных методов, так и новых подходов в области инженерии подсказок и науки о данных.