Open Data Institute (ODI) продолжает продвигать идею о том, что основа доверительного искусственного интеллекта (AI) заключается в качественных данных. С недавним обновлением Croissant 1.1, которое уже активно используется такими компаниями, как Hugging Face и Kaggle, к экосистеме присоединились новые участники, включая Common Crawl и Encord. Это обновление подчеркивает важность не только свойств моделей, но и качества данных, которые их питают.
Croissant 1.1 представляет собой эволюцию стандарта метаданных MLCommons и включает в себя множество новых функций. Среди них: возможность отслеживания происхождения данных, совместимость словарей для связи метаданных с конкретными онтологиями, структурированные политики использования для автоматического соблюдения согласия и лицензирования, а также улучшенное моделирование данных для сложных наборов.
ODI активно работает над тем, чтобы помочь организациям стать более уверенными в управлении данными. В рамках своей работы по созданию инфраструктуры открытых данных для волонтерства в Великобритании, ODI применяет Croissant для обеспечения того, чтобы возможности волонтерства были машинно-читаемыми и доступными для автономных AI-агентов. Это позволит осуществлять интеллектуальное сопоставление, учитывающее происхождение и разрешения на использование чувствительных данных.
Для упрощения доступа к стандартам ODI интегрировала поддержку Croissant непосредственно в CKAN, ведущую платформу для открытых данных. Это позволяет автоматически генерировать метаданные, обеспечивать детальную информацию о ресурсах и внедрять механизмы управления, которые позволяют AI-агентам проверять легальность и этичность использования данных.
С переходом AI-систем к автономным агентам самодостаточные метаданные становятся необходимостью для обеспечения доверия. ODI продолжает сотрудничество с Encord в рамках рабочей группы по ответственному AI, и ожидаются новые подробности в ближайших пресс-релизах. С более чем 800,000 наборов данных, уже использующих метаданные Croissant, стандарт становится основой экосистемы AI. Все издатели данных приглашаются принять участие и адаптировать Croissant 1.1, чтобы их данные были не только доступными, но и готовыми к использованию в AI.