Недавний анализ справедливости, проведенный Министерством труда и пенсий, показал, что система машинного обучения, созданная для борьбы с мошенничеством, на самом деле несправедливо нацеливается на одиноких родителей, этнические меньшинства и людей с ограниченными возможностями. Ожидаемая экономия в £8 миллиардов от предотвращения мошенничества обернулась значительными проблемами для тех, кто действительно нуждается в помощи.
Данные внутреннего обзора, проведенного в феврале 2024 года, выявили «статистически значительное расхождение» в рекомендациях по расследованию мошенничества. Одинокие родители подвергались проверке почти в два раза чаще, чем другие группы, а этнические меньшинства сталкивались с повышенным вниманием, что вызывает серьезные опасения по поводу системной предвзятости.
Эксперты связывают эти проблемы с тем, что алгоритм основывается на исторических данных, которые отражают существующие неравенства в системе социальных выплат. В результате внедрения системы увеличилось количество необоснованных проверок, что создало дополнительные стрессы для законных получателей.
Правозащитные организации раскритиковали отсутствие прозрачности программы, назвав её «черным ящиком», который несправедливо влияет на маргинализированные сообщества. Несмотря на защиту системы со стороны Министерства труда, которое ссылается на человеческий контроль как на меру безопасности, критики утверждают, что это не решает более глубокие проблемы.
Сейчас растут призывы к немедленному приостановлению работы ИИ-инструмента и проведению независимых аудитов, чтобы убедиться, что он не усугубляет социальные неравенства. Эта ситуация отражает глобальные опасения по поводу использования ИИ в государственных службах, как это было в Нидерландах, где программа SyRI была отменена в 2020 году из-за дискриминации.