В мире высоких технологий и искусственного интеллекта объяснимость моделей становится всё более актуальной. Это особенно важно в таких областях, как медицинская диагностика, где пользователи хотят понимать, на каких основаниях модель сделала тот или иной вывод. Исследователи из MIT представили новый подход, который позволяет моделям компьютерного зрения давать более понятные и точные объяснения своих предсказаний.
Метод, известный как концептуальное моделирование узких мест, заставляет модели ИИ использовать набор понятий, понятных человеку, для формирования своих выводов. В новой работе учёные разработали способ, который не только повышает точность предсказаний, но и делает объяснения более ясными и лаконичными.
Традиционно понятия, используемые моделями, определяются заранее экспертами. Например, врач может предложить использовать такие термины, как "скопление коричневых точек" для диагностики меланомы. Однако заранее заданные концепции могут быть неуместными или недостаточно детализированными, что снижает точность модели. Новый метод извлекает понятия, которые модель уже усвоила во время обучения, и заставляет её использовать именно их, что приводит к более качественным объяснениям.
В основе подхода лежат два специализированных метода машинного обучения, которые автоматически извлекают знания из целевой модели и переводят их в понятные термины. В результате любая предобученная модель компьютерного зрения может быть преобразована в такую, которая объясняет свои выводы.
Исследователи столкнулись с множеством вызовов, включая необходимость корректной аннотации понятий и ограничения на использование ненужных концепций. Они ограничили модель до пяти понятий для каждого предсказания, что помогает выбрать наиболее релевантные и делает объяснения более понятными.
При сравнении с современными методами концептуального моделирования узких мест новый подход показал наивысшую точность и предоставил более точные объяснения. Учёные планируют продолжить работу над решением проблемы утечки информации и масштабированием метода с использованием более крупных моделей.
Этот прорыв в области объяснимого ИИ открывает новые горизонты для дальнейших исследований и применения в различных сферах, от медицины до автономного вождения.