Искусственный интеллект продолжает внедряться в различные сферы жизни, включая технологии, помогающие людям с нарушениями зрения. Исследование, проведенное в Cornell Tech, показало, что приложения, использующие большие языковые модели, могут эффективно отвечать на простые вопросы, но сталкиваются с трудностями при выполнении более сложных задач, таких как описание художественных произведений.
В рамках исследования 20 участников с нарушениями зрения использовали приложение, разработанное на базе языковой модели, для интерпретации окружающей среды. Хотя приложение продемонстрировало высокую степень удовлетворенности пользователей, оно не всегда давало точные ответы на более сложные запросы. Например, при попытке следовать инструкциям по приготовлению пищи или дозировке лекарств, приложение правильно отвечало лишь на 56,6% вопросов, а 22,2% ответов содержали неверную информацию.
Исследователи предложили девять ключевых навыков, которые могут улучшить работу таких приложений. К ним относятся объективная передача фактов, адаптивные протоколы общения, целевая коллаборация, прозрачное управление неопределенностью и возможность передачи к другим ресурсам, если приложение не может помочь.
Шири Азенкот, ассоциированный профессор Cornell Tech и сама имеющая нарушения зрения, отметила, что технологии значительно продвинулись в интерпретации визуальной информации и помогают людям в повседневной жизни. Однако важно продолжать улучшать эти системы, чтобы они лучше соответствовали потребностям пользователей.
Разработанное приложение VisionPal позволяет пользователям делать фотографии и получать обратную связь о том, что изображено на снимке. Участники исследования вели дневники, в которых фиксировали свои впечатления от использования приложения, что дало возможность собрать ценную информацию о его влиянии на жизнь людей с нарушениями зрения.
Исследование подчеркивает важность того, чтобы технологии оставались ориентированными на человека, и что их основная цель — улучшение качества жизни пользователей.