В мире клинических исследований информированное согласие (ИС) играет ключевую роль. Обычно оно включает как письменные материалы, так и устное обсуждение между исследователем и участником. Однако, как показывает практика, эти компоненты часто стандартизированы, что ограничивает возможность для индивидуального общения.
Система RESPECT (RESearch Participant Engagement and Consent Tool) представляет собой инновационный инструмент, использующий большие языковые модели (LLM) для улучшения процесса получения ИС. Она применяет методику Retrieval-Augmented Generation (RAG), что позволяет ей формировать ответы, основанные на исходных документах ИС.
В ходе разработки RESPECT была проведена оценка точности с использованием метода leave-one-out cross-validation и анализа переформулировки вопросов. Результаты показали высокую точность в извлечении информации. Также была внедрена новая оценочная рамка безопасности, которая измеряет два аспекта: уместный отказ (как часто система отказывает в ответах на вопросы, на которые не должна отвечать) и полезность (как часто она отвечает на вопросы, на которые должна отвечать). Этот подход позволяет визуализировать соотношение отказов и полезности, создавая график, аналогичный кривым ROC-AUC.
Система RESPECT продемонстрировала значительно более высокие показатели уместного отказа по сравнению с GPT-4, хотя это сказалось на её способности отвечать на легитимные вопросы. Оценки со стороны заинтересованных сторон, включая исследовательский персонал, подтвердили точность, полноту и удовлетворенность от использования системы.
RESPECT — это первый инструмент на основе RAG для помощи в получении согласия в исследовательских контекстах, который демонстрирует улучшенную безопасность благодаря более высоким показателям уместного отказа. Новая оценочная рамка RUC предоставляет исследователям инструмент для анализа компромиссов между безопасностью и полезностью в системах LLM, что позволяет принимать обоснованные решения о внедрении таких инструментов в области медицинских исследований.