Современные большие языковые модели (LLMs) становятся важным инструментом в финансовом анализе, однако возникает вопрос: действительно ли увеличение объема информации улучшает их работу? Недавнее исследование выявило, что это не всегда так. Ученые обнаружили явление, которое они назвали перегрузкой информации, когда слишком много контекста приводит к ухудшению результатов.
Основываясь на концепции ограниченной рациональности Герберта Саймона, исследование показывает, что LLMs, как и люди, могут испытывать трудности с избыточным вводом данных. Однако проблемы моделей не связаны с эмоциональными или когнитивными ограничениями, а обусловлены техническими особенностями современных нейронных сетей и их обучением.
В ходе исследования были проведены тесты в двух областях. В первом случае LLM использовалась для прогнозирования изменений в доходах на основе транскриптов корпоративных отчетов. При добавлении контекста производительность сначала улучшалась, но затем ухудшалась, демонстрируя классическую U-образную зависимость. Аналогичные результаты были получены при классификации новостей о акциях.
Интересно, что при использовании меньших моделей добавление контекста не приводило к повышению доходности инвестиционных стратегий. Однако более крупные и продвинутые модели показывали улучшение результатов при наличии дополнительного контекста, что указывает на то, что только достаточно мощные LLM могут справляться с более сложными вводами без перегрузки.
Почему же LLMs не справляются с большим объемом данных? Исследователи выделили две основные технические проблемы. Во-первых, нейронные сети обрабатывают информацию через многослойную архитектуру, где каждый слой служит фиксированным узким местом. При увеличении объема текста модели приходится фильтровать и приоритизировать информацию, что может привести к потере важного контекста. Во-вторых, большинство современных LLMs изначально обучаются на коротких вводах, и только позже им вводят более длинные контексты, что также усугубляет проблему.
Эти выводы имеют важные последствия для финансовых профессионалов и исследователей. LLMs не являются универсальными информационными процессорами, и убеждение, что больше данных всегда приводит к лучшим результатам, является ошибочным. Эффективное использование LLM в финансах требует тщательной настройки вводимых данных и выбора подходящей модели. Важно помнить, что не всегда больше данных означает лучшее качество анализа.