С момента запуска GPT-4 в 2023 году мир технологий стал свидетелем бурного роста интереса к автономным агентам, таким как BabyAGI и AutoGPT. Эти проекты стремились использовать возможности GPT-4 для решения сложных задач, таких как веб-исследования и написание кода. Однако вскоре стало очевидно, что GPT-4 не справляется с многозадачностью, часто теряя фокус и допуская ошибки.
Тем не менее, во второй половине 2024 года ситуация изменилась. Появились новые инструменты, такие как Bolt.new и Replit, которые позволили пользователям без опыта программирования создавать полноценные приложения всего за один запрос. Эти достижения стали возможны благодаря улучшению моделей и изменению подходов к их обучению. В частности, акцент сместился с предварительного обучения на постобучение, включая методы обучения с подкреплением.
Обучение с подкреплением позволяет моделям учиться на своих ошибках, что значительно улучшает их способность к многослойному мышлению и решению сложных задач. Этот подход был успешно применен в различных областях, включая разработку программного обеспечения и исследование данных. Например, компании, такие как StackBlitz, смогли создать продукты, которые использовали новые модели для генерации точного кода, что ранее было невозможно.
Ключевым моментом в этом процессе стало использование методов, позволяющих моделям учиться на ошибках и получать обратную связь без необходимости в постоянном человеческом контроле. Это открыло новые горизонты для создания более сложных и надежных систем, способных к итеративному мышлению и анализу.
Таким образом, 2024 год стал поворотным моментом в развитии LLM и автономных агентов, что открыло новые возможности для их применения в различных сферах, от программирования до глубоких исследований.