本文整理了关于“Coding Agent / LLM-based agent” 的重要论文。更新日期：2025年10月。

本文内容

1. 近期发展趋势
2. 工作的阶段划分
3. 一些重要论文
4. 近期成果

近期发展趋势

近年 Coding Agent 研究的关键趋势：

• 标准化：Model Context Protocol (MCP) 等工作推动从 ad-hoc API 调用走向协议化、可发现的工具生态。
• 自我提升：Voyager、Voyager 2、AutoGPT-Next 等强调持续学习、自我验证与 curriculum-driven 改进。
• 集成化：工具与 IDE 集成（如 Cline）把 LLM 嵌入开发流程，强调可追踪的执行与多上下文编程。
• 评估进化：从静态基准到衡量协作、多步骤工具使用与长期行为（AgentBench 2 等）。

工作的阶段划分

代码智能体相关工作，主要涉及以下几个方面。

• 数据与语料（Data / Preproc）
• 预训练（Pretraining）
• 指令调优 / 微调（Instruction tuning / Fine-tuning / RLHF）
• 工具使用训练（Tool-learning / API call learning / self-supervised）
• 推理策略与规划（Prompting, CoT, ReAct, ToT, Planning）
• 代码生成与执行（PAL、程序辅助推理、沙箱执行）
• 自我改进与持续学习（Self-verification / Curriculum / Continual）
• 协同与多 agent（Orchestration, Multi-agent）
• 评估与基准（Benchmarks, metrics for multi-step/tool-use）
• 安全、鲁棒性与可解释性（Safety / Trust / Verification）
• 工具化标准与工程（Protocols、MCP、IDE 集成、deployment & efficiency）

一些重要论文

• ⭐Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks （2020.05，-）
  1. 提出将参数化语言模型与外部检索器和非参数记忆结合的架构，使模型在生成时能够检索并引用最新事实，成为检索增强生成（RAG）范式的基石。
• ⭐Evaluating Large Language Models Trained on Code (Codex) （2021.07，-）
  1. 建立了首个系统性评估代码训练大语言模型（如 Codex）的基准，通过多维度任务测试量化模型在代码生成、理解及跨语言迁移等方面的能力，为后续代码大模型的研发与优化提供了关键评估依据。
  2. TAGS: 评估
• WebGPT: Browser-Assisted Question-Answering with Human Feedback （2021.12，-）
  1. 演示了让模型通过浏览器检索、跟进链接并引用来源的能力，并结合人类反馈提升答案质量，为实时网页检索作为“工具”接入 LM 提供早期范例。
• ⭐Chain-of-Thought Prompting Elicits Reasoning in Large Language Models （2022.01，-）
  1. 发现让模型输出中间推理步骤（chain-of-thought）能大幅提高多步问题的解答准确率，奠定了可解释性推理提示的核心方法。
• ⭐Training Language Models to Follow Instructions with Human Feedback （2022.03，-）
  1. 提出 “基于人类反馈的指令微调（RLHF）” 关键范式，通过让语言模型学习人类偏好来对齐其输出与人类意图，有效解决了模型输出不准确、有害或不符合指令的问题，为实用化大语言模型奠定了核心技术基础。
• Competition-Level Code Generation with AlphaCode （2022.03，-）
  1. 展示规模化生成 + 筛选流水线在编程竞赛题上的效果，对评估代码生成与搜索策略有实用参考价值。
• ⭐Self-Consistency Improves Chain of Thought Reasoning in Language Models （2022.03，-）
  1. 提出一种 “自一致性”（Self-Consistency）策略，通过生成多条不同的 Chain-of-Thought（CoT）推理路径并筛选一致答案，显著提升了语言模型在多步推理任务中的准确性与鲁棒性。
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances （2022.04，-）
  1. 将语言输出与机器人可执行能力（affordances）对齐，提出以可行动作为约束的映射方法，提高现实世界指令到动作的可行性与安全性。
• Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language （2022.04，-）
  1. 展示如何以对话方式把不同模态与模型组合，为多模态 agent 与工具路由设计提供思路。
• ⭐Least-to-Most Prompting Enables Complex Reasoning in Large Language Models （2022.05，-）
  1. 将复杂问题分解为有序子问题逐步求解的提示技巧，对任务分解与规划类 agent 非常有用。
• ⭐Emergent Abilities of Large Language Models （2022.06，-）
  1. 讨论模型随规模增长出现的“突现”能力，帮助理解大模型在 agent 角色上行为差异与能力边界。
• The Alignment Problem from a Deep Learning Perspective （2022.09，-）
  1. 聚焦对话安全、约束和基于外部工具的安全策略评估，对现实系统部署至关重要。
• ⭐ReAct: Synergizing Reasoning and Acting in Language Models （2022.10，-）
  1. 提出 ReAct 范式：在“思考 → 行动 → 观测 → 思考”的循环中交替输出推理与动作，使模型在交互环境中一边推理一边执行操作并提升决策可追溯性。
• PAL: Program-Aided Language Models （2022.11，-）
  1. 提出生成可执行代码并交由外部运行时执行的范式（PAL），将精确计算与验证交给确定性工具，从而显著降低数值与逻辑错误。
• ⭐Toolformer: Language Models Can Teach Themselves to Use Tools （2023.02，-）
  1. 提出自监督工具学习：模型在未标注数据上自动标注出应调用工具的位置与方式，使其学会何时/如何调用外部 API，显著降低人工标注成本。
• HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face （2023.03，-）
  1. 将语言模型作为中央协调者，负责规划与分派任务并整合各领域模型输出，提出多模型编排的工程化框架。
• ⭐Reflexion: Language Agents with Verbal Reinforcement Learning （2023.03，-）
  1. 让 agent 在交互后基于观察生成“反思”并改进策略，直接相关于自我验证与持续学习主题。
• ⭐Generative Agents: Interactive Simulacra of Human Behavior （2023.04，-）
  1. 提出 “生成式智能体（Generative Agents）” 概念，通过整合记忆、规划与反射机制，构建出能模拟人类日常行为、进行长期互动并自主演化社会动态的智能体，为交互式 AI 模拟提供了新范式。
• ⭐Tree of Thoughts: Deliberate Problem Solving with Large Language Models （2023.05，-）
  1. 提出 “思维树（Tree of Thoughts）” 框架，突破大语言模型传统的线性推理模式，通过让模型探索多路径思维分支并迭代评估，显著提升其在复杂推理任务中的问题解决能力与准确性。
• ToolAlpaca: Generalized Tool Learning for Language Models with 3000 Simulated Cases （2023.06，-）
  1. 构建大规模合成工具使用数据并用于微调，证明小型模型通过合成案例也能获得通用工具调用能力，便于低成本部署。
• Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum （2023.08，-）
  1. 提出易到难课程结合自省反馈的迭代工具学习方法，使模型能逐步掌握复杂工具的使用并提升稳定性。
• Efficient Tool Use with Chain-of-Abstraction Reasoning （2024.01，-）
  1. 提出 Chain-of-Abstraction 推理范式，通过分层抽象将复杂工具调用分解为可管理子步骤，从而提升多工具场景下的效率与可控性。
• ⭐DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models （2024.02，DeepSeek）
  1. 提出 “DeepSeekMath” 开放数学大模型，通过构建高质量数学训练数据、优化训练策略及引入多阶段推理范式，显著突破了开放语言模型在复杂数学推理任务（如竞赛级数学题）上的性能上限，为开源数学领域 LLM 树立了新基准。
• TOOLVERIFIER: Generalization to New Tools via Self-Verification （2024.02，-）
  1. 通过自我验证机制提升模型在面对新工具时的选择与参数生成鲁棒性，降低错误调用风险。
• ⭐Large Language Models: A Survey （2024.02，-）
  1. 系统综述了大语言模型的架构、训练与应用，并对外部工具集成与检索增强工作流作出深入总结，是入门与参考重要资料。
• A Review of Prominent Paradigms for LLM-Based Agents: Tool Use and Beyond （2024.06，-）
  1. 综合比较了 agent 型 LLM 的主要范式并提出统一分类，帮助研究者选择与组合方法以应对不同应用场景。
• ⭐DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning （2025.01，DeepSeek）
  1. 探索纯强化学习提升 LLMs 推理能力的潜力：提出 DeepSeek-R1-Zero 模型，通过纯强化学习直接在基础模型上训练，无需监督微调数据，在 AIME 2024 等推理基准测试中表现出色，证明了强化学习在提升推理能力方面的巨大潜力。
  2. 提出结合冷启动数据和多阶段训练的推理模型 DeepSeek-R1：针对 DeepSeek-R1-Zero 存在的可读性差、语言混杂等问题，DeepSeek-R1 引入冷启动数据和多阶段训练，包括两次 RL 和两次 SFT，解决了上述问题并进一步提升了推理性能，在多个推理任务上达到了与 OpenAI-o1-1217 相当的性能。
  3. 探索推理能力迁移的蒸馏技术：将 DeepSeek-R1 的推理能力蒸馏到小型模型，如 Qwen 和 Llama 系列，显著提升了这些小型模型的推理性能，为降低计算成本和部署大规模模型提供了可能。

近期成果

这些工作代表 2024–2025 年的研究热点：开放式持续学习、平台化与标准化、可评估化。（以下仅是初步列表，后续将根据论文的影响力增删）

• Voyager: An Open-Ended Embodied Agent with Large Language Models （2024.09，-）
  1. 在 Minecraft 环境中提出自我改进的代理示例，利用 LLM 生成代码并在外部执行环境中测试与迭代，实现基于工具的持续技能学习与能力累积。
• OpenDevin: An Open Platform for Developing and Evaluating LLM Agents （2024.09，-）
  1. 发布了面向 LLM 代理的开源平台，提供标准化 API、执行追踪与基准工具，降低构建与评估代理系统的工程门槛。
• AutoGPT-Next: Towards Next-Generation Autonomous LLM Agents （2024.10，-）
  1. 提出模块化自治代理架构，结合规划、工具调度、记忆与反馈环，推动研究原型向可工程化、可部署的代理框架过渡。
• MCP: Model Context Protocol for LLM Tool Use and Orchestration （2024.10，-）
  1. 提出 Model Context Protocol（MCP），为上下文感知的工具发现与调用建立统一协议，促进工具生态互操作与自动化路由。
• Cline: Multi-Context Programming Framework for LLM-Driven Development （2024.11，-）
  1. 提出将 LLM 与 IDE 深度集成的多上下文编程框架，通过 MCP 接口协调工具、API 与外部上下文，推动 LLM 在软件工程流程中的可用性与可追踪执行。
• Voyager 2: Continual Skill Learning through Self-Verification and Open-World Tool Use （2025.02，-）
  1. 在 Voyager 基础上引入动态自我验证与课程调度，实现跨域工具编排的持续技能学习，展示了可扩展的自我改进路径。
• AgentBench 2: Evaluating Tool-Use and Collaboration in Multi-Agent LLM Systems （2025.03，-）
  1. 建立统一基准以评估代理的工具使用推理、协作与任务分配能力，便于跨系统比较与量化研究进展。
• From Tools to Ecosystems: The Next Frontier of LLM Agent Systems （2025.06，-）
  1. 提出工具—生态系统视角，讨论多个专用代理共享持久工具、环境与记忆的设计原则，为长期自治系统提供框架性建议。
• Agentic Reasoning and Tool Integration for LLMs via Reinforcement Learning （2025.05，Author(s)）
  1. 探讨将强化学习用于代理式推理与工具整合，优化工具选择与长期决策的协同策略，提升在复杂任务中的自适应能力。
• A Self-Improving Coding Agent （2025.04，-）
  1. 提出自我改进的编码代理框架，结合运行时反馈与自动化评测实现持续学习与能力提升，降低人工干预需求。
• CodeSim: Multi-Agent Code Generation and Problem Solving through Simulation-Driven Planning and Debugging （2025.02，-）
  1. 介绍基于仿真驱动的多代理代码生成与调试流程，通过模拟规划提升协作式问题求解与调试效率。
• CodeCoR: A Self-Reflective Multi-Agent Framework for Code Generation （2025.01，-）
  1. 提出自反思的多代理代码生成框架，代理在生成后进行反思与自我修正，从而提升代码质量与鲁棒性。
• AdaCoder: An Adaptive Planning and Multi-Agent Framework for Function-Level Code Generation （2025.04，-）
  1. 提出一种具备自适应规划能力的多智能体框架（AdaCoder），用于实现函数级别的代码生成，以提升代码生成的准确性与适配性。
• MARCO: A Multi-Agent System for Optimizing HPC Code Generation Using Large Language Models （2025.05，-）
  1. 提出一种基于大型语言模型的多智能体系统（MARCO），用于优化高性能计算（HPC）领域的代码生成，以提升 HPC 代码的性能、效率与领域适配性。
• AutoP2C: An LLM-Based Agent Framework for Code Repository Generation from Multimodal Content in Academic Papers （2025.04，-）
  1. 提出一种基于大型语言模型（LLM）的智能体框架（AutoP2C），可从学术论文的多模态内容（如文本、公式、图表）中生成代码仓库，实现学术成果到可执行代码的高效转化。
• ResearchCodeAgent: Multi-Agent System for Automated Codification of Research Methodologies （2025.04，-）
  1. 提出一种多智能体系统（ResearchCodeAgent），可实现研究方法的自动化代码转化，将学术研究中描述的方法论流程转化为可执行代码，提升研究成果落地与复现效率。
• DocAgent: A Multi-Agent System for Automated Code Documentation Generation （2025.04，-）
  1. 提出一种多智能体系统（DocAgent），用于实现代码文档的自动化生成，解决人工编写文档效率低、与代码同步性差的问题，提升文档的准确性、完整性与实用性。

发布于：2025-10-09 18:00:00 描述有误？我来纠错