本章导读

配套代码:code/chapter12

在前面的章节中,我们构建了 HelloAgents 框架的核心功能,实现了多种智能体范式、工具系统、记忆机制和强化学习训练等。在构建智能体系统时,我们还需要解决一个核心问题:如何客观地评估智能体的性能? 具体来说,我们需要回答以下问题:

  1. 智能体是否具备预期的能力?
  2. 在不同任务上的表现如何?
  3. 与其他智能体相比处于什么水平?

本章将为 HelloAgents 增加性能评估系统(Evaluation System)。我们将深入理解智能体评估的理论基础,并实现评估的工具。