文章

这篇来自 LangChain 博客的文章详细介绍了评估“深度 Agent”的五个关键模式，这些 Agent 是复杂的、有状态的 AI 应用。文章强调，传统的 LLM 评估方法通常不足以应对 Agent 的动态特性，并且每个测试用例都需要特定的、与上下文相关的成功标准。为了克服这些限制并确保强大的测试，文章概述了五个关键模式。首先强调为每个数据点定制基于代码的测试逻辑，从而可以针对 Agent 的轨迹、最终响应和内部状态进行特定的断言。其次，提倡使用单步评估作为验证即时决策和工具调用的有效方法，类似于单元测试。第三，完整的 Agent 回合对于提供端到端操作的全面视图至关重要，可用于评估整体轨迹、最终响应和生成的工件。第四，多轮评估模拟了真实的用户交互，但需要条件逻辑来管理 Agent 偏差并确保测试一致性。最后，强调了干净、可复现的测试环境和模拟外部 API 请求的重要性，以确保可靠且高效的评估。文章认为 LangSmith 的测试集成是实现这些模式的灵活框架，为人工智能开发人员提供实用的指导。

本文宣布 LangSmith Agent Builder 的公测版正式发布。它是一个旨在简化可用于生产的 AI 智能代理的创建和部署的无代码平台。它清楚地区分了代理与传统的固定路径工作流程，强调了代理的卓越能力，包括动态确定步骤，迭代调用工具直到任务完成，以及通过用户反馈和记忆不断改进。Agent Builder 本身就是一个代理，它利用数百万开发人员的最佳实践，通过聊天界面引导用户从最初的想法到完全部署的代理。此测试版引入了多项重大增强功能，包括用于集成外部 API 的“自带工具”、用于无缝团队协作和克隆的“工作区代理”、多模型支持 (OpenAI、Anthropic)、通过 API 进行编程调用的嵌入代理到现有系统，以及 LangSmith 中简化的 UI。该平台旨在通过为所有员工提供直观的代理创建体验来解决常见的 AI 采用挑战，同时为技术团队提供对工具的强大治理。文中详细介绍了实际用例，涵盖特定角色的研究（例如，销售、市场营销、招聘）、将环境信息转化为可跟踪的项目（例如，错误票证、客户支持）以及开发节省时间的通信助手（例如，电子邮件、日历、Slack 管理）。