本文总结了领英工程师在 QCon AI 纽约 2025 大会上关于其大规模 AI 智能体平台的演讲内容。他们强调将 AI 智能体视为执行环境中的受治理参与者，而非孤立的工具，并利用结构化规范明确定义智能体的行为、可用工具、成功标准和禁止事项。平台的一个关键组件是编排层，它负责管理智能体执行、任务分解、提供沙盒环境，并记录操作日志以确保确定性和可重复性。该系统区分了智能体自主性（限于有边界的环境）和人类权限（针对不可逆操作），并在明确的检查点集成人类参与。作者还建议优先选择经过上下文增强的商业托管模型，而非默认使用定制模型，并将微调视为最后手段。生产环境中的案例包括后台代码生成智能体和分析智能体，展示了该平台如何在大型工程组织中实现高效、安全的 AI 集成。
TornadoVM 2.0 标志着这个开源项目的一个重要里程碑，旨在为 Java 提供一个异构硬件运行时，通过在多核 CPU、GPU 和 FPGA 上自动加速 Java 程序。它作为 JIT 编译器，在运行时将 Java 字节码编译成 OpenCL C、NVIDIA CUDA PTX 或 SPIR-V 二进制文件。新版本特别关注支持在 JVM 上开发的 LLM 应用。文章详细介绍了 TornadoVM 的两种互补的并行表达方法：使用注解进行循环并行化的 Loop Parallel API，以及用于显式 GPU 风格编程的 Kernel API。此外，该项目推出了 GPULlama3.java v0.3.0，这是一个纯 Java LLM 推理库，在 NVIDIA GPU 上提供大约 30% 的性能提升，优化了 FP16 和 Q8 模型支持，简化了设置，并与 Quarkus 和 LangChain4j 集成。
Meta 发布了 Ax 1.0，这是一个开源平台，旨在通过自适应实验优化复杂的、资源密集型系统，特别是 AI 模型和大型语言模型（LLM）。Ax 通过顺序评估配置来解决优化具有庞大配置空间的系统所面临的挑战，它利用前期评估的洞察力，以更高效地指导探索过程。主要应用包括超参数优化、架构搜索、AI 模型的数据混合发现以及基础设施调优。对于大型语言模型（LLM），Ax 可以优化提示词（prompts）和示例选择。它支持带有约束的多目标优化，并提供分析工具以深入理解系统。Ax 利用 PyTorch 和 BoTorch 进行贝叶斯优化，迭代地优化配置，并为复杂的搜索空间、噪声观测和并行评估提供功能丰富的 API。虽然存在其他替代方案，但 Meta 强调了 Ax 在处理约束和噪声测量方面的更广泛能力，这使得即使是非专家也能进行高级优化。
本文概述了 Liran Yushinsky 团队在重构其碎片化测试体系方面的历程。该体系此前依赖脆弱的 bash 和 kubectl 脚本，导致反馈缓慢和环境漂移。他们过渡到一个统一的框架，利用 Kotlin 和 Gauge 作为测试运行器，并与 Fabric8 集成以进行 Kubernetes 客户端控制，同时使用 Ansible 和 Terraform 实现环境的自动化配置。这一转变极大地将反馈循环时间从数小时缩短到数分钟，并促进了开发和质量保证（QA）团队之间对测试的共同所有权。此次迁移强调了强大的变革管理、内部指导以及展示快速成功以克服对新技术的抵触。新框架提高了测试的可靠性，增强了可维护性，并允许开发人员更积极地参与测试，从而提升了整体质量并加速了发布周期。
Lyft 将其机器学习平台 LyftLearn 重构为混合架构，旨在简化运营并提升开发者效率。复杂的离线训练和批处理工作负载已迁移至 AWS SageMaker，解决了以往消耗大量工程投入的集群自动扩缩容和状态管理等难题。对于延迟敏感的在线模型服务，Lyft 保留了其现有的 Kubernetes 基础设施，充分利用其既有的卓越性能和与内部工具的紧密集成。这种务实的方法使 Lyft 能够将高复杂度的运营负担转移给托管服务，同时为关键的在线服务保持精细控制和成本效益。此次迁移涉及构建跨平台 Docker 镜像，并克服了 Spark 在混合环境中的网络要求等挑战，最终显著减少了基础设施事故，并提升了工程团队专注于核心机器学习平台功能的投入能力。
Pinterest 工程团队通过开发自研测试平台 PinTestLab 并实施动态运行时测试分片策略，成功将 Android 端到端 (E2E) 持续集成 (CI) 构建时间缩短了 36% 以上。此前，Pinterest 的 CI 流水线存在构建时间慢且不可预测的问题，这源于基于包的测试分片导致的工作负载不均衡，即最慢的分片会阻碍整个构建完成。PinTestLab 在 EC2 实例上运行 Android 模拟器，为团队提供了对调度、环境设置和运行时编排的完全控制。其核心创新是一个动态运行时感知算法。该算法利用历史测试执行数据，根据预期的持续时间（而非简单的数量或包名）对测试进行分组，从而最大限度地减少了分片之间执行时间上的差异。这种方法将最慢分片的运行时间缩短了大约 55%，并将每次构建的总 CI 反馈时间减少了大约九分钟。文章还强调了行业趋势，以 Dropbox、Shopify 和 Square 为例，强调了利用历史数据进行工作负载均衡、最大化并行处理以及避免不必要的测试执行对于提高 CI 效率的重要性。
