文章

本文详细介绍 Databricks 如何克服 Kubernetes 默认负载均衡的局限性，特别是在使用持久 HTTP/2 连接的高吞吐量、延迟敏感型 gRPC 服务中。默认的四层负载均衡常因连接保持导致流量倾斜和高尾部延迟。Databricks 的解决方案是：一个由自定义 xDS 控制平面支持的无代理、客户端驱动的七层负载均衡系统，代表着架构上的重大转变。此系统提供实时服务发现，并支持 Power of Two Choices (P2C) 和区域亲和性路由等高级策略，直接集成到其内部 RPC 客户端框架中，确保客户端拥有服务拓扑的准确实时视图，从而通过 Envoy 集成改善内部和外部流量的分配、资源效率和一致性。

本文探讨了在全球中断背景下对高效供应链管理日益增长的需求，提出了 AI 代理作为增强人类决策的解决方案。文章重点介绍了 David Simchi-Levi 教授的工作，他提倡使用代理系统来连接业务用户和复杂的数学优化工具。从 AI 工程的角度来看，将概率性大型推理模型与确定性优化技术相结合，可以确保可靠性、透明度并减少幻觉，这对于建立信任和提供可操作的计划至关重要。文章概述了供应链管理中的一场世代变革，其中协作代理和人机协同能够实现实时的自适应决策流程，从而在服务、成本、生产力和弹性方面取得显著收益。然后，文章提供了在 Databricks 上构建、评估和部署此类代理系统的实用概述，并通过供应链风险分析展示了其潜力。关键步骤包括定义数据访问和优化工具，通过 Databricks 的基础模型 API 选择强大的大型语言模型，以及利用 Mosaic AI 代理评估进行质量保证。最后，文章介绍了在 Databricks 模型服务上的部署，强调集成的用户授权、通过 Unity Catalog 进行治理，以及通过 MLflow 追踪进行持续改进。提供了开源的 notebooks 和脚本以供实施。