BestBlogs.dev 精选文章 第 7 期

本文由智谱 AI 的柴思远撰写，详细介绍了 RAG 技术在企业服务场景中的应用。RAG 技术通过 Indexing、Retrieval 和 Generation 三个步骤，解决了大模型的幻觉问题，降低了实施成本，并提高了答案的可追溯性。智谱 AI 提供了一套完整的 RAG 技术方案，包括文件解析、Embedding 模型微调和检索策略，以及知识构建和问答过程的工具。文章通过一个具体的智能客服实践案例——公共事务客服问答场景，展示了 RAG 技术的实际应用效果，解决了传统客服系统的高维护成本和知识更新频繁等问题。最后，文章展望了 RAG 技术的未来发展，并介绍了智谱 AI 在相关领域的持续探索和实践。

文章报道了 Claude 3.5 Sonnet 的发布，其性能超越了 GPT-4o，并且性价比更高。主要亮点包括其 10 倍的编码速度、引入了实时代码生成和执行的 Artifacts 功能，以及其替代用户大量工作的潜力。文章还涵盖了各种用户测试和比较，展示了 Claude 3.5 Sonnet 在创建游戏、可视化神经网络等方面的能力。

文章详细阐述了 AI Agent 在企业生产场景中面临的专业性、协作性、责任性和安全性挑战。华为云通过实际场景的实践，采取多方面技术，形成组合方案，解决这些挑战。

具体实践包括从初阶到高阶的三个阶段和七个步骤，以及针对挑战的关键技术实践，如企业词表的构建、外挂知识库的整合、防退化机制的实施、模型编排的策略和防安全风险的措施。

此外，文章通过三个企业场景案例，展示了 AI Agent 在客服助手、会议纪要生成助手和生产指挥助手中的运用效果。最后，对 AI Agent 在未来企业场景中的应用进行了展望，预测将出现交互型、事务型和面向物理设备的 AI Agent，并强调了构建兼容多家 Agent 运行时的管理和协同通信网络的重要性。

本文讨论了如何评估检索增强生成（RAG）工具，介绍了评估过程与结果、基于组件和端到端的评估方法，以及评估 RAG 质量的工具如 TruLens 和 RAGAS，以及实现 RAG 评估自动化的工具如 LangSmith 和 Langfuse。

开源模型让每一家公司都具备成为 AI 公司的可能性。随着大型模型在各行各业的广泛应用，开源大模型生态正在快速发展。研究开源大模型不仅是人类不断接近人工通用智能（AGI）的重要探索之一，也是推动人工智能广泛应用的关键。开源大模型具有更广泛的用户覆盖面和更大的创新自由度，在用户体验、技术和产品迭代方面展现出强大的创新动力。随着基于开源大模型的产品数量不断增加，未来开源大模型有望成为 AI 普及应用的重要推动力，覆盖 toC 和 toB 产品等多个领域的各种场景。因此，甲子光年推出《2024 年开源大模型生态研究相关报告》，研究人工智能与开源大模型的发展，对开源大模型生态进行梳理，探讨开源大模型领域的商业实践，并对未来行业趋势进行展望。

大语言模型（LLMs）的时代充满了让人兴奋的机遇。在过去的一年里，LLMs 的性能已经“足够好”以至于可以用于现实世界的应用，预计会在 2025 年前带动大约 2000 亿美元的人工智能投资。LLMs 也广泛使得所有人，而不只是机器学习工程师和科学家，都能够将人工智能带入他们的产品中。本文分享了大语言模型技术核心组件的最佳实践，包括提升质量和可靠性的提示技巧、评估输出的策略、改进检索增强生成、调整和优化工作流程等四部分。还探讨了如何设计人类参与的工作流程。

本文详细介绍了生成式 AI 助手的设计指南，强调了用户体验在设计过程中的核心地位。文章首先分析了 AI 助手的功能、指令和智能体的区别，并提出了通过欢迎卡片、输入框引导和功能中心展示等方式来提升用户对 AI 助手的理解和使用。接着，文章深入探讨了智能体、输入框和文件上传功能的设计要点，强调了操作流程的一致性和用户反馈的重要性。此外，文章还讨论了槽位、文本优化、对话气泡等设计元素，旨在提升 AI 助手的交互体验和理解准确性。最后，文章提出了即时反馈、可中断性、结果展示等关键设计要素，以及语音通话功能的设计要点，强调了个性化、透明性和情感理解在 AI 助手设计中的重要性。

本文简介了 freeCodeCamp.org 上的一个关于生成性 AI 的课程，该课程不涉及复杂的技术细节，适合各个层次的学习者。课程由 Abdul from 1littlecoder 开发，内容包括生成性 AI 的简要介绍、过去与现在的对比、当前为何能够实现生成性 AI，以及对技术的深入探讨，如去中心化 AI 的概念、LLM（大型语言模型）API 的介绍和应用层面的分析。课程还涵盖了 Q&A 系统、聊天机器人、RAG（基于检索的增强生成）解决方案以及大型语言模型在自然语言处理任务和智能 AI 代理发展中的应用。最后，课程展望了大型语言模型操作系统的潜力，并对生成性 AI 的过去、现在和未来做了全面的阐述。

ShowMeAI 研究中心的日报，汇总了深度学习和人工智能领域的最新动态，包括 DeepSeek 开源本地私有化部署的服务和大模型、上海交大 LLM 课程的完结、ComfyUI 的基础视频教程、Devv AI 搜索引擎创始人的分享、GenAI 设计模式全面指南以及深度学习历史回顾等内容。

Mobile-Agent-v2 是阿里通义实验室推出的新一代自动化手机操作智能体，基于纯视觉方案，无需依赖系统级别的 UI 文件，实现了即插即用的自动化操作。该版本在初代 Mobile-Agent 的基础上，引入了多智能体协作架构，显著增强了任务拆解、跨应用操作和多语言能力。Mobile-Agent-v2 已经接入魔搭的 ModelScope-Agent，能够完成复杂的自动化任务，如打车、跨应用消息处理和社交媒体操作等。技术实现上，Mobile-Agent-v2 通过规划智能体、决策智能体和记忆单元的协同工作，解决了长序列操作中的任务追踪难题，并通过反思智能体确保操作的准确性。实验结果表明，Mobile-Agent-v2 在基础指令和进阶指令的多个指标上均表现出全面提升，特别是在长序列任务中表现更为稳定。

本文从提示词工程出发，详细阐述了大模型在人工智能领域的应用进展，重点介绍了提示词工程和RAG（检索增强生成）技术的应用及其重要性。文章进一步探讨了智能体（AI Agent）的概念及其在大模型时代的应用，介绍了智能体的四大核心能力（规划、执行、评估、反思）以及智能体开发框架（如LangChain和MetaGPT）。此外，文章还详细介绍了大模型的工作原理，包括文本编码、向量运算、记忆存储以及知识图谱的应用，并探讨了微调技术在大模型中的应用及其优势。最后，文章介绍了ChatGPT的Function Calling功能，并探讨了AGI（通用人工智能）的定义及其实现所需的关键技术。

来自马里兰大学、OpenAI、斯坦福、微软等 12 所机构的 30 多名研究者，首次对 LLM 的提示技术进行了大规模的系统研究，并发布了一份长达 75 页的详尽报告。报告详细介绍了各种提示技术及其对 LLM 性能的影响，强调了 LLM 对提示中特定细节的敏感性以及在提高模型准确性方面精心工程的重要性。

微软研究院发布了 AutoGen Studio，这是一个基于 AutoGen 框架构建的低代码界面，旨在简化多智能体 AI 工作流的创建和部署。自 2023 年 9 月发布以来，AutoGen 已获得广泛采用，拥有超过 290 名社区贡献者和 890,000 次 Python 包下载量。AutoGen Studio 旨在降低构建多智能体应用的门槛，支持快速原型设计、测试和解决方案共享。该平台允许用户将智能体组合成工作流，使用基础模型和技能进行定制，并将这些工作流部署为 API。AutoGen Studio 还强调负责任的 AI 实践，提供用于分析智能体行为的工具，并确保代码执行的安全环境。新增的工作流设计可视化画布和用于共享成果的社区画廊，进一步增强了其易用性和协作潜力。

本文讨论了使用视频像素和文本提示为无声视频创建同步音轨的视频转音频技术的开发。该研究旨在增强创作控制并提供各种视频内容的声音选项。

BigCodeBench 是一个新的基准，用于评估大型语言模型 (LLM) 解决实际和具有挑战性的编程任务的能力。它解决了现有基准（如 HumanEval）的缺点，这些基准被认为过于简单，不代表现实世界的编程。BigCodeBench 包含 1,140 个任务，涉及复杂的指令、多样的库调用和严格的测试。该基准包括两个变体：BigCodeBench-Complete，LLM 需要根据详细的指令完成函数的实现，以及 BigCodeBench-Instruct，它测试指令调整后的 LLM 将自然语言指令转换为代码的能力。

Meta 最近发布了多个新的 AI 模型和数据集，包括 Chameleon 多模态模型、多词预测、文本生成音乐的 JASCO、AI 语音检测的 AudioSeal 以及用于增强语言模型多样性的 PRISM 数据集。这些发布旨在推动 AI 研究和应用在多个领域的进步，

香港中文大学等机构提出的 MiCo 团队，提出了一种大规模的全模态预训练范式——多模态上下文（MiCo），支持 10 种模态和 25 种跨模态理解任务。该范式在预训练过程中引入更多模态、数据和模型参数，多模态学习表现令人印象深刻，模型在 18 种多模态大型语言模型基准上取得了 37 项最强性能记录，体现了其在连贯的多模态理解方面的能力。

华为盘古 5.0 在 6 月 21 日的华为开发者大会上重磅亮相。新版本在全系列、多模态、强思维三个方面进行了升级。主要亮点包括：

1. 推出了适配不同业务场景的多种参数规格模型。
2. 增强了多模态能力，能够精准理解和生成高分辨率图片和视频。
3. 集成了思维链和策略搜索技术，提升了数学和复杂任务规划能力。
4. 盘古 5.0 在自动驾驶、工业设计、中医药等多个领域的应用。
5. 引入了新的架构和数据合成方法，提升了模型的效率和性能。

潞晨 Open-Sora 团队在 720p 高清文生视频质量和生成时长上实现了突破性进展，支持无缝产出任意风格的高质量短片。令人惊喜的是，他们选择再给开源社区带来亿点点震撼，继续全部开源。

本文来自阿里技术，作者详细阐述了如何利用 AIGC 大模型和 Multi-Agent 系统从零开始创作一首歌曲及其 MV 的全过程。文章首先介绍了传统 MV 制作流程，然后展示了如何结合大模型的能力进行创新，将创作过程拆分为纯人工、人工交互和接口自动化三个部分。 接着，文章深入探讨了 Agent 的拆分和提示词的使用，以编导 Agent、美术 Agent 和声乐导演 Agent 为例，详细介绍了如何通过 Agent 创作分镜脚本、关键帧和主题曲，并最终剪辑成片。 最后，文章还提到了其他可替换的工具和平台，例如 Mjdjourney、pika、audiocraft 和 chattts 等，展示了 AI 技术在音乐和视频制作领域的广泛应用和未来发展潜力，并展望了 Multi-Agent 系统在未来多模态大模型接口完全开放后的应用前景。

本文深入探讨了 AI 搜索引擎 Perplexity，包括与首席执行官的 3 小时访谈和 5 万字的全文。文章讨论了该产品的独特功能，如 AI 辅助的问题形成和后续检索，以及它对搜索引擎市场，特别是与谷歌相比的潜在影响。文章还深入探讨了机器学习的技术方面，包括检索增强生成、思维链推理、网页索引和用户体验设计。

创新的音乐创作方式：Suno 利用 AI 音乐生成工具，通过简单的文本提示即可创作完整歌曲，彻底颠覆了传统音乐创作流程。主要内容包括：1. 通过合作促进音乐创作的社交化和个性化。2. 在音频 Token 化方面的创新，用于管理连续信号。3. 美学在评估 AI 音频模型中的重要性，通过大量听觉和 A-B 测试进行评估。4. Suno 从文本处理到音频 AI 的跨界之旅，专注于音乐而非语音技术。

百川智能创始人王小川认为，医疗是通往 AGI 的“难而正确的事情”。他强调，虽然许多 AI 应用侧重于娱乐（消磨时间）或效率（节省时间），但医疗可以通过改善生活质量和延长寿命来“增加时间”。这种观点反映了他专注于开发能够解决具有重大影响的现实世界问题的 AI 应用，而不是仅仅为了炫耀技术本身。他还告诫不要“沿途下蛋”，因为创建太多应用，即使成功，也会消耗资源，分散对 AGI 的追求。

华为在 2024 年的开发者大会上宣布了其在智能时代的战略和基础设施布局的深化，推出了新的 HarmonyOS NEXT 开发者 beta 版本，该版本提供了新的系统架构和 AI 集成，旨在重新定义跨设备的用户体验。华为的盘古 5.0 大模型在多模态和强思维方面进行了升级，应用于工业设计、媒体生产和自动驾驶等行业。同时，华为云官宣将在大会上发布盘古大模型 5.0，并与 HarmonyOS NEXT 鸿蒙星河版首次联合亮相，这一举措标志着华为在 AI 领域的深度整合和对智能未来的愿景。

华为云还通过 AI 的全栈系统性创新，以及 AI 重塑云服务，打造了 AI Native 的云。华为云的全栈系统性创新覆盖了数据中心、云平台架构和基础设施服务，为 AI 开发提供了 AI Native 的基础设施。华为云还对 AI 开发生产线 ModelArts 进行升级，构建了大模型即服务平台 ModelArts Studio，提供了百模千态的第三方大模型托管服务。

本文深入探讨了苹果自研大模型的能力及其与 OpenAI 的合作细节。文章揭示苹果的大模型极具竞争力，能与主流 7B 模型媲美，甚至达到 GPT-4 Turbo 的水平。与 OpenAI 的合作并非将 OpenAI 模型整合进苹果系统，而是利用 OpenAI 服务增强用户体验。同时，文章还讨论了这项技术对未来硬件和 AI 集成的影响。

NVIDIA CEO 黄仁勋在加州理工学院 2024 届毕业典礼上发表演讲。他分享了职业生涯的见解，鼓励毕业生参与人工智能革命，并讨论了加速计算和深度学习的变革性影响。主要内容包括：1. 人工智能和加速计算的重要性。2. NVIDIA 的演变及其对技术的贡献。3. 鼓励毕业生抓住人工智能的机会。4. 对计算未来及人工智能角色的反思。5. 个人轶事和从他旅程中学到的教训。

奥特曼讨论了 AI 在提升生产力方面的积极影响及网络安全等挑战。他强调了 GPT-4o 在语言覆盖方面的进步，并承诺将继续改进语言公平性。奥特曼还强调了 AI 治理中安全与效率平衡的重要性，并预测中国将开发出独特的大语言模型。他反思了 AI 可能使人类更加谦卑，促使我们重新评估自身在宇宙中的位置。