BestBlogs.dev 每周精选 第3期

昆仑万维开源的 Skywork-MoE 模型，参数达 2000 亿，是全球首个支持在单台 4090 服务器上进行推理的稀疏大模型。该模型采用 MoE Upcycling 技术，性能强劲且推理成本更低。模型完全开源，包括权重、技术报告及针对 8x4090 服务器的推理代码，旨在降低训练推理成本，推动 AGI 发展。

本文首先介绍了大模型在全球范围内的快速发展，特别是在美国在底层大模型和应用架构方面的领先地位。接着，文章详细探讨了生成式 AI 的四大应用方向，并分析了引入大模型后工作状态的变化。特别强调了 Agent 架构的重要性，Agent 不仅具备感知、记忆、工具和行动的能力，还能通过独立思考和调用工具逐步完成目标。文章进一步讨论了如何高效、低成本地搭建 Agent，包括分析业务场景、抽象通用原子化能力等。此外，文章还提到了海外和国内 AI Agent 搭建平台的比较，以及如何通过多 Agent 协作模式提升任务执行效果。最后，文章强调了与大模型交互时信息的重要性，以及如何通过 COT（Chain of Thought）能力提升模型的透明度和可信度。

快手版 Sora「可灵」AI 视频生成模型已开启公测，可生成超过 2 分钟的视频，分辨率为 1080p，帧率为 30fps。该模型能模拟真实物理世界特性，精准建模复杂运动，并已集成到快手生态中，在快手 APP 中可供测试。

随着大型语言模型（LLM）规模不断增大，性能也在提升。但如何与人类价值观和意图对齐仍是一大挑战。强化学习人类反馈（RLHF）是解决此问题的一种强大技术。随着模型规模增长，RLHF 通常需要维护多个模型和复杂的学习流程，导致对内存和计算资源的需求增加。OpenRLHF 是一个由 OpenLLMAI、字节跳动、网易伏羲 AI 实验室和阿里巴巴联合团队提出的开源 RLHF 框架，易于使用、可扩展且性能高，支持超过 700 亿参数模型的 RLHF 训练，集成了 PPO 等技巧。

本文详细探讨了手猫技术团队如何将大型语言模型（LLM）与 AI Agent 技术结合，并在此过程中遇到的问题、思考策略和实践案例。文章首先介绍了 AI Agent 的概念，即 Agent = LLM + 记忆 + 规划技能 + 工具使用，强调了 Agent 需要具备感知环境、做出决策和执行适当行动的能力。接着，文章对 Agent 的决策流程进行了详细阐述，包括感知、规划和行动三个步骤，并通过具体案例说明了 Agent 的执行过程。在以 LLM 驱动的 Agent 系统中，LLM 扮演大脑角色，并辅以关键组件如规划、记忆和工具使用。

手猫团队在过去一年中开始关注 AI 技术动向，并结合 Agent 技术和购物组手业务进行探索。文章详细介绍了手猫在 Agent 能力和智能助手业务结合过程中的技术侧遇到的问题、想法和实践。提出了 Agent 方案中的端展示方案、Agent 抽象与管理、以及 Agent 实验室的构建。此外，文章还讨论了工具的分类、定义和异常处理，以及工具粒度的概念和优劣势，并总结了工具实现安全的思考。

在项目的上线和迭代过程中，手猫团队遇到了一些问题，包括对结果正确率的高要求、大模型直接输出到端上的结构化展示错误率问题、Agent 对工具理解不稳定的问题，以及 LLM 对工具返回复杂度的要求。

Hugging Face 博客发布了一个基于人类偏好的 AI 图像模型排行榜，旨在评估和比较不同模型的性能。该榜单依据超过 45,000 个偏好选择，对包括 Midjourney、DALL・E 和 Stable Diffusion 等主流模型进行了排名。用户可以通过参与 “文本到图像竞技场” 来为排名做出贡献，并在投票 30 次后获得个性化模型排行。

排行榜采用 ELO 评分系统，通过对超过 700 张图像的人群偏好进行调查，为每个模型计算了分数。这些图像涵盖了多种风格和类别，以确保评估的全面性。

初步的分析显示，专有模型如 Midjourney 和 DALL・E 3 HD 目前处于领先地位，但开源模型，尤其是 Playground AI v2.5，正在迅速提升并在某些领域超越了专有模型。此外，Stable Diffusion 3 Medium 的即将到来的开源版本预计将对开源社区产生重大影响。

在本文中，作者们详细探讨了在构建和管理大语言模型（LLMs）应用过程中所积累的宝贵经验和实用见解。文章从操作层面出发，涵盖了数据处理、模型管理、产品设计和团队建设等多个方面。

首先，文章强调了数据质量的重要性。定期审查开发与生产环境中的数据偏差，确保开发环境中的数据样本与生产环境中的数据一致，有助于避免模型在实际应用中的性能问题。此外，文章建议每天查看 LLM 的输入和输出样本，以及时发现和适应新模式或故障模式。

在模型管理方面，作者们提出了生成结构化输出以简化下游集成的建议，并详细讨论了在不同模型之间迁移提示词的挑战。为了确保模型的稳定性能，作者们建议采用版本控制，固定模型版本，避免因模型更新导致的意外变化。同时，选择最小的能完成任务的模型可以有效降低延迟和成本。

产品设计部分，文章指出设计师应尽早且频繁地参与到开发过程中，不仅限于美化界面，还应重新思考用户体验并提出有价值的改进。通过设计人类在环的用户体验，允许用户提供反馈和修正，可以提高产品的即时输出质量，并收集有价值的数据改进模型。明确需求优先级和根据使用场景调整风险承受能力也是成功的关键。

在团队建设方面，文章强调了注重过程的重要性，而不仅仅是依赖于工具。培养实验文化，鼓励团队进行实验和迭代，有助于发现最佳解决方案。确保团队中的所有成员都能接触和使用最新的 AI 技术，并认识到成功的 LLM 应用团队需要具备多样化的技能，包括数据科学、软件工程和产品设计等。

总的来说，这篇文章提供了关于如何有效开发和管理 LLM 应用程序的深刻见解，并为从事这一领域的专业人员提供了实用的操作指南。

文章详细阐述了提示词注入攻击的概念,通过汽车经销商聊天机器人的例子生动地展示了攻击的原理。文章指出,提示词注入是利用大语言模型指令和输入边界模糊的特点,通过恶意构造的提示词来操控模型的行为。文章区分了直接和间接两种注入方式,并分析了可能造成的严重后果,如恶意软件生成、信息泄露和远程接管。文章强调了数据语义的重要性,以及传统安全防御方法的局限性。最后,文章提出了包括数据审查、最小权限原则、输入验证、模型训练防护和新型工具使用等应对措施,强调了防御提示词注入是一个持续的攻防过程,需要关注数据的语义。

在最近的研究中，Meta 以及巴黎高科路桥大学和巴黎萨克雷大学的研究人员共同提出了一种大型语言模型的新训练方法。这种方法通过一次性预测多个未来 tokens，而不是传统的单 token 预测，从而提高了模型的样本效率。该方法在代码生成和自然语言生成任务上均显示出优势，且不会增加训练时间，推理速度能提升至三倍。实验表明，随着模型尺寸的增大，该方法的优势更加明显，特别是在进行多 epochs 训练时。在编程等生成性任务的基准测试中，使用多 token 预测训练的模型性能提升尤为显著。

文章详细讨论了在 LLM 应用中使用 RAG 系统的重要性，以及如何通过向量化数据来使 LLM 的回答更加准确、可靠。RAG 系统通过将数据分块并转换为向量，使得 LLM 能够在语义空间内检索和引用特定数据。数据分块的大小对于搜索结果的准确性至关重要，过大或过小的分块都可能导致信息的不准确或缺乏上下文。文章中还引用了 Pinecone 公司的 Roie Schwaber-Cohen 的观点，强调了元数据在过滤和链接原始内容中的作用，以及不同的分块策略如何影响系统的效率和准确性。

文章介绍了几种常见的分块策略，包括固定大小分块、随机大小分块、滑动窗口分块、上下文感知分块和自适应分块。每种策略都有其优势和局限性，需要根据具体使用场景来选择最合适的方法。例如，Stack Overflow 在实施语义搜索时，根据页面结构将问题、答案和评论作为独立的语义块进行处理。最终，选择最佳分块策略需要通过实际测试和评估来确定，以优化 RAG 系统的性能。

本文介绍了 OpenAI 的最新研究，探讨了如何理解 GPT-4 的“思维”方法。研究提出了一种名为稀疏自编码器的技术，可以帮助我们找到 AI 模型中的关键点，从而更有效地使用它们。OpenAI 开发了一项新技术，可以将稀疏自编码器扩展到数千万个特征，效果优于以往。文章附有论文、代码和相关工具链接，以便进一步探索。

自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。几个月前，Mamba 的出现打破了这一局面，它可以随上下文长度的增加实现线性扩展。现在，原作者带队发布了更强大的 Mamba 2，其训练效率和性能显著提升。主要贡献包括提出 SSD（状态空间对偶性）框架，改进线性注意力理论，并引入利用更大状态维度的新算法。Mamba 2 在各种任务中表现优于其前身和其他模型，展示了注意力机制和状态空间模型的互补性。

本文讨论了一种新的强化学习框架 RL4VLM，它允许多模态大模型在无需人类反馈的情况下学习决策任务。 主要内容包括：1）该模型可以执行如打扑克和解决“12 点”等任务，表现超过 GPT-4v。 2）该框架使用环境奖励而非人类反馈，增强了决策能力。 3）模型在需要细粒度视觉信息和具身智能的任务上进行了测试。 4）该框架将视觉和文本输入整合用于任务状态，并使用 PPO 进行微调。

智谱 AI 在最近的 AI 开放日 上公布了其大模型的一系列进展。其 大模型开放平台 目前拥有 30 万注册用户，日均调用量达到 400 亿 Tokens。GLM-4 模型 在过去 4 个月 的增长超过 90 倍，且新版本 GLM-4-9B 全面超越了 Llama 3 8B，多模态模型 GLM-4V-9B 也已上线，所有大模型都 保持开源。MaaS 平台 升级到 2.0 版，降低了大模型应用的门槛，并提供了更加简化的私有模型部署过程。智谱 AI 的商业化策略不仅通过技术创新实现了应用成本的持续降低，还保证了客户价值的升级。智谱 AI 还推出了价格更低的 GLM-4-AIR 模型，性能与 GLM-4-0116 相当，但价格仅为后者的 1/100。此外，智谱 AI 在 AI 安全标准 制定方面也发挥了作用，与多家国际公司一同签署了 前沿人工智能安全承诺。智谱 AI 认为，随着 Scaling Law 依然有效，2024 年将是 AGI 的元年。

在快速变化的 2024 年，营销领域出现了许多新趋势，这篇文章深入探讨了这些变化对品牌战略的影响。文章首先介绍了 2024 年的 10 大营销新趋势，包括 VUCA 化、数字经济和 AI 智能经济的兴起，以及新一代消费者的崛起，强调品牌需要注重情感价值和内容经济。

文章详细分析了三种主要的品牌战略：定位战略、人群战法和共创感。定位战略通过品类第一和超级符号抢占消费者心智，但存在资源和思维限制。人群战法则通过 DTC 模式，从特定群体的需求出发，与用户建立深度连接，并通过精细化运营实现互动。共创感战略强调让 1% 的用户参与品牌创建，共同创造内容、产品和社群，实现品牌共同成长。

文章通过丰富的案例展示了这些战略的应用，同时指出其局限性。定位战略可能因资源不足难以实施，人群战法需要对数字化有深刻理解，而共创感则需要品牌对用户参与的深度赋能。

在和 Stripe CEO 帕特里克·克里森的深度访谈中，英伟达 CEO 黄仁勋分享了他带领公司实现巨大成功的经验和管理理念。通过对黄仁勋的深度访谈，揭示了他的领导风格、创新思维和对 AI 技术的见解。

黄仁勋强调，伟大的成就需要经历痛苦和奋斗，并非所有工作都是一直带给你快乐的。他认为奋斗和解决困难才能真正意识到自己所做事情的伟大。英伟达的管理模式也独树一帜，60 多位高管直接向他汇报，确保信息透明和高效传递。这种扁平化管理不仅减少了管理层级，还促进了公司内部的学习和成长。

在团队管理上，黄仁勋坚持不轻易放弃任何员工，相信每个人都有潜力。他公开反馈错误，让整个团队从中学习和进步。他还强调 CEO 的角色应该是处理其他人做不了的事情，并只参加能够推动发展和解决问题的会议。

黄仁勋更喜欢创造全新的市场，而不是在已有的市场中争夺份额。他认为创新和逻辑推理是证明事情可行性的关键。当前的 AI 革命被他比作工业革命，生产 token 和浮点数，这些代表智能的元素将大幅提升各行业的生产力，前景广阔。

文章还探讨了 ChatGPT 和 Llama 在 AI 领域的重大突破。ChatGPT 实现了计算的民主化，而 Llama 实现了生成式 AI 的民主化，推动了广泛的应用和研究。黄仁勋强调，积极参与 AI 是应对未来竞争的必要选择，否则将被使用 AI 的人取代。

此外，黄仁勋认为卓越的运营可以创造出不错的东西，但爱和呵护才能创造非凡的事物。他认为产品应具备美感和优雅，找到简洁和复杂的平衡点，以带来极佳的用户体验。

文章由曲凯和张津剑的对话构成，围绕 “生命力” 这一核心概念展开探讨。张津剑认为生命力是每个人内在的能量体，是每天起床时感受到的向上向善、与万物链接的能量和愿望。他指出，一个有生命力的人具有两个特点：对外实事求是，对内无条件自爱。实事求是的人面对问题时能够客观反应，而自爱能够帮助人们正视挫折，转化苦难为成长的养料。文章中还探讨了生命力与创业成功的关系，以及如何实现自爱。张津剑强调，爱自己的核心是放过自己，宽恕是所有宗教的核心法门。

文章还讨论了挫折如何促成个人成长，以及创业者如何通过挫折提升自己的生命力。曲凯分享了自己的观点，认为经历过挫折的人能够更好地理解管理和他人，而那些表面上一直顺利的人可能会因为缺乏苦难的体验而 ego 过大。

在讨论创业者脚本与投资的关系时，张津剑提到了创始人需要具备的见识和愿望。他认为见识是多样性的体现，而非高端，创业者需要接纳世界的多样性。愿望则是指一个人全然爱自己之后连接到的事物，是真心想要做的事情，而非基于比较的创业动机。他还提到，一个人的定源于信仰，而信仰是通过去噪的过程发现的，并非寻找的过程。

最后，文章谈到了 AI 的发展与未来趋势。张津剑认为 AI 正在加速，可能在未来三年内大幅减少程序员的需求。他还指出，AI 与区块链的结合可能会开启一个新的时代，这些科技的同时爆发将对社会产生深远的影响。尽管市场周期性波动，但张津剑认为价值创造者将会越来越少，而钱将会变得更多。因此，重要的是要专注于自己的工作，并且找到一种方式去爱自己，如追求一个爱好，以保持心态的平和和创造力的滋养。

黄仁勋在Computex 2024上的演讲详细介绍了英伟达的最新技术进展，包括Blackwell芯片和Rubin平台。他强调了加速计算在提升计算效率、节省成本和能源方面的重要性，并介绍了NVIDIA在加速计算领域的多项创新，如深度学习库和量子计算机仿真系统。黄仁勋还强调了CUDA技术的良性循环及其对人工智能发展的推动作用，以及生成式人工智能的崛起和其在各行业的深远影响。他预测机器人时代已经到来，未来所有移动物体都将实现自主运行。此外，黄仁勋详细介绍了Blackwell GPU的全面投产及其在人工智能计算能力上的巨大提升，以及新一代GPU集群和网络技术在AI计算中的性能提升和低延迟优势。最后，他强调了生成式人工智能的重要性及其广泛应用，预示着数据中心时代的到来，并介绍了NVIDIA的新产品Blackwell和下一代平台Rubin。

本文围绕人工智能领域中四大科技公司的战略布局进行展开。

首先，对于谷歌而言，其在 AI 领域的战略独特，采取了集成化的方法，通过其专有的 TPU 处理器和 Vertex AI 平台，为消费者和企业提供 AI 解决方案。 亚马逊则通过其 Bedrock 托管开发平台，提供模块化的服务，强调数据引力的重要性。 微软通过与 OpenAI 的合作，以及自己的 Azure 平台，采取了技术方法，确保了 AI 技术的广泛应用。 而 Meta 选择开源其大模型，如 Llama，以降低推理成本，同时通过开源策略吸引了大量开发者和企业，提高了模型的使用率和改进速度。

文章指出，集成化和模块化各有优势，集成化能够提供更加优化和协调的解决方案，而模块化则提供了更大的灵活性和适应性。