BestBlogs.dev 精选文章 第5期

英伟达发布开源模型 Nemotron-4 340B，可能彻底改变 LLM 训练方式。该模型使用合成数据，性能超越 Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，可与 GPT-4 竞争。模型包含基础、指令和奖励三部分，支持 4K 上下文窗口、50 多种语言和 40 多种编程语言。指令模型 98%使用合成数据训练。在常识推理任务中表现强劲，在 RewardBench 准确性上超过 GPT-4o-0513 和 Gemini 1.5 Pro-0514。模型对商业友好，可使用 NVIDIA NeMo 和 TensorRT-LLM 进行微调。其潜在影响广泛，涉及医疗、金融等领域，但也引发数据隐私和伦理问题。

本文由腾讯技术工程团队撰写，分享了从 ChatGPT 发布到腾讯发布大模型应用平台的实战经验。文章首先介绍了大模型对 NLP 领域的深远影响，以及作者团队从使用 BERT 转向研究 LLM 应用方案的过程。接着，详细讲解了如何利用 GPT 进行不同领域的自动化培训，并探讨了与大模型交互的多种提示工程技巧，如提问技巧、思维链法、守规矩法和鞭策法。此外，文章还深入描述了作者在开发 AI 智能体过程中，如何利用 LangChain 和 Function Call 技术解决实际业务问题，包括幼儿周报生成、养老照护和幼儿故事会等应用场景。最后，文章介绍了轻量级 AI 智能体的实践和多样化应用案例，展示了 AI 在娱乐和创意领域的潜力。

在 WWDC 2024 上，苹果推出了革命性的 AI 操作系统 ——Apple Intelligence，它不仅仅是将大型语言模型（LLMs）整合到设备中。 Apple Intelligence 的核心在于提供个性化、直观且安全的 AI 体验，包括文本处理、图像生成和 Siri 的升级，以及强化的隐私保护。

苹果通过自研的本地模型和私有云计算，同时支持第三方 LLMs（如 GPT-4），展现了其在 AI 领域的独特创新之路。这一系统的推出，标志着苹果再次重新定义了 AI 的使用方式，强调了 AI 产品应当以人为本，提升生活效率的同时，确保数据安全。

通过 App Intents 框架，苹果还鼓励开发者将 AI 功能融入到应用中，推动了 AI 技术在生态系统中的深度整合和广泛应用。这篇文章深入探讨了 Apple Intelligence 的功能和背后的设计理念，为我们展示了 AI OS 未来的可能性，以及苹果在 AI 领域的领导地位。

本文由机器之心发布，详细探讨了大语言模型（LLMs）在推理过程中的效率优化问题。文章首先分析了影响推理效率的三个根本因素：模型规模、注意力算子和解码方式。随后，文章系统地介绍了优化大语言模型推理效率的技术层次，包括数据层、模型层和系统层优化技术。数据层优化技术如提示词剪枝和输入压缩，通过减小输入长度直接提升推理效率；模型层优化技术涵盖提示词压缩、输出规划、高效结构设计和模型压缩，通过重新预训练或微调恢复精度；系统层优化技术则集中在推理引擎和服务系统的优化，如图和算子优化、猜测解码、内存管理等。此外，文章还探讨了模型量化、模型稀疏、结构优化、知识蒸馏和动态推理等具体技术，并展望了未来的研究方向，如智能体和多模型框架、长文本场景、边缘端部署和安全-效率协同优化。

本文分享了在超算集群上训练大语言模型的实践经验。讨论了训练大型模型时遇到的挑战和解决方案，包括使用混合并行、减少通信开销和提高训练效率。文章还介绍了 MFU 作为评估训练方案的一个指标，并探讨了大型模型训练中热点问题的演变。为未来大模型的发展趋势和训练领域的技术探索方向提供了见解。

总结了最近一周 AIGC 领域的重要动态和研究进展，主要内容包括快手对标 Sora 的新视频模型可灵，以及阿里开源通义 Qwen2 模型等。

本文是一篇译文，讨论了利用注意力机制显著提升模型训练速度的 Transformer 模型。它特别适用于并行处理，并被谷歌云推荐作为使用 Cloud TPU 的参考模型。文章详细解释了 Transformer 的架构，包括编码器和解码器组件以及自注意力机制。还涵盖了多头注意力的概念以及它如何增强模型的性能。文章配有视觉辅助和代码示例，以帮助理解。

文章介绍了 AI 领域的三大重要更新：Luma 推出的 Dream Machine，与 Sora 媲美的文生视频产品；SD3 模型的开源，超越了 Midjourney 的闭源模型；以及 Midjourney 推出的‘模型个性化’功能。这些更新均带来了突破性的能力和效率提升，对 AI 从业者至关重要。

文章讨论了苹果的 AI 到消费者（AI to C）战略，作者认为其具备三大要素：场景、变现和利益相关者。随着 AI 技术的发展，许多小型企业和“草台班子”可能会被市场淘汰，而苹果等大型科技公司可能会受益。关键观点包括苹果的 AI to C 场景，高质量 AI 回答对个人信息的重要性，以及“人机接口”的结合。

这是 Karpathy「Neural Networks：zero to hero」系列视频的最新内容。AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。视频主题为「让我们来复现 GPT-2（1.24 亿参数）」。Karpathy 表示，此次视频之所以这么长，是因为它很全面：从空文件开始，最后得到一个 GPT-2（124M）模型。具体实现步骤包括如下：首先构建 GPT-2 网络。然后对其进行优化，以便快速训练。然后通过参考 GPT-2 和 GPT-3 论文来设置训练运行优化和超参数。然后进行模型评估。然后祈祷好运，并去睡觉。第二天早上，查看结果并享受有趣的模型生成。通宵运行的结果甚至非常接近 GPT-3（124M）模型。该视频以「Zero To Hero」系列视频为基础，有些地方参考了以往视频。你可以根据该视频构建 nanoGPT 存储库，到最后大约有 90% 相似。当然，Karpathy 上传了相关的 GitHub 存储库「build-nanogpt」，包含了全部提交历史，这样你可以一步步看到视频中所有的代码变化。

生活在未来，建造看起来有趣的东西。Paul Graham，被称为“硅谷创业教父”，在生成创业想法方面提供了深刻的建议。主要观点包括：1）好的创业想法是被观察到的，而不是思考出来的。2）生活在变化的前沿有助于注意到这些想法。3）解决你自己的问题或未满足的需求。4）寻找衰退的行业，思考什么可以取代它们。5）不要过于努力地寻找想法，而是专注于发现需要解决的问题。

苹果在 WWDC24 上展示了其 AI 技术的全面升级，特别是在 Siri 的进化和与 OpenAI 的合作方面。通过整合 GPT-4o 和全面升级 Siri，苹果旨在实现 AI 在多程序间的联动应用，打造一个全能的 Agent 型助理，改变用户与应用的关系。此次更新涵盖了 iOS 18、macOS 15、watchOS 11 等多个系统，引入了 AI 技术优化照片应用、增强 Siri 的上下文理解能力、提升运动健康监测等功能。苹果强调隐私保护，利用私人云计算服务确保用户在使用 AI 时的隐私安全，并通过个性化智能提供更精准的服务。此次更新标志着苹果在 AI 领域的深度整合和创新，展示了其在 AI 应用、隐私保护和用户体验方面的策略和成果。

Devv AI 是一款专为程序员设计的人工智能搜索引擎，旨在为编程相关查询提供快速、准确的结果。创始人 Forrest Zhang 分享了从零开始打造这款产品的经验，强调了创业成功的关键在于解决真实存在的问题。文章详细介绍了从想法到 MVP 版本诞生的过程，包括深入用户调研、构建解决方案、打造差异化以获取市场竞争的胜利，以及商业化与盈利的策略。此外，文章还分享了创业过程中的关键洞察和经验，强调了快速验证、产品差异化、口碑传播和面对挑战的重要性。

在 AI 时代，提升用户留存率是产品推广面临的统一困境。Bryan Kim 从过往产品的推广热潮中提炼了七个依然适用于当下提升用户留存率的方法。这些方法强调“围绕用户”，包括：快速提供产品的核心价值，设置用户培训门槛，鼓励用户互惠，打造智能通知，创造连胜机制，提供总结报告，和为超级用户提供特殊地位。这些方法的研发成本较低，但是效果显著。很多 AI 公司已经通过这些方法成功提升了用户留存率。

文章整理了 2024 年智源大会上,百川智能 CEO 王小川、智谱 AI CEO 张鹏、月之暗面 CEO 杨植麟、面壁智能 CEO 李大海关于大模型与 AGI 的讨论。各位嘉宾普遍认为大模型是通往 AGI 的基石,但实现 AGI 还需在数据、算法、算力等方面进行创新。他们对 AGI 的定义、Scaling Law 的有效性以及大模型的价格战等问题发表了各自的看法。其中,王小川用 “能否造医生” 来定义 AGI,并补充了对 Scaling Law 的看法;李大海则从经济学角度定义 AGI 为执行任何任务的边际成本为零,同时关注大模型的小型化。嘉宾普遍认为价格战有利于大模型的普及,但不能亏本运营,最终要回归用户价值和生产力价值。

本文提供了迄今为止关于 NVIDIA 发展史最详实的资料，包含大量细节和精确数字。文章探讨了 NVIDIA 从 1993 年由黄仁勋、Chris A. Malachowsky 和 Curtis R. Priem 创立，到成为世界最有价值的科技公司之一，其市值超过许多国家的 GDP。文章深入探讨了 NVIDIA 早期的挣扎，Riva 128 GPU 的重要性以及该公司在科技行业的最终胜利。

在 AI 2.0 时代的浪潮中，作者与海纳 AI 创始人梁公军的对话揭示了 AI 在招聘领域的革命性变革。文章强调，AI 招聘的关键在于 “革命性替代人工、全集团全量使用”，这一点不仅提升了招聘效率，还为人才市场带来了标准化和精准化的就业模式。

梁公军分享了他的经验，指出创业是一种可习得的技能，需要结合技术周期和市场需求来不断调整策略。海纳 AI 通过其独特的 AI 面试技术，已经在中国用工量最大的八个行业中取得了成功，其服务不仅高效且成本低廉，还获得了高客户粘性。文章指出，AI 面试的渗透率将随着场景的 “打穿” 而提高，最终将成为常态。在经济寒冬中，创业者需要坚持不懈，利用技术红利期，为社会解决就业问题，推动人才与岗位的精准匹配。