BestBlogs.dev 精选文章 第 14 期

Google 发布了 Gemma 2，这是一个优先考虑性能、安全性和透明度的 AI 模型系列，旨在解决负责任的 AI 开发中的挑战。27B 和 9B 参数模型已经在现实世界对话中展现出优异的性能，在 LMSYS 聊天机器人竞技场排行榜上名列前茅。Gemma 2 家族的新成员进一步加强了其对负责任的 AI 的承诺：高效的 2B 模型提供了增强的安全性和可访问性，支持在各种硬件（从边缘设备到云环境）上进行设备部署；ShieldGemma 是一套最先进的安全分类器，有助于过滤有害内容并降低风险；Gemma Scope 是一种使用稀疏自动编码器的模型可解释性工具，可以深入了解 Gemma 2 模型如何处理信息并进行预测，最终有助于开发更负责任和可靠的 AI 系统。这些开源模型可在 Hugging Face 和 Kaggle 等平台上获得，鼓励 AI 社区内的协作和创新，与 Google 的愿景一致，即 AI 造福所有人。

OpenAI 推出的 GPT-4o 语音功能提供了更加自然和实时的对话体验，可以感知并回应用户的情绪。同时，输出 token 的增加至 64K 大幅提升了处理长文本的能力。这些更新目前正在灰度测试中，并计划于秋季向所有 ChatGPT Plus 用户开放。OpenAI 还将发布关于 GPT-4o 能力、局限性和安全评估的详细报告。这些新功能不仅增强了 AI 的交互体验，还预示着 AI 在教育、娱乐等更多领域的广泛应用。

Meta 在其成功的图像分割模型 SAM 的基础上，推出了新一代的 SAM 2 模型。SAM 2 是一个统一的模型，能够在图像和视频中实现实时提示对象分割，并达到最先进的性能。该模型遵循 Meta 的开放科学方法，以 Apache 2.0 许可证共享代码和模型权重文件，并发布了包含约 51,000 个视频和超过 600,000 个掩码的 SA-V 数据集。SAM 2 能够分割任何视频或图像中的任何对象，无需自定义适配，适用于多种用途，例如与生成视频模型结合创造新的视频效果，或用于加速视觉数据标注工具。文章还详细介绍了 SAM 2 的构建过程，包括其统一架构、记忆机制和流媒体架构，以及如何通过提示视觉分割任务和大规模数据集的构建来实现视频分割能力。SAM 2 的发布不仅展示了其在多个领域的实际应用潜力，例如内容创作、科学研究和工业应用，还强调了开源 AI 在提高生产力、创造力和生活质量方面的重要作用。

本文详细介绍了混合专家（MoE）模型的原理、分类、最新发展和应用。MoE 通过稀疏门控技术，仅激活与输入相关的专家，有效控制计算成本，同时提升模型能力。文章从算法设计、系统设计和应用三个视角全面解读 MoE，探讨了门控函数和专家网络的架构及其在 MoE 中的应用。MoE 在提升模型效率和多任务学习方面具有显著优势，例如条件计算和门控机制的应用。此外，文章还介绍了 MoE 与参数高效型微调（PEFT）的结合，形成混合参数高效型专家（MoPE），进一步提升了模型在多任务场景中的性能和资源效率。文章列举了 MoE 在自然语言处理、计算机视觉、推荐系统和多模态等领域的广泛应用，并提供了丰富的研究案例和开源模型，佐证了 MoE 在提升模型效率和性能方面的巨大潜力。最后，文章也指出了 MoE 面临的挑战，如训练稳定性、负载平衡、可扩展性等，并展望了未来的研究方向。

本文首先回顾了张量、矩阵乘法和 GPU 算力的基础知识，然后详细介绍了 Transformer 架构的内部工作机制，并进行了定量分析。文章重点讨论了 Transformer 在推理和训练过程中的计算量、显存占用和性能评估指标 MFU，并结合 Llama 2 等模型进行了实例分析。此外，文章还介绍了 Attention、FFN 等结构的优化方法，以及不同并行策略对计算效率和资源分配的影响。

本文从多个角度详细阐述了大语言模型（LLMs）的运作机制。首先指出 LLMs 通过预测下一个 token 来处理文本，而非真正理解或回答问题。文章进一步解释了 token 作为 LLM 理解文本的基本单位，以及通过字节对编码（BPE）算法生成的方法。在模型训练方面，强调了大量文本数据的重要性，以及如何通过超参数调整生成文本的创造性和多样性。此外，文章还探讨了训练数据空洞问题及其对模型预测质量的影响，并提出了通过扩大上下文窗口和使用神经网络来改进模型预测的方法。最后，详细介绍了神经网络的结构和训练过程，特别是 Transformer 模型和注意力机制的应用，强调了 LLMs 虽不具备真正的智能，但能通过复杂的计算生成看似原创且有用的文本。

Meta 最新开源的 Llama 3.1 405B 模型参数量巨大，对模型推理速度提出了更高的要求。为了解决这一难题，LMSYS Org 团队推出了全新的 SGLang Runtime v0.2，这是一个用于 LLM 和 VLM 的通用服务引擎，旨在提供高效、易用且性能卓越的模型服务解决方案。

SGLang Runtime v0.2 在处理 Llama 3.1 405B 模型时，吞吐量和延迟表现均优于 vLLM 和 TensorRT-LLM。在某些情况下，SGLang 的吞吐量甚至能够达到 TensorRT-LLM 的 2.1 倍，vLLM 的 3.8 倍。

SGLang 的卓越性能得益于其高效的批处理调度器、优化的推理流程以及对最新硬件平台的支持。SGLang 完全开源，采用 Apache 2.0 许可授权，由纯 Python 编写，核心调度器仅用不到 4K 行代码实现，方便用户部署和修改。

SGLang 已被 LMSYS Chatbot Arena 等多个平台和研究机构采用，并获得了知名 AI 研究者贾扬清的赞赏。未来，SGLang 团队计划进一步优化其性能，并开发长上下文和 MoE 优化等新功能，以满足不断增长的模型服务需求。

本文针对大语言模型（LLM）因参数规模庞大而难以在消费级硬件上运行的问题，详细介绍了量化技术作为解决方案的基本概念和方法。文章首先概述了量化技术如何通过减少数值表示的位数来降低存储和计算需求，随后深入探讨了量化技术的基础知识，包括动态范围、精度、内存需求以及不同数据类型的量化方法。进一步，文章详细介绍了对称量化和非对称量化方法，以及量化过程中的异常值处理和校准技术。此外，文章还介绍了静态量化和动态量化的区别，以及 4-bit 量化中的 GPTQ 和 GGUF 方法。最后，文章介绍了 BitNet 技术，通过将模型的权重量化为单个比特（-1 或 1）来压缩大模型，并引入 BitLinear 层替换传统线性层，以提高计算效率和模型性能。

OpenDevin 是一个社区驱动的开源平台，专注于开发能够通过软件与世界交互的通用和专业 AI Agent。该平台由伊利诺伊大学香槟分校、卡耐基梅隆大学等机构的学者开发，不仅提供了一个概念框架，还包括一个全面且可立即使用的 Agent、环境和评估实现。OpenDevin 的特点包括大模型 Agent、接口和环境之间的交互机制、沙盒操作系统 + Web 浏览器环境、代码创建和执行接口、多 Agent 支持以及评估框架。目前，OpenDevin 在 GitHub 上已获得超过 2.9 万 Star。技术报告中详细介绍了 OpenDevin 的架构、智能体的定义与实现、动作执行、可扩展的智能体-计算机接口、多智能体交互以及评估方法。评估结果显示，OpenDevin 在多个基准测试中表现优异，尤其在软件工程和 Web 浏览任务中。

本文全面讲解了构建生成式 AI 平台的技术要点，旨在为开发者和产品经理提供实用指南。文章首先概述了平台的基本架构，包括模型 API、保护措施、模型路由器和缓存等组件，强调了上下文信息构建对提升模型性能的重要性，并介绍了 RAG、主动 RAG 和查询重写等技术。在检索技术方面，文章深入比较了基于术语和基于嵌入的检索方法，并介绍了混合搜索的概念。此外，文章还重点关注了 AI 安全和风险管理，详细阐述了输入输出护栏设置、风险管理策略以及模型网关的作用。最后，文章还讨论了提示缓存、精确缓存和语义缓存等缓存技术的应用，以及可观测性在平台构建中的重要性。

LangGraph Studio 由 LangChain 推出，是第一个专门为使用大型语言模型 (LLM) 开发 Agent 应用程序而设计的集成开发环境 (IDE)。该工具旨在通过提供增强传统编码实践的可视化和交互式功能来简化开发流程。LangGraph Studio 建立在 LangGraph 的基础之上，LangGraph 是一个于 2023 年 1 月推出的低级编排框架，此后已发展成为一个稳定的 0.1 版本。IDE 允许开发人员可视化 Agent 图表，实时与 Agent 交互，并有效地调试应用程序。它通过在运行时允许修改 Agent 响应和底层代码来支持迭代开发。LangGraph Studio 目前作为 Apple Silicon 的桌面应用程序提供，未来计划扩展到更广泛的平台支持。用户反馈和实际示例突出了它在现实世界场景中的实用性。

Infinity 0.2 版本的发布标志着 RAG 应用领域的重大进步。通过新增稀疏向量和张量数据类型，Infinity 支持了三路混合搜索（稠密向量、稀疏向量和关键词全文搜索），大幅提升了搜索的精确度和召回率。Infinity 简化了 RAG 技术的实施复杂性，使用户无需依赖复杂的组合架构。其引入的 Tensor 数据类型和多种排序算法，如 Reciprocal Rank Fusion (RRF) 和基于 ColBERT 的重排序，进一步提高了搜索的准确性和用户适应性。Infinity 还优化了 HNSW 向量索引和实现了全文索引的动态查询剪枝技术，提供了高效的向量和全文搜索能力。性能评测结果显示，Infinity 在 MLDR 数据集上的混合搜索能力表现出色，显著优于单一向量搜索和 Elasticsearch。总体而言，Infinity 0.2 版本凭借其强大的功能、卓越的性能和领先的技术，确立了其作为功能最强大、速度最快的 RAG 专用数据库的地位。

LinkedIn 团队致力于利用生成式 AI 重新定义用户的求职和内容浏览方式。他们采用 LLM 和 RAG 技术构建智能体系统，实现快速信息获取、信息点连接和个性化建议。然而，团队也面临着诸多挑战，包括：

• 如何评估生成答案的质量，并确保其准确性、真实性和同理心。
• 如何有效调用内部 API，以利用 LinkedIn 庞大的用户和职业数据。
• 如何保持高质量输出，并不断优化模型以减少幻觉和错误。
• 如何在保证低延迟和高吞吐量的同时，应对 LLM 模型带来的容量和成本压力。 为应对这些挑战，团队采取了一系列解决方案，包括：
• 制定严格的评估指南、规模化注释流程和自动化评估工具。
• 开发技能包装的内部 API，并通过防御性 YAML 解析器和提示优化提高调用效率。
• 采用思维链等技术提高输出质量，并通过流式处理和异步非阻塞管道优化性能。 团队在不断学习和优化中取得了显著成果，并将持续改进模型、基础设施和流程，为用户提供更优质的体验。

Google Cloud 宣布推出 Spanner Graph，这是一个新的数据库解决方案，它将图数据库功能与 Spanner 的强大功能相结合，Spanner 是 Google Cloud 的全球一致且可扩展的数据库。这种集成旨在解决企业在采用独立图数据库时面临的常见挑战，例如数据碎片化、可扩展性问题以及需要额外资源来适应新范式的需求。Spanner Graph 提供了原生图体验，支持 ISO 图查询语言 (GQL)，统一了关系型和图模型，内置了搜索功能，并与 Vertex AI 深度集成，以提供 AI 驱动的洞察力。该解决方案通过提供一个无缝且可扩展的平台来管理相互关联的数据，支持各种用例，包括欺诈检测、推荐引擎、网络安全等。

这篇 LangChain 博文深入探讨了少样本提示在提高大型语言模型 (LLM) 工具调用能力方面的应用。作者强调了工具在 LLM 应用中的重要性，并讨论了 LangChain 在改进工具接口方面的努力。文章阐明了少样本提示的概念，即在模型提示中加入示例输入和期望输出以提高性能。通过对两个数据集“查询分析”和“多元宇宙数学”的实验，作者证明了各种少样本提示技术的有效性。值得注意的是，使用语义相似的示例作为消息显著提高了性能，尤其是在 Claude 模型中。文章最后强调了未来的研究方向，包括使用负面示例和用于语义搜索检索少样本示例的最佳方法。

本文深入探讨了 Prompt 工程在大模型应用中的关键作用，并提供了一套结构化的 Prompt 构建方法，包括“立角色+述问题+定目标+补要求”的万能模版。文章首先回顾了 GPT 模型的演进历史，强调了模型规模和数据量对性能的影响。接着，文章详细阐述了 Prompt 工程的核心概念，并通过具体案例讲解了如何通过任务分解、角色设定、示例添加以及记忆模块等方法优化 Prompt，以提升大模型在实际应用中的效果。此外，文章还强调了清晰的 Prompt 结构和利用大模型编程能力的重要性，为 Prompt 的优化提供了实用建议。

本文从多个角度探讨了智能体（Agent）的概念及其与 Chatbot 的区别。文章首先指出，Agent 不一定要模拟人类行为，而是可以作为基于大型语言模型的辅助工具，在处理复杂任务和协作方面与 Chatbot 有所不同。接着，文章讨论了 Agent 的主要研究方向，包括记忆、数据合成、智力测试和落地应用。此外，文章还探讨了语言模型可能成为计算机 2.0 的核心，以及智能体在多步推理、数据合成和模型架构等方面面临的挑战和可能的解决方案。文章还涉及了大模型的智力水平、记忆机制及其与人类智力的对比，以及 Agent 在语言模型、代码、泛娱乐和具身机器人等领域的商业化前景。最后，文章讨论了 Agent 在不同场景下的应用复杂性、推理速度的提升、Multi-Agent 的定义和应用，以及 Agent 与人类分工的异同。

本文宣布将 Ollama 对大型语言模型 (LLM) 的工具支持集成到 Spring AI 1.0.0-SNAPSHOT 中。此强大功能允许 LLM 决定何时调用外部函数并利用返回的数据，从而开辟了诸如实时信息访问和复杂计算等可能性。Spring AI 将此功能无缝地集成到 Spring 生态系统中，使 Java 开发人员能够轻松地在应用程序中利用函数调用。主要功能包括与 Spring bean 的轻松集成、灵活的配置、自动 JSON 架构生成、对多个函数的支持、运行时函数选择以及跨不同 LLM 提供商（如 OpenAI、Mistral 和 Anthropic）的代码可移植性。本文提供了有关入门的实用指南，包括先决条件、依赖项以及演示如何使用函数调用获取天气数据的代码示例。此外，它还讨论了 OpenAI 兼容性和当前限制，例如缺乏对流式工具调用和工具选择的支持，同时保证将来会支持这些功能。 这种集成代表着 AI 驱动的 Java 开发的重大进步，允许创建更具动态性和响应性的应用程序。

本文从 AI Agent 的定义和组成讲起，介绍了九章云极自研的 Agent 框架，包括 Session、Agent、Planner、Action 和 Tool 五个核心部分，并解释了这些组件如何协同工作以实现高效的交互和任务执行。

文章还讨论了 Agent 技术在实际应用中面临的挑战，如基座大模型的不可控性、大模型幻觉现象和效率低下问题，并提出了相应的解决方案，包括垂直大模型训练、模型微调和 Prompt 工程等。

此外，文章分享了三个 Agent 应用案例：会议预定、智能信息收集和辅助办公 AI PPT，展示了 Agent 技术在实际场景中的应用效果。

最后，文章展望了未来 Agent 技术的发展趋势，包括 Multi-Agents 的集成爆发、跨平台部署和多模态能力的扩展，强调了 Agent 技术在提升交互体验和实现智能化服务方面的重要作用。

本文详细介绍了 Meesho，一个印度电子商务平台，与谷歌云咨询（GCC）合作，创建了一种虚拟试穿解决方案，解决在线购物中复杂服装的可视化问题。该解决方案使用谷歌云平台服务，如 Vertex AI 图像，来增强背景和分辨率。该过程涉及到 saree 重建、2D 图像操作技术，如 TPS 扭曲和光遮罩，以及使用 Blender 软件的 3D 网格渲染。该解决方案不仅简化了供应商的目录创建过程，也极大地改善了用户体验，允许客户可视化不同 saree 在他们身上的样子。

文章由 James Groeneveld 撰写，介绍了 Character.AI 在提示词设计方面的创新工具——Prompt Poet。该工具旨在解决传统提示词工程中的复杂字符串操作问题，通过引入模板化和状态函数的设计理念，使提示词的创建和管理更加高效和直观。Prompt Poet 结合了 Python 的 f-strings、YAML 和 Jinja2 模板语言，提供了灵活且易于组合的模板系统，支持动态数据绑定、控制流逻辑和复杂的截断策略。此外，Prompt Poet 还支持自定义编码函数和缓存感知截断，以优化大语言模型（LLM）的上下文窗口利用率和响应速度。文章详细展示了 Prompt Poet 的基本用法、模板设计、插值列表、截断策略以及如何根据用户模式和特定查询调整提示词。最后，文章强调了 Prompt Poet 在提升 AI 交互质量和效率方面的重要性，并展望了其在未来 AI 应用中的潜力。

本文详细分析了语音代理（Voice Agent）在 AI 时代的发展趋势和应用场景，强调了其在提升交互体验和效率方面的重要性。文章首先介绍了语音交互的优势，以及 Voice Agent 在陪伴、心理疗愈和企业工作流程等不同场景中的应用。 文章还探讨了端到端模型如 GPT-4o 对 Voice Agent 技术的影响，以及 RTC 技术在降低延迟方面的重要作用，并分析了 Voice Agent 在 To Developer、To Enterprise 和 To Customer 三大方向的应用场景、核心价值和发展趋势。最后，文章介绍了多个基于 AI 的交互产品，如 Ello、Sonia、Curio 和 Moxie，展示了语音交互技术在儿童教育、心理健康和消费级硬件等领域的巨大潜力。

在数字化时代，笔记软件作为记录、整理和创造知识的工具至关重要。AI 的加入重塑了笔记体验，满足了用户快速记录、捕捉灵感、智能整理、情感陪伴和自动撰写文章的五大核心需求。Notion 作为 AI 笔记的代表，其用户突破 1 亿，年收入达到 18 亿元，彰显了 AI 笔记的市场潜力。其他 AI 笔记产品如 Tana、Mem、心光、闪念贝壳和 Voicenotes，也通过集成 AI 功能，提升了用户体验和效率。

英伟达在 SIGGRAPH 2024 展示了其人形机器人通用基础模型 Project GR00T 的最新进展。通过整合 RoboCasa 和 MimicGen 系统到 Omniverse 和 Isaac 机器人开发平台，英伟达简化了开发者的工作流程，并利用 AI、Omniverse 和 Jetson Thor 三个计算平台加速人形机器人的开发。特别是，开发人员现在可以使用苹果 Vision Pro 远程操控人形机器人执行任务，这一创新突破了传统机器人操控的局限。此外，英伟达还推出了新的 NVIDIA NIM 微服务和 OSMO 编排服务，以支持机器人仿真和学习，进一步加速全球范围内人形机器人的发展。

1. AI 学习的难题 ：文章开篇指出 AI 学习中常见的困难，如专业术语理解、视频选择和论文阅读。

2. 豆包电脑版的功能 ：文章介绍了豆包电脑版的多项功能，包括「AI 看 B 站」的视频总结、「划词翻译」的文章划词解释和「AI 伴读」的论文阅读辅助。

3. 实际应用实例 ：文章通过具体使用案例，如 B 站视频学习、论文阅读和博客撰写，展示了豆包电脑版在实际学习中的应用效果和便利性。

4. 用户体验 ：文章引用网友评价，强调豆包电脑版的使用体验良好，被形容为「带 AI 功能的操作系统」。

5. 市场表现 ：文章提到豆包电脑版下载量突破 1 亿，月度活跃用户超过 2600 万，展示了其在 AI 学习领域的广泛应用和用户基础。

上半年，多家国内外企业发布 AI 视频生成新产品或模型，技术上在视频时长、物理模拟、高清度等方面取得显著进步。不同产品在生成效果、稳定性方面展现出差异性，资本对该领域投资热度高涨。尽管技术进步显著，但 AI 视频生成技术仍面临人物一致性、场景一致性等挑战，未来需在声音、剪辑、剧本等环节实现更全面的集成。

文章从微信二维码在移动互联网时代的成功出发，探讨了 AI 时代可能的新入口形式和交互方式。首先回顾了二维码在移动互联网兴起时的作用，分析了其在支付、登录等场景中的普及原因。接着，文章提出了 AI 时代的信息处理方式与互联网时期的差异，强调了 AI 在信息处理上的优势，如实时数据注入和意图识别。文章还讨论了 AI 使用的门槛问题，提出了通过交互创新降低学习成本的必要性。此外，文章探讨了 AI 在 PC 和移动端的应用探索，如 Github Copilot 和 ChatGPT 小组件，以及 AI 在 SuperAPP 形成中的挑战。最后，文章强调了 AI 应用需要无缝融入用户生活，成为用户的肌肉记忆，提出了未来 AI 与用户交互的可能形式。

大模型作为人工智能技术变革的关键力量，正逐步渗透到社会的各个领域。本文盘点了国内 16 家领先科技公司在人工智能领域的创新实践，涵盖了 13 款各具特色的智能体和大模型，从技术原理到市场潜力的全面展望，揭示了这些智能"大脑"如何开启未来智能应用的新篇章。

本文深入探讨了字节跳动推出的 AI 应用开发平台“扣子”，该平台旨在帮助开发者，无论技术水平如何，都能轻松构建和发布 AI 应用。文章从产品功能、目标用户、商业模式、竞争对手、未来发展等多个维度进行了全面分析，并结合行业趋势和市场现状进行了解读。文章重点介绍了“扣子”平台的核心功能，包括其强大的 AI 应用编排能力、灵活的 Bot 应用发布渠道以及面向企业用户的专业版解决方案。此外，文章还分析了“扣子”平台的商业模式，包括其面向开发者提供的免费版和付费版，以及其未来可能采用的订阅模式和广告变现模式。文章最后探讨了“扣子”平台面临的挑战和机遇，并展望了其在 AI 应用开发领域的未来发展方向。

AI 在软件工程中的应用已从辅助开发人员扩展到涵盖软件开发的整个生命周期，各个阶段都得到了显著提升。AI 编程工具的演进路径呈现出从个体到团队再到组织的发展趋势，并出现了从本地 AI IDE 到领域特定的智能代码生成工具的形态变化。AI 不仅能提升开发效率和软件质量，还通过与内部 IM 和 ChatBot 系统集成，增强了团队协作和组织级应用。

Runway Gen-3 Alpha 模型推出了图生视频功能，允许用户上传图片并结合文本提示生成最长 11 秒的视频。该功能大幅提升了生成视频的艺术控制和一致性。文章通过展示多个图生视频示例和用户的积极反馈，突显了该功能的实际应用潜力和受欢迎程度。此外，文章还提到了一些用户已经尝试并分享了他们的生成视频，展示出该功能的实际应用价值和效果。

在 PPT 制作泛滥成灾的当下，人们迫切需要一种提升效率的方法。Kimi 与 AiPPT 合作推出的 AI PPT 助手应运而生，通过一键转换文档和一键生成大纲两种方式，大幅简化 PPT 制作流程。该助手还提供了丰富的模板和编辑功能，进一步提高了 PPT 制作的便捷性。此外，文章还探讨了 AI PPT 市场竞争激烈的现状，列举了 Gamma、Tome 等多个知名 AI PPT 工具，为读者提供了全面的市场洞察。

本文从多个角度分析了 AI 剪辑工具在视频制作中的应用，包括视频分析、素材搜索匹配、视频生成和剪辑工具等。文章首先指出了 AI 技术在视频制作领域的广泛应用，但也提到了实际应用中存在的指令识别不准、无法修改等问题，以及 AI 生成内容的版权风险。接着，文章对比了几家 AI 剪辑工具厂商的产品特点和发展思路，如剪映、即创和智能创作云等工具的功能和局限性。此外，文章还探讨了 AI 剪辑工具的市场竞争、用户细分、功能标准化与定制化，以及商业模式和竞争壁垒。最后，文章强调了 AI 剪辑工具在视频制作领域的潜力和前景，特别是在提高效率和降低成本方面的作用，但也指出了未来发展中需要解决的一些问题。

Hebbia 是一款 AI 驱动的企业搜索平台，其创新的 Matrix AI 技术超越了关键词匹配的局限，为专业领域提供深度分析和自动化工作流程。不同于传统的搜索工具，Hebbia 以透明的方式呈现解决方案，提升用户对结果的信任。此外，其多模态处理能力和与流行工具的无缝集成，进一步增强了工作效率。自成立以来，Hebbia 获得了 a16z 等顶级投资公司的支持，并已在金融、法律等行业取得成功。

胃之书是一款多模态 AI 驱动的美食记录应用，通过简化上传流程、流式输出 JSON 数据、震动反馈等创新产品设计，以及限制 Token 消耗量、设置价格锚点等有效增长策略，吸引用户并实现增长。该应用在小红书平台上获得了成功，但同时也面临着满足深层次用户需求、用户留存和产品迭代的挑战。避免这些挑战的关键在于持续满足用户需求和强化数据资产价值。

第二届多模态情感识别挑战赛（MER24） 是由清华大学等机构联合举办的国际赛事，旨在推动多模态情感识别技术的发展。比赛设置了三个赛道，其中Semi 赛道 难度最高，要求参赛队伍利用少量有标签和大量无标签数据训练模型。

Soul App 团队 凭借其在多模态数据理解、情感识别算法和模型优化等方面的积累，在 Semi 赛道中夺得第一名 。他们提出的技术方案包括使用 GPT-4 进行情感伪标签生成、EmoVCLIP 模型等，显著提升了情感识别的准确率。

多模态情感识别技术在提升人机交互体验和满足用户情感需求方面具有重要应用前景。Soul App 团队的创新技术方案展示了国内人工智能拟人互动技术的新高度。

本文来自“歸藏的 AI 工具箱”，针对当前 AI 视频生成模型在面部表情和说话控制方面的不足，介绍了一种利用 LivePortrait 等工具生成具有生动表情的 AI 视频的方法。文章详细讲解了使用 Midjourney、Runway、Hedra、Elevenlabs 和 LivePortrait 等工具进行图片生成、音频生成、面部视频生成以及最终表情迁移的步骤，并提供了详细的操作建议和工作流获取方式。

文章通过 idoubi 的个人成长和创业经历，展示了 AI 技术在快速迭代中如何驱动产品创新和市场适应，强调了兴趣驱动、开源文化、产品差异化和用户体验在 AI 领域的重要性。

idoubi 从一名自学编程的全栈开发者到成为 AI 领域创业者，始终坚持软件自由的理念。在 AI 领域，他抓住了 GPT 技术的热潮，快速开发并推广了具有思维导图功能的 AI 搜索产品，强调了产品差异化和用户体验的重要性。同时，他也面临了价值定位、技术挑战和资本反馈的考量，通过开源项目增加了曝光度和用户基础。文章还讨论了 AI 工具的商业化策略，包括 API 收费模式和社交媒体营销，以及如何通过优化产品功能和用户体验来吸引和保留用户。

Meta CEO 扎克伯格与 NVIDIA CEO 黄仁勋在 SIGGRAPH 大会上进行了一场深度对话，探讨了生成式 AI 和元宇宙的未来。扎克伯格 认为 AI 产品将朝着更加个性化的方向发展，例如利用 AI 工具实时创作或合成内容，为用户提供定制化体验。他还预测，每个企业未来都将拥有一个与客户交互的 AI 智能体，智能体将成为 AI 产品的新形态。

扎克伯格和黄仁勋都强调了开源生态系统的重要性，认为这将促进技术标准的形成和产品的快速迭代。扎克伯格 以 Meta 开源 PyTorch 和 Llama 为例，说明开源策略不仅有利于整个行业，也符合 Meta 自身利益。

两位 CEO 还探讨了智能眼镜作为下一代计算平台的潜力。扎克伯格 认为，AI 与智能眼镜的结合将创造出全新的交互方式，例如实时翻译、视觉语言理解等。他还透露，Meta 正与 EssilorLuxottica 合作开发 Ray-Ban Meta 智能眼镜，目标是打造外观时尚、功能强大的 AI 眼镜，并预测 AI 眼镜将成为一个数十亿级的庞大市场。

苹果在最新的 iOS 18.1 Beta 版中推出了 Apple Intelligence，这是一项集成了 AI 技术的全新功能，主要由自研的大模型 Apple Foundation Model（AFM）驱动。该功能目前仅对注册开发者开放，普通用户需等待正式版的发布。Apple Intelligence 的主要功能包括文本生成、Siri 的升级以及相册搜索的改进。文本生成功能不仅限于苹果官方应用，还支持第三方应用，能够进行文本总结、校对和重写。新版 Siri 在界面和功能上都有所更新，支持文本对话，并能理解上下文，提供更连贯的对话体验。相册功能则允许用户通过自然语言搜索特定照片或视频中的具体时刻。

在技术层面，AFM 分为端侧和云侧两个版本，在训练过程中未使用英伟达硬件，而是采用了谷歌的 TPU 集群。苹果还开发了新的强化学习算法 iTeC 和 MDLOO，以及混合精度量化技术，以优化模型的性能和效率。在多项测试中，AFM 在指令遵循、文本总结等任务上的表现超过了 GPT-4，显示出苹果在 AI 领域的强大竞争力。 然而，目前 Apple Intelligence 仍处于测试阶段，部分功能尚未上线，例如 ChatGPT 集成和屏幕感知功能等。

本文详细讲述了一款 AI 相册搜索应用「寻隐」/「Queryable」的创立和发展过程。开发者受到 OpenAI 的 CLIP 模型启发，克服技术难题，开发了这款能在 iOS 设备上本地搜索照片的应用。产品通过 Hacker News 等平台迅速获得关注，但也引发了隐私问题和负面评价。开发者尝试了开源策略以推广产品，但面临了抄袭和套壳问题，最终选择重新引入付费模式，以此来确保产品的持续发展和优化。文章还讨论了产品定价、市场推广、用户反馈、以及开源与付费模式的优劣。

2024 年上半年，OpenAI、苹果、谷歌、微软、Meta、英伟达等海外科技巨头纷纷推出 AI 新品，涵盖多模态 AI、高性能计算、开源模型等多个领域，展现出 AI 技术的蓬勃发展和巨大潜力。

OpenAI 的 ChatGPT-4o 在多模态支持、响应速度和多语言处理方面取得突破；苹果推出 Apple Intelligence 项目，通过高性能生成模型实现系统级个人助理；谷歌的 Project Astra 旨在开发通用 AI 代理；微软推出配备 AI 芯片的 Copilot Plus PC 和新一代 Surface Pro，大幅提升 AI 性能；Meta 开源 Llama 3 模型，支持多平台应用；英伟达发布 Blackwell 芯片，为大语言模型提供更高的性能和更低的成本。

此外，Mistral 的 Codestral-22B 代码模型、Anthropic 的 Claude 3.5 Sonnet 多模态模型、Adobe 的 GenStudio 营销平台以及 Salesforce 的 Einstein Copilot 企业级聊天机器人都展现出 AI 技术在不同领域的创新应用。这些 AI 新品的推出，将推动 AI 技术在更多场景落地，为各行各业带来变革。

1. 小模型在特定任务上展现出与大模型媲美甚至更优的性能，同时具有更高的性价比。
2. 数据质量的提升、知识蒸馏技术的应用和模型架构的优化是小模型性能提升的关键因素。
3. 小模型在端侧设备和移动设备上部署成本低、效率高，加速了 AI 技术的落地应用。
4. 未来 AI 模型的发展将趋向于模型组合，根据具体需求选择合适的模型。
5. 尽管 AI 行业面临长周期投入和高成本的挑战，小模型的崛起为 AI 技术的落地应用提供了新的破局点。

AI 领域的并购趋势愈发明显。以 Character AI（C.AI）和 Leonardo.AI 为例，C.AI 因资金和资源压力而寻求被 xAI 收购，而 Leonardo.AI 则被设计平台 Canva 以 3 亿美元收购。文章指出，AI 领域资源向少数大公司集中，如 OpenAI、Google 等，使得创业公司在模型层面上难以竞争。投资人和创业者对 AI 行业的未来持谨慎态度，认为当前 AI 应用尚未达到商业化的成熟阶段，需要更多时间来验证和完善。