BestBlogs.dev 精选文章 第 11 期

文章介绍了 TTT（测试时间训练）架构，这是一种创新的神经网络设计，旨在克服 Transformer 和 RNN 在处理长序列时的挑战。TTT 通过对输入 token 进行梯度下降来压缩上下文，替代了注意力机制，提高了长上下文的处理能力。通过自监督学习和创新的训练方法，TTT 在运行时学习和适应，降低了计算成本。TTT-Linear 和 TTT-MLP 在性能和效率上都显著优于 Transformer 和 Mamba，尤其在处理长上下文时。研究人员相信，TTT 将改变我们构建语言模型的方式，并在实际应用中产生重大影响。不过，TTT 在实际应用中可能面临实现复杂度和资源消耗等挑战。

Anthropic 推出的新功能针对其 AI 工具 Claude，新增了 prompt 生成、测试和评估工具，旨在简化 prompt 创作流程。用户只需描述任务，Claude 即可生成高质量 prompt，并提供测试用例和质量评分，使得 prompt 优化和迭代变得更加便捷。这一功能通过自动化流程，显著减少了用户在 prompt 优化上的时间投入，得到了 AI 博主的好评，认为它能节省大量时间并提供快速迭代的起点。

Nexa AI 由两位具备同济大学和斯坦福背景的年轻创业者创立，他们的端侧 AI Agent 技术采用 Functional Token，解决了端侧设备的模型大小、速度和能耗问题，实现了比 GPT-4 快 4 倍、成本低 10 倍的效果。团队从电商图生成转战 Agent 搜索，后专注端侧模型，推出 Octo-planner 与 MIT-IBM Watson AI Lab 合作，致力于通过 AI Agent 改变用户与硬件的交互方式。Nexa AI 的技术不仅提高了运营效率和决策准确性，还在 AI 市场中占据了独特的有利位置。

随着大型语言模型（LLM）的快速发展，优化模型性能和效率变得尤为重要。FlashAttention 系列算法通过改进注意力机制的计算效率，显著提升了 LLM 的训练和推理速度。FlashAttention-3 是该系列的最新版本，由 Meta、英伟达和 Together AI 等机构共同开发。该版本采用了多种创新技术，包括 warp-specialization、交错分块 matmul 和 softmax 运算，以及利用 FP8 低精度的非相干处理，从而在 Hopper GPU 上实现了高达 740 TFLOPS 的计算速度，理论最大 FLOPS 利用率达到 75%。此外，FlashAttention-3 还通过异步处理和低精度计算进一步优化了性能，使得 LLM 能够更高效地处理更长的文本片段，同时降低了内存使用和成本。

Amazon SageMaker 推出了一个新的推断优化工具包，该工具包简化了生成式人工智能模型的优化过程。用户可以从菜单中选择优化技术，如预测解码、量化和编译，验证性能改进，并在几次点击后部署模型。该工具包大大缩短了实现优化技术的时间，并可以实现最高 2 倍吞吐量和成本减少 50%。此外，该工具包还支持 Amazon SageMaker JumpStart 上的流行模型，如 Llama 3 和 Mistral，允许用户快速高效地实现最佳性能。

LlamaCloud 是一个全新的集中式知识管理平台，专为企业 LLM 应用构建者打造。它解决了数据质量、可扩展性、准确性和配置过载等常见问题。LlamaCloud 支持 50 多种语言和 100 多种文档格式，并采用 LlamaParse 等功能以及混合搜索、重新排名和元数据过滤等先进检索技术，从而提高了检索准确性。它还提供托管摄取和 LlamaCloud Playground，以便在部署前测试和改进策略。用户可以加入等待列表，并立即开始使用 LlamaParse API。LlamaCloud 帮助开发者减少设置和迭代时间，加速 LLM 应用开发生命周期。

本文由英飞流 InfiniFlow 创始人 CEO 张颖峰撰写，详细分析了 RAG 技术的发展和未来趋势。文章首先介绍了 RAG 的基本概念和在大型语言模型（LLM）中的应用，强调了 RAG 在提高 LLM 回答准确性方面的重要性。接着，文章指出了 RAG 1.0 版本的局限性，如召回精度不高、缺乏用户意图识别等问题，并提出了 RAG 2.0 的概念，强调了 RAG 2.0 在搜索为中心的端到端系统、更全面的数据库支持以及各环节优化方面的重要性。文章还提到了 RAGFlow 开源项目的开发和其在 Github 上的成功，展示了 RAG 技术在实际应用中的潜力和价值。

Wordsmith 是一款面向企业法务团队的 AI 助手，在其整个产品生命周期中充分利用了 LangSmith 的各项功能。Wordsmith 最初专注于针对 Slack 的可定制 RAG 管道，现在支持跨多种数据源和目标的复杂多阶段推理。LangSmith 的追踪功能允许 Wordsmith 团队透明地评估 LLM 的输入和输出，从而促进快速迭代和调试。此外，LangSmith 的数据集建立了可重复的性能基准，支持快速比较和部署新模型，例如 Claude 3.5。 通过 LangSmith 进行运营监控可将调试时间从几分钟缩短到几秒钟，而通过 LangSmith 标签进行在线实验则简化了实验分析。展望未来，Wordsmith 计划进一步集成 LangSmith 以进行客户特定的超参数优化，旨在根据每个客户的数据集和查询模式自动优化 RAG 管道。

本文从 PDF 格式解析的背景出发，介绍了在 RAG 工程实践中，面对 PDF 这一复杂文件格式，常见的几种技术方案，包括 LLM/视觉大模型解析、OCR 模型和传统规则提取等。作者强调了单一技术方案难以满足所有业务需求，提出了在提取 PDF 内容时需综合考虑文档提取还原度、成本、稳定性和效率等问题。同时，详细分析了 PDF 解析过程中的技术难点，如布局解析、格式复杂性、表格提取等，并探讨了技术可行性。文章最后部分，推荐了 Java 和 Python 生态中的开源技术组件，并对 OCR 和大模型等技术进行了讨论，提出了通过技术手段确定 PDF 中的 Block(块)以及阅读顺序的理想状态。

文章指出当前对 AI 智能体的过度依赖并非解决问题的最佳途径。作者认为，核心在于设计一个适合 AI 的工作流，并提出了几个设计工作流的要点：不局限于人类现有解决方案，不完全依赖 AI 做决策，结合不同领域的 AI 模型，回归问题本质。文章通过两个实例展示了如何设计合适的 AI 工作流解决问题，例如 PDF 转 Markdown 和漫画翻译。

预训练的嵌入模型经常难以捕捉领域特定的细微差别，从而限制了 RAG 系统的性能。使用 Amazon SageMaker 微调领域相关数据，模型可以学习关键的语义和术语，从而提高准确性。本文演示了使用 Sentence Transformers 和 Amazon Bedrock FAQs 的过程，强调了领域特定嵌入在增强 RAG 系统响应中的益处，特别是在法律或技术等专业领域。

文章探讨了 Keyword Search 和 Semantic Search 在搜索应用中的优缺点，并提出混合搜索方案，通过归一化和组合不同查询类型的评分来提高搜索结果的相关性。火山引擎云搜索提供了一套完整的混合搜索解决方案，支持全文检索、向量检索和混合搜索。文中以图像搜索为例，详细阐述了如何配置和使用火山引擎云搜索服务，包括创建 Ingest 和 Search Pipeline，以及上传和查询数据。此外，文章还简要分析了混合搜索未来的发展趋势，强调了其在提升搜索精度和效率方面的潜力。

来自 Google Cloud 博客的文章探讨了生成式 AI 对软件开发中开发者体验的变革性影响。文章强调了 AI 如何在各个工程领域提升生产力，包括应用开发、DevOps、网站可靠性、机器学习、数据、安全、QA 和软件架构。文章提供了 AI 在代码生成、错误检测、自动化测试、数据工程、数据库管理、CI/CD 优化、安全运营等方面的具体应用示例。文章强调了 AI 在加速创新、提高效率和增强安全性方面的优势。文章还提到了 Google Cloud 的一些举措，例如 Gemini 和面向开发者的试点项目，旨在将 AI 整合到他们的工作流程中，为利用 AI 在软件开发中的潜力提供了一种战略性方法。

本文作者针对当前国内大模型价格下降的趋势，对多个国内外主流大模型进行了一次速度测试，重点关注模型的 API 访问速度以及文本生成效率。作者采用让各模型将“出师表”翻译成现代汉语的方法，并通过两次调用 API 接口（一次使用流式传输，一次不使用）来分别计算模型的网络延迟、理解文本时间以及文本生成速度。测试结果显示，在不同规模的模型中，OpenAI 的 GPT-3.5-turbo、GPT-4 以及智谱 AI 的 glm-4-flash、glm-4-airx、glm-4 模型在速度上表现优异，而其他模型的速度相对较慢。文章还探讨了测试中遇到的挑战，例如网络延迟和模型理解文本的时间，并提供了测试代码供读者自行验证。

本文通过对腾讯元器的全面体验，详细介绍了其功能模块，包括智能体、插件和工作流的开发平台，以及智能体和插件的商店。文章特别关注了腾讯元器在管理学论文选题助手这一实际应用场景中的表现，通过创建智能体、知识库和插件，展示了其功能的具体实现和优化过程。此外，文章还对比了腾讯元器与其他 AI Agent 构建平台的差异，指出了其在支持大模型种类、功能成熟度等方面的不足，并提出了针对性的建议。总体而言，腾讯元器作为一个 AI Agent 构建平台，虽然在功能模块上较为完整，但在深度应用和模型支持上仍有提升空间。

文章指出，传统的'正确'产品思维（深入了解用户需求）对于初创公司来说可能不够，需要更'能赢'的策略。作者提倡从 AI 原生玩法出发，例如开发新奇功能来吸引用户，而非单纯追求效率。此外，文章提出以 AI 模型为中心，设计用户交互以收集更多优质数据，促进模型进化。最后，建议在设计 AI 产品时滥用多模态和算力，以充分利用技术潜力和适应未来变化。

作者通过自身经验，详细介绍了在决定 AI 产品立项时需关注的四个方面：首先，寻找真实的用户场景和问题，通过 Fiverr 等平台验证需求的真实性；其次，评估市场规模，利用 Ahrefs 等工具查看关键词搜索量，并通过 Similarweb 分析竞品的流量数据；此外，对比竞品，确保产品至少不逊色于现有解决方案，包括通过 Trustpilot 了解竞品的用户评价；最后，评估技术成熟度和产品关联性，确保产品切入点合理和技术实力达标。

文章详细介绍了钉钉 AI 助理在 ToB 企业协同产品设计中的应用与实践。首先，文章区分了 C 端与 B 端产品的不同，强调 B 端产品以企业增长为导向，需要兼顾个人用户体验与企业增长需求。接着，文章通过行业数据分析，指出企业在采购外部工具时存在的不了解和不信任问题，以及自建应用系统与 AI 连接的需求。在此基础上，文章详细阐述了钉钉 AI 助理的设计理念和实施策略，包括降低 AI 使用门槛、优化现有应用操作流程、贴合用户真实使用场景、低成本输入高质量输出等。此外，文章还探讨了如何从企业视角出发，通过建立信任、培养情感信任、增强互动信任感知等方式，促进企业高效的知识协同和应用协同。最后，文章总结了钉钉 AI 助理的设计框架和交互模式，并强调了其作为企业效率生产力工具的价值。

数据壁垒： AI 搜索对数据质量要求很高，缺乏优质数据将导致搜索结果不佳。

索引库： 通用 AI 搜索可利用成熟搜索引擎的 API，而垂直搜索需要构建自己的优质索引库。

垂直市场： 垂直市场有利于建立用户口碑和满足特定需求，是 AI 搜索初创企业的切入点。

用户习惯： 用户习惯很难迁移，在选择 AI 搜索引擎时会优先考虑自己熟悉的平台。

模型微调： 模型微调可以提高大模型对不同搜索意图的响应能力。

Agent 应用： AI 搜索与 Agent 结合可以提供更个性化和智能化的服务。

AI 生成内容： AI 搜索可以生成内容，与人类创作者合作，探索新的可能性。

AI SEO： AI 搜索生成的内容需要通过 AI SEO 优化，才能被传统搜索引擎收录。

输入输出形式： AI 搜索的输入输出形式不断丰富，包括多模态输入和图文混排等。

本文通过一系列深入对话，探讨了 OpenAI 及苹果等公司在人工智能领域的策略和挑战。文章首先强调了 AI 产品创新中用户界面和体验设计的重要性，指出跨时代的科技艺术家在将尖端科技融入日常生活的作用。接着，文章分析了苹果在大模型市场的潜在优势，特别是在芯片采购和产品集成方面的能力。此外，讨论了 AI 模型在云端和本地设备运行的利弊，以及苹果可能的策略，如混合使用本地和云端模型。文章还涉及了苹果在用户体验设计中的创新，如通过集成 AI 技术提供无缝且个性化的服务。最后，文章探讨了 OpenAI 在市场中的角色，强调了创建革命性用户界面对于 AI 消费产品的重要性，以及与谷歌等公司的竞争对比。

Claude 3.5的'工坊模式'新增一键分享功能，使用户无需部署即可分享自建的网页应用。用户可以通过分享链接直接访问和修改应用，极大简化了AI应用的开发与分享。Anthropic的提示词工程师Alex Albert展示了这一功能的实用性，GitHub上也有用户开始创建仓库以收集作品。此外，开发者工作台也进行了更新，提供了提示词生成和优化功能以及自动生成测试用例功能，进一步提升了开发效率。这些更新不仅强化了用户体验，还在AI创作领域建立了新的应用标准。

微软中国 CTO 韦青在 QCon 北京的演讲中，分享了他对大模型和 AIGC 落地的深刻见解。他强调企业在面对技术变革时，需要克服思想局限，重视数据问题和内部流程重构，例如人才、数据和流程再造。同时，韦青指出，AI 的价值在于推动社会结构的重构，而非简单的技术叠加。在信息过载的时代，提升信息智商（信商）是保持优势的关键。此外，韦青还讨论了 RAG 技术的进展和应用潜力，以及 AI 在科学探索和各行各业的应用。

作者参与了两次 SaaS+AI 大赛，观察到胜出产品如 Wegic、考试星和 aiPPT 成功地将大模型应用于提高工作效率和解决行业痛点。同时，文章指出了 AI 产品失败的常见原因：浅层应用、功能泛化和缺乏业务基础。投资人关注收费模式、市场定位和竞争壁垒。作者强调，成功的产品需深入行业，从微场景突破，关注业务价值而非单纯提高管理效率。

该文深入分析了 AI 创业的困境，指出许多项目失败在于未能将 AI 技术有效应用于实际场景，缺乏吸引用户的独特价值，以及没有建立可行的商业模式。作者通过 Neeva、AI Pickup Lines 等案例，强调了产品套壳的局限性，提出成功的 AI 产品如 Monica、Perplexity 等，它们成功的关键在于精巧设计、定价策略和用户留存。文章还探讨了 AI 搜索领域的挑战，认为只有那些真正理解和解决用户需求，或在细分领域有独特优势的企业，才能在竞争中脱颖而出。同时，文章也提到了成功案例如 Answer AI 和 Bitly，展示了在市场需求导向下成功的 AI 初创企业。

文章首先介绍了AI 2.0时代的大模型创业潮，指出大语言模型技术将引发生产力革命。文章详细讨论了智谱AI、百川智能、月之暗面和MiniMax四家公司的创始人背景、技术实力、融资情况和商业化尝试。最后，文章探讨了这些公司在技术、商业化及与巨头关系方面的挑战，强调整个行业还在等待超级应用的出现来改变格局。

AIGC Weekly #79 介绍了快手可灵、阶跃星辰、商汤、百度文心、微软等公司的最新 AI 成果，涉及视频生成、多模态模型、实时语音演示、免费开源模型和新型 RAG 架构。此外，文章还讨论了人工智能工具和产品，如 Suno、Rakis、Kimi、ElevenLabs、Screen，以及麻省理工的深度学习书籍和教程。文章进一步分析了生成式 AI 的成本与回报、AI 产品开发策略，以及 AI 在工作、教育和生活中的应用。最后，提到了 Mooncake、InstantStyle-Plus、MimicMotion、FunAudioLLM 和 InternLM-XComposer-2.5 等技术，展示了在图像处理、视频生成、语音交互和多模态理解的最新进展。

文章报道了 AI 初创公司，特别是大语言模型（LLM）领域的公司面临的困境。在高昂的研发成本和市场竞争下，一些公司如 Adept AI 和 Inflection AI 选择被亚马逊和微软收购，而非独立发展。文章指出，这种“反向收购”模式可能成为行业整合的新趋势，同时也反映了 LLM 公司在商业盈利上的挑战。此外，Character.ai 等其他 AI 公司也在寻求与大厂的合作，以应对生存危机。Perplexity AI 面临着负面舆论的困境，而 Figma 通过推出 AI PPT 功能试图走出被 Adobe 收购失败的阴影。