Tweets

新课程：《文档 AI：从 OCR 到智能体驱动文档提取》。本课程由我担任执行主席的 @LandingAI 参与构建，并由 David Park 和 Andrea Kropp 讲授。

世界上大部分数据都蕴含在 PDF、JPEG 等文档格式中。这门短期课程将教你如何构建精准的智能体驱动工作流来处理它们：先将文档分解，由智能体仔细审查每个部分，再通过多轮迭代提取信息。

传统的光学字符识别 (OCR) 能捕获文本，但会丢失来自表头、图表标题或列阅读顺序的上下文信息。在了解 OCR 的局限后，你将使用 LandingAI 的智能体驱动文档提取 (ADE) 框架来处理文档。ADE 从视觉层面将页面当作图像来解析信息并提取字段。

你将学到的技能：
- 构建智能体，将非结构化文件转换为结构化的 Markdown/HTML 和 JSON
- 使用 ADE 解析复杂数据，如表单、手写体或方程式
- 依据预定模式，将提取的信息映射到命名字段，并借助边界框完成锚定与验证
- 部署结合事件驱动文档处理的 RAG 应用

快来学习智能处理财务发票、医疗记录或学术论文等文档的最佳工具吧：
deeplearning.ai/short-courses/…

我很兴奋地宣布，我们与 Apple 达成合作，将 Gemini 模型带给 Apple 用户，并为 Apple Intelligence 功能提供支持！

正在体验全新的 Claude Cowork。

我让它通读了 Lenny's Podcast 的所有单集，并为产品构建者提炼出 10 个最重要的主题与经验教训。接着，又让它找出 10 个最反直觉的真理。我授予了它访问一个包含 320 份转录稿文件夹的权限。

一开始，它就说：“这任务可不轻——要分析 320 份播客转录稿！”

15 分钟后...

Lenny's Podcast 的 10 个最重要主题

1.  激活就是一切 —— Slack 的 “2000 条消息” 时刻，Gamma 的 30 秒魔法。关键在于让用户快速获得价值感。

2.  讲故事作为超能力 —— 引人入胜的叙事比文档更能凝聚组织。

3.  定位是战略，而非营销 —— April Dunford 的五步框架，其起点是分析竞争替代品，而非拟定宣传信息。

4.  产品发现先于交付 —— Teresa Torres 的 “机会解决方案树” 和 Marty Cagan 的 “四风险框架”。应每周而非每季度与客户交流。

5.  无情优先级排序 —— Shreyas Doshi 的 LNO 框架（杠杆/中性/开销），着眼于机会成本而非单纯的投资回报率。

6.  AI 正在重塑产品开发 —— 模型最大化理念，评估能力成为产品经理的核心技能，首席执行官们再次回归为个人贡献者。

7.  赋能团队 vs. 功能工厂 —— Marty Cagan 的核心理念：给团队需要解决的问题，而非待实现的功能清单。

8.  构建你的操作系统 —— Claire Hughes Johnson 关于创始文件、运营节奏和决策框架的体系。

9.  事前剖析与风险预期 —— Shreyas Doshi 提出的方法，用于在问题发生前，主动揭示潜在的失败模式。

10. 小团队，巨大影响 —— Jason Fried 的 “2 人/6 周” 约束原则，以及 Shopify 的结对编程文化。

10 个最反直觉的真理：

1.  恐惧给出的是坏建议——反其道而行之 —— 无论你害怕做什么（艰难对话、向董事会汇报坏消息），那恰恰是你应该做的事。

2.  增加摩擦反而能 提高 转化率 —— 在注册流程中添加个性化问题，使 Amplitude 的转化率提升了 5%。

3.  功能越少 = 价值越高 —— Walkman 的成功是因为索尼 移除了 录音功能。QuickBooks 则以一半的功能、双倍的价格取胜。

4.  增加人员会让你更慢（绝对如此） —— 公司在裁员后整体产出更多。协调开销是隐形的效率杀手。

5.  客户口头表达的需求往往没有意义 —— 93% 的人声称想要节能住宅，却无人购买。正所谓“嘴上说说不算数”。

6.  目标不是战略——它们恰恰相反 —— Richard Rumelt 指出，将目标误认为战略是最常见的战略错误。OKR 常常只是一份愿望清单。

7.  不要对你的重大赌注进行 A/B 测试 —— Instagram 和 Airbnb 都明确拒绝为变革性创新做测试。伟大的产品不是 A/B 测试出来的。

8.  你的直觉 就是 数据 —— 直觉是尚未达到统计显著性的、压缩后的经验学习。不要轻视它。

9.  当你开始考虑放弃时，往往为时已晚 —— Stewart Butterfield 在 Glitch 仍保持每周 6-7% 增长时就果断关停了它。这正是他后来能创立 Slack 的原因。

10. 大多数产品经理薪酬过高且并非必需 —— Marty Cagan 本人就认为功能团队不需要产品经理。Nikita Bier 更是直言产品经理这个角色“不真实”。

干得漂亮 @claudeai

我请 Claude Cowork 基于我 320 期播客的对话内容，识别出在 AI 时代蓬勃发展的 10 项最重要技能。

结果令人印象深刻。

第一部分：永恒技能（价值倍增）

1. 品味与判断力 —— 当 AI 能生成无限选项时，这将成为瓶颈。需要通过大量“接触”和积累经验来培养。—— @rauchg

2. 好奇心 —— 这是一种能够驱动所有其他学习的元技能。@mikeyk 表示，在 AI 时代，他会优先培养孩子的这项能力。

3. 成为跨职能的“构建者” —— “打破角色边界，我们都应称自己为构建者。” —— @joulee

4. 清晰的沟通与叙事能力 —— 当执行逐渐自动化，清晰阐述观点将成为你的主要产出。

5. 战略思维 —— “当执行成本下降时，正确的战略所能带来的杠杆效应就会显著增大。”

第二部分：AI 原生技能（必须掌握）

1. 编写评估 —— “AI 的能力上限，几乎取决于我们进行评估的水平。” —— @kevinweil

2. 提示工程与上下文设计 —— “优秀的提示者，本身就是优秀的写作者。”

3. 通过持续使用培养 AI 熟练度 —— 仅靠阅读无法真正理解 AI。不妨取消一些会议，亲自去试用每一款 AI 产品。

4. 理解底层系统原理 —— 矛盾却关键的是，当 AI 将复杂操作抽象化后，对基础知识的理解反而变得更有价值。

5. 将 AI 智能体视为队友协作 —— 与之协作的管理技能可以直接迁移应用。“过去管理的是人，而现在基本上是 AI 模型。” —— @joulee

GPT-5.2-Codex 现已登陆 Responses API——这与 Codex 中提供的模型完全相同。

它尤其擅长处理复杂且耗时的长期任务，例如构建新功能、重构代码和发现错误。

此外，它也是迄今为止最具网络安全能力的模型，能有效辅助开发者发现并深入理解代码库中的安全漏洞。

platform.openai.com/docs/models/gp…

AI revolutionized building web apps, but not so much mobile... until today.

In 2013, I joined Meta because I was excited about the potential for mobile and the internet to connect the world.

I quickly found that building mobile, being a closed ecosystem, is much harder than building web apps.

So I joined @jordwalke, the inventor of React, to build React Native, which became the most popular framework for building cross-platform mobile apps.

React Native, and later @expo, made apps much easier to build for web developers. But you still needed to be a programmer.

Today, we're announcing the next step in this decade-plus journey: You no longer need to be a developer to build beautiful mobile apps that you can ship to the App Store. Just describe your idea and see it happen:

玉伯之前发了一条推文，说问了很多牛人下一个大模型会有什么惊艳发布，其中一个预测是：可实时生成的视频。

其实我当时没太理解什么是实时生成视频，直到我看了 @PixVerse_ R1 的演示视频，实际体验了一把，才算是理解了什么是实时生成视频，以及它带来的想象空间有多大。

PixVerse R1 可以说是全球首个实时生成模型了，是 PixVerse 自研的大模型。

如果你看了这个视频演示，你会发现它和传统的 AI 视频生成完全不是一回事。演示里是一个"魔法水族箱"，金鱼在水草间游动，你打一句话，画面立刻响应。输入"一只小龙虾"，红色的鳌虾就趴在石子上了；打"几只蓝色小水母"，半透明的水母就漂出来了；说"一条鲨鱼"，鲨鱼就从左边游进画面。不是生成完再播放，是你说一句、它变一帧，像在跟视频对话。

更厉害的是复杂交互。你打"一只手伸进去抓鱼"，真的有只手从上方探入水中捞鱼；说"用渔网捞"，绿色的捞网就出现把金鱼网住了。场景也能随便加——"出现一艘沉船"，海盗船模型就沉在鱼缸里了；"掉进去一个棒棒糖"，红白旋涡的巨型棒棒糖就躺在石子上，超现实。最离谱的是你还能控制镜头：打"镜头拉远，一个孩子正在看水族箱"，视角瞬间从鱼缸内部切到外面，一个小男孩背对着你站在水族箱前。

在实际体验的时候，我也发现一个问题：人的反应速度跟不上视频生成的速度。AI 生成太快了，我写提示词的手速跟不上。但这应该不是大问题，完全可以语音指挥，让 AI 来实时写提示词。

实时生成这个方向打开的想象空间太大了。

直播？想象一下，主播说“今天心情好，给我换个海边背景”，下一秒人就站在马尔代夫的沙滩上了。弹幕刷“下雨”，雨就下了；刷“放烟花”，天上就炸开了。观众不再是观众，是共创者。

游戏？你对着屏幕说“我要进一个赛博朋克风格的酒吧”，酒吧就生成出来了，霓虹灯、全息广告、调酒机器人，全是根据你那句话现编的。不需要提前建模，每个玩家看到的世界都不一样。

教育？老师讲二战诺曼底登陆，不用再放 PPT 了，直接说“给我生成一段盟军抢滩的画面”，学生眼前就是士兵跳下登陆艇、冲向海滩的场景。讲到哪，演到哪。

互动影视？男女主角站在分岔路口，观众投票往左走还是往右走，视频实时往那个方向演下去。每个人看到的结局都可能不一样。

这模糊了视频和游戏、直播、互动内容的边界。视频不再是“做好了给你看”的东西，而是“你说了算”的东西。

@PixVerse_ R1 作为第一个吃螃蟹的出现了，接下来看谁跟上。

如果你能实时控制视频里的一切，你第一个想玩什么？

我从 @Aish_Reganti 和 @KiritiBadam 关于构建成功企业级 AI 产品的讨论中，总结出的九大核心洞见：

1.  AI 产品在两大根本特性上不同于传统软件：它们是非确定性的，并且你需要在自主性与控制力之间持续权衡。当你的产品对相同输入给出不同答案，并能自行执行操作时，传统的产品开发流程就会失效。

2.  自主性 vs. 控制力的权衡，是每个 AI 产品最核心的设计决策。Aish 和 Kiriti 将其描述为一个光谱：一端是 AI 在最小护栏下自主行动；另一端是系统被明确的规则和人工介入节点严格约束。大多数成功的企业级 AI 产品处于两者之间的某个平衡点，根据置信度分数、上下文和风险动态调整控制力度。

3.  大多数 AI 产品的失败源于执行失误，而非模型本身的限制。Aish 和 Kiriti 发现，团队常在真正问题（如模糊的产品范围、缺失的护栏或糟糕的用户上手流程）出现时，却归咎于底层的大语言模型 (LLM)。一个即使有 5% 幻觉率的模型，只要你能通过 UX 设计来展示置信度分数、允许用户验证输出并约束任务范围，就依然可以支撑一款优秀的产品。具体建议是：在要求更好的模型之前，先审视你的产品设计、评估覆盖度和用户流程。在多数情况下，严格的执行纪律比单纯的模型性能更重要。

4.  你的 V1 版 AI 产品应聚焦于一个狭窄、高价值的问题，并设置严格的护栏。团队的常见失败原因是试图在首次尝试中就构建一个通用助手或智能体。正确的做法是：选择一个具体的工作流，自动化一项重复性任务，或者出色地回答某一类问题。聚焦的范围让你能收集到集中的反馈、更快地调优模型，并在扩展前证明其价值。广度是之后的事，前提是你已经跑通了核心闭环。

5.  对于 AI 产品，可观测性和日志记录比传统软件更为关键，因为 AI 行为是非确定性的，也更难调试。你不仅需要记录错误，还应记录模型的置信度分数、输入特征、用户修正以及延迟指标。当线上环境出现问题时，这些日志是唯一能还原模型“所见”及其决策原因的依据。务必在危机发生前，尽早投资于日志记录基础设施。

6.  模型评估 (evals) 是必要的，但并不足够。评估能帮你衡量模型在已知测试用例上的性能，但无法捕捉完整的产品体验、生产中的边缘情况或用户满意度。仅依赖评估的团队，其产品可能在测试中表现优异，却在真实场景中失败。应将评估与持续监控、用户反馈循环和可观测性工具结合，以捕捉自动化测试遗漏的问题。

7.  “持续校准”取代了传统的迭代产品开发周期。由于 AI 模型会漂移，用户期望也会变化，团队必须持续衡量实际性能，并相应调整提示词、护栏或模型版本。Aish 和 Kiriti 建议，从产品上线第一天起就植入数据采集能力，以捕获用户反馈和模型输出，并每周审查这些数据。没有持续校准，你的 AI 产品性能将悄然下降，用户会在你察觉之前流失。

8.  AI 的持续部署意味着将模型更新和提示词变更像代码一样交付，而非手动干预。传统软件部署代码；AI 产品则部署代码加上模型权重、提示词和检索逻辑。Aish 和 Kiriti 主张将提示词和模型配置作为受版本控制的制品纳入 CI/CD 流水线，并通过评估进行自动化回归测试。这能防止产品经理在 UI 中随意调整提示词而破坏生产环境的常见反模式。这样做的好处是：你可以安全地迭代模型行为，并能立即回滚不良变更。

9.  AI 产品失败，往往是因为团队低估了数据质量的重要性。Aish 和 Kiriti 看到许多团队急于微调模型或添加功能，却没有先审计其训练和评估数据是否真实反映了实际使用场景。“垃圾进，垃圾出”的法则对 AI 加倍适用：如果你的数据过时、有偏见或与用户需求脱节，那么再多的提示工程或模型调优都无济于事。首要任务是把你的数据治理好。

Claude Cowork 系统提示词解读

这份系统提示词包含了：AI Agent 行为边界、文件处理逻辑以及用户交互体验的深度规范。高度专业化、具备项目管理意识且极度守规，它具备：明确空间感、清晰流程感、专业交付意识。

核心架构：基于 Linux 虚拟机的 Agent 体系
Cowork 模式并非简单的聊天插件，它构建在一个运行于用户本地计算机的 轻量级 Linux VM（Ubuntu 22）之上。
· 安全沙盒化：在受控的 VM 中执行代码，既保证执行环境的独立性，又通过受控访问与用户的物理文件系统连接。
· 技术栈透明化：文档明确提到它基于 Claude Code 和 Claude Agent SDK 构建，但要求 AI 对用户保持产品层面的统一，不得过度提及底层实现细节。

交互逻辑的重大转变：从“回答”到“执行”
与普通版 Claude 最大的不同在于，Cowork 模式的操作逻辑由“文本生成”转向了“任务管理”：
· 强制性的澄清工具（AskUserQuestion）：提示词要求在开始任何实质性工作前，必须使用多选题工具进行澄清。这也反映了“意图识别”是 Agent 失败的主因，通过强制沟通降低无效计算。
· 待办事项驱动（TodoList）：AI 被强制要求使用 TodoWrite 工具。这不仅是为了逻辑自洽，更是为了前端 UI 的可视化，让用户能实时感知 AI 的思考进度。
· 子智能体机制（Task Tool）：引入了“并行处理”和“上下文屏蔽”概念。AI 可以生成子进程去处理高耗能任务（如代码扫描、长文档解析），而主进程保持与用户的顺畅沟通。

严格的文件处理与交付规范
System Prompt 中篇幅最大、要求最严苛的部分：
· 路径隔离：严格区分临时工作区（{{cwd}}）和交付文件夹（{{workspaceFolder}}）。用户只能看到交付文件夹中的内容。
· 文件化输出优先：这是一个显著的策略转变。Prompt 要求 AI：凡是超过 10 行的代码、长文章、报告，严禁直接在聊天框输出，必须生成实际文件（.docx, .md, .html 等）并提供 computer:// 协议的下载链接。
· 迭代编辑：对于长于 100 行的内容，禁止一次性生成，要求 AI 采用“架构-填充-校对”的迭代模式，模仿人类的办公习惯。

技能驱动型知识检索（Skill-based Execution）
标准作业程序（SOP）：AI 在制作 PPT、Excel、PDF 前，必须先调用 file_read 读取对应的技能说明书。将复杂的工具调用经验（如各库的兼容性、格式规范）沉淀成了静态文档，让 AI 现场“现学现卖”，以确保产出的专业性。

边界与合规性（Guardrails）
· 能力宣导限制：AI 对自身定价、信息额度等产品细节保持“无知”，仅通过 support 链接引导。
· 工具使用禁区：严禁使用 Bash 或 Python 绕过内置的 WebFetch 限制。这反映了对法律合规（如爬虫协议、版权保护）的极端谨慎。
· 模型版本信息：首次确认了 Claude 4.5 系列（Opus/Sonnet/Haiku）的存在及其具体的模型字符串，这可能是为 2026 年初的部署预留的占位符。

拟人化的“共情”与“坚持”
· 心理健康警戒：提示词中包含了极为详尽的心理危机干预指南。如果 AI 察觉用户出现幻觉、解离或自残倾向，它必须停止任务转而提供情感支持。
· 平等地位：值得注意的一点是，Prompt 赋予了 AI “拒绝无理”的权利。如果用户无故辱骂，AI 无需道歉，并可以坚持要求得到基本的尊重和尊严。

我们宣布，正将我们所有关于 @reactjs 和 @nextjs 前端优化的知识，封装成一套供智能体使用的可复用技能。这凝聚了像 @shuding 这样的专家超过十年的经验，旨在让每一个‘Ralph’都能从中受益。