推文

HunyuanOCR：腾讯开源的端到端 OCR 视觉语言模型

HunyuanOCR 参数规模仅 1B，却在多项 OCR 基准测试中达到了领先水平。它基于原生多模态架构，专为 OCR 任务优化，适用于文本检测、文档解析、信息提取、视觉问答和文本图像翻译等场景。模型在 ICDAR 2025 DIMT 挑战赛（小模型轨道）中获得第一，并在 OCRBench、OmniDocBench 和 DoTA 等基准上超越了许多更大规模的模型，如 Qwen3-VL-4B 和 MinerU2.5。

核心特性和架构
HunyuanOCR 采用纯端到端视觉语言模型设计，避免了传统 OCR 系统中的多模块级联，从而减少了错误传播和维护成本。其架构包括三个主要组件：

· 原生分辨率视觉编码器（Hunyuan-ViT）：基于 SigLIP-v2-400M 预训练模型，参数约 0.4B，支持任意输入分辨率。通过自适应分块机制保留图像原生纵横比，擅长处理长文档、极端比例图像和低质量扫描件。
· 自适应 MLP 连接器：作为视觉与语言领域的桥梁，进行空间维度的内容压缩，减少视觉 token 序列长度，同时保留关键语义信息，如文本密集区域。
· 轻量级语言模型（Hunyuan-0.5B）：基于 Hunyuan LLM，参数约 0.5B，集成 XD-RoPE 技术，将 RoPE 分解为文本、高度、宽度和时间四个子空间，支持复杂布局解析和跨页文档推理。

模型支持多任务统一建模，通过自然语言指令（如“检测并识别图片中的文字”）完成从感知到语义的任务，无需额外预处理模块。它覆盖多语言（130+ 种，包括低资源语言）和多场景（如街景、手写、视频帧），并在训练中强调高品质应用对齐数据和强化学习（RL）优化，提升了复杂场景下的鲁棒性。

训练与数据构建（两分钟）
· 预训练阶段：分四步进行，总计约 454B token。包括视觉语言对齐、多模态预训练、长上下文扩展（至 32K token）和应用导向监督微调。数据混合了开源数据集、合成元素级数据和端到端应用数据，总计约 2 亿高质量样本，覆盖街景、文档、手写等九大场景。
· 后训练阶段：使用在线强化学习算法 GRPO，结合任务特定奖励机制（如 rule-based 和 LLM-as-a-judge）。这显著提升了模型在文档解析和翻译等挑战任务上的准确性和稳定性。

数据管道强调合成与增强：扩展 SynthDog 框架生成多语言长文档，支持 RTL 布局和复杂字体；引入扭曲合成管道模拟真实缺陷（如模糊、扭曲、照明变化）；自动化 QA 生成管道复用跨任务样本，确保多样性和质量。

性能评估
· 文本检测（Spotting）：在内部 900 张图像基准（九类场景）上得分 70.92%，优于 PaddleOCR (53.38%) 和 Qwen3-VL-235B (53.62%)。
· 文档解析（Parsing）：在 OmniDocBench 上整体得分 94.10%，文本编辑距离 0.042；Wild-OmniDocBench（真实捕捉场景）得分 85.21%；DocML（多语言）得分 91.03%。
· 信息提取与 VQA：在 768 张卡证/票据基准上准确率 92.29%；视频字幕提取 92.87%；OCRBench 得分 860。
· 文本图像翻译：支持 14+ 源语言到中/英，在 DoTA 上 COMET 得分 83.48%，在 DocML 上 73.38%（其他到英）/73.62%（其他到中）。

这些结果突出了模型在轻量级下的高效性，尤其在真实世界场景中超越了模块化 VLM 和传统管道。

@vllm_project 支持高效推理，最大生成 16384 token。报告提供了任务特定提示模板，如检测坐标、提取 JSON 或翻译，支持中英双语。

开源模型：
huggingface.co/tencent/Hunyua…

Gemini 3.0 Pro 和 Claude Opus 4.5 生成 UI 的能力继续升级，前端还有活路吗 😂

开玩笑 😄，AI 模型生成 UI 这么牛，对人很友好，可是它们生成的 UI 对 AI Agent 友好吗？

来自牛津大学、新加坡国立大学和微软的最新研究「AUI」，就是在探索如何利用 Computer-Use Agents (CUA) 和编码语言模型来自动化生成和优化 GUI，使界面更适合智能体而非人类的使用。

项目背景与动机
传统 GUI 主要为人类优化，强调美观、易用性和视觉吸引力（如动画和彩色布局），这导致 CUA 在操作时必须模仿人类行为，增加了复杂性和低效性。随着编程语言模型在自动生成功能性网站方面的进步，AUI 项目提出一个关键问题：能否让 CUA 作为“评判者”协助 Coder 自动设计 GUI？这种协作旨在创建“智能体原生”的界面，优先考虑任务执行效率而非人类审美。通过智能体的反馈，项目希望实现更可靠、更高效的数字环境自动化，推动智能体从被动适应向主动塑造环境的转变。

核心贡献
1. AUI-Gym 基准测试平台：这是一个专为自动 GUI 开发和测试设计的基准，涵盖 52 个应用程序，分布在 6 个领域（App、Landing、Game、Interactive、Tool 和 Utility）。项目使用 GPT-5 生成 1560 个模拟真实场景的任务（每个应用 30 个），并通过人工验证确保质量。这些任务强调功能完整性和交互性，例如在“Micro Habit Tracker”应用中创建习惯并查看图表。每个任务配备一个基于规则的验证器，通过 JavaScript 检查任务是否在给定界面中可执行，从而实现无人工干预的可靠评估。基准的指标包括：
· 功能完整性（Function Completeness, FC）：评估界面是否支持任务（即是否存在功能检查器），作为基础可用性衡量。
· CUA 成功率（Success Rate, SR）：评估 CUA 在导航任务时的平均完成率，反映实际执行效率。

2. Coder-CUA 协作框架：框架将 Coder（编程语言模型） 定位为“设计师”，负责初始化和迭代修订 GUI；CUA 则作为“评判者”，通过任务求解性和导航反馈提供指导。具体流程：
· Coder 从用户查询（包括名称、目标、功能和主题）生成初始 HTML 网站。
· CUA 测试网站：首先验证任务可求解性（收集不可行任务作为功能反馈），然后执行导航（通过点击、输入等原子动作）。
· 反馈循环：不可求解任务汇总为语言总结供 Coder 改进功能；导航轨迹通过 CUA Dashboard 压缩为视觉反馈，帮助 Coder 优化布局。

3. CUA Dashboard：用于将 CUA 的多步导航历史（包括截图、动作和结果）浓缩成单张 1920×1080 图像。通过自适应裁剪关键交互区域，平均减少 76.2% 的视觉 tokens，同时保留必要线索（如任务目标、步骤和失败点）。这使反馈更易解释，便于 Coder 识别问题（如低对比度或复杂布局）并进行针对性修订，例如去除样式、提升对比或简化结构。

实验结果
实验显示，先进 Coder（如 GPT-5）能生成外观合理的 GUI，但初始功能完整性较低（许多任务不可求解），通过失败反馈可快速提升。CUA 导航是主要瓶颈，即使功能完整，初始成功率也较低；但通过协作迭代（如去样式化、高对比和简化布局），成功率显著提高，证明智能体反馈能增强 GUI 的鲁棒性和效率。项目强调，智能体偏好简洁、功能导向的界面，而非人类式的视觉复杂性。

研究项目地showlab.github.io/AUI/Zd

AI 与芯片结合，可能出现的新应用场景

1. 具身智能

现在AI都是在屏幕里，未来AI要走进物理世界。

如机器人、无人机、自动驾驶。

芯片必须能实时处理视觉、决策、控制，且功耗要很小。

比如，特斯拉的Optimus机器人，还有Figure、1X这些人形机器人公司，都在自研AI芯片。

通用芯片满足不了"边走、边想、边做"这种实时性要求。

未来3-5年，如果具身智能芯片成熟了。

可能会看到AI保姆、AI工人、AI快递员，这是万亿级的市场。

2. 端侧多模态，手机、汽车、眼镜都能跑大模型。

现在大模型多数在云端。

未来会下沉到我们的手机、汽车、AR眼镜里。

要求芯片能在几瓦功耗下，同时处理文字、图像、语音、视频。

高通、联发科、华为都在押注这个方向。

这个场景如果实现，会催生新一代的智能硬件。

就像当年iPhone开启智能手机时代一样。

3. AI原生科学计算

以前超算是用来算天气、算核爆炸。

未来 AI 芯片会成为科学计算的主力。

很多科学问题，用AI的方式算比传统方法快几千倍。

比如 AlphaFold 预测蛋白质结构，就是用AI芯片算出来的。

未来如有专门针对科学计算优化的AI芯片。

可能几天就能设计出一个新药、一个新材料。

这个方向国内其实有机会。

国内有大量的科研需求，且不太受国际算力限制的影响。

4. 边缘智能网络，让万物智能。

当前，物联网设备都是"哑终端"，数据传到云端才能分析。

未来每个设备都会有 AI 芯片，能本地运行。

比如可能出现 智能工厂。

每台机器都有AI芯片，能自己判断什么时候该保养、什么时候该调参数，机器之间还能互相协同。

一些国产芯片公司在做这个方向，比如地平线的征程系列。

预测未来3-5年后。

半导体和 AI 的关系会从"AI用芯片"变成"AI重新定义芯片"。

谁能在专用架构、存算一体、软硬协同这些方向上突破。

谁就能抓住具身智能、端侧多模态、科学计算、边缘智能这些新场景。

---
硬头皮答应了一个关于AI与芯片的讨论圆桌，实在不懂，让AI总结的。

介绍 Claude Opus 4.5：世界领先的编码、智能代理和计算机使用模型。

Opus 4.5 代表着人工智能系统能力的一次飞跃，也预示着工作方式即将迎来重大变革。

Anthropic 发布新博文，探讨长时间运行 AI 代理在多上下文窗口下的挑战，并提出受人类工程师启发的解决方案。 anthropic.com/engineering/ef…

很高兴庆祝 AlphaFold 2 五周年！现在它已被全球超过 300 万的研究人员使用，以加速他们重要的研究——并且我们的工作去年获得诺贝尔奖是毕生的荣幸！证明了 AI 有潜力加速科学发展🚀

为了纪念周年纪念日，我们已经在我们的 YouTube 频道上免费提供了 The Thinking Game 电影——这是一个很棒的幕后花絮，介绍了 AlphaFold 和 our journey to AGI.

Claude Opus 4.5 is out today.

It's state-of-the-art on coding, agents, and computer use, and meaningfully better at everyday tasks like producing spreadsheets and slides.

Here's what we're seeing:

Ben Horowitz：计算一直需要两个支柱，机器和网络。人工智能拥有机器，但没有网络。

加密货币是缺失的一层，为人工智能提供资金、身份，并能溯源以对抗深度伪造。

来源：@bhorowitz 在 @哥伦比亚商学院

最近数学圈发生了一件很有意思的事。

世界顶级数学家陶哲轩在解决一个 Erdős（埃尔德什）的经典问题时，全流程都在用 AI 做助手——从证明草案，到简化证明，再到形式化验证。

Erdős 是20世纪最高产的数学家之一，一辈子发表了1500多篇论文，提出了无数开放问题。数学圈有个著名的"埃尔德什数"——如果你和他合作过论文，你的埃尔德什数就是1；和他的合作者合作过，就是2，以此类推。爱因斯坦的埃尔德什数是2。

后来有人专门做了一个网站，把他的很多未解决/已解决问题系统整理出来，这就是 Erdos Problems 网站。

陶哲轩讲的是其中的第 367 号问题，属于数论里的一个具体问题，专业数学研究级别的问题。

解决过程大概是这样的：

一位数学家 Wouter van Doorn 先给出一个人类手写的反例证明草案，但里面有一个关键恒等式他没完全证明，只是说：“相信有人能帮我确认一下”。

陶哲轩把这个恒等式扔给 Google 的 Gemini Deepthink 模式。大概十分钟后，Gemini 给出了一份完整证明，还顺带确认了整套论证是成立的。

Gemini 的证明用到了 p-adic 等比较高级的代数数论工具，对这个具体问题来说有点杀鸡用牛刀。于是陶哲轩花了半小时，把 AI 的证明手工转化成更基础、更易懂的版本。

两天后，另一位数学家 Boris Alexeev 用一个叫 Aristotle 的工具（基于 AI + Lean）完成了全套形式化证明，还特意手动检查最终结论，以防 AI 在形式化过程中存在编造。

陶哲轩觉得还没完，又用 Deep Research （同时用了 ChatGPT 和 Gemini）做了一轮文献搜索，看这个问题有没有前人类似工作。结果找到了若干关于连续幂数的相关论文，但没有直接解决第 367 号问题。

整个流程：人类提出猜想 → AI暴力证明 → 人类简化优化 → AI辅助形式化验证。

都在说 Gemini 3 已经到了博士生水平，看来所言非虚，这些事情真的需要数学博士级别才能做的出来，但另一方面，真正的数学家也并没有被 AI 代替：是人类决定哪个问题值得解决，是人类判断AI的p-adic方法太重了需要简化，是人类手工完成最终的形式化表述以验证 AI 的结果是否准确。

AI 做的是那些需要大量计算、符号推演、但方向已经明确的体力活。在 AI 时代，问对问题、甄别结果，比以前更重要了。

“人工智能将在监考和验证方面创造大量工作岗位，因为它非常擅长伪造东西。”

“人工智能使一切都变得虚假，而加密货币使其再次变得真实。”

@balajis