Tweets

Edelman 和 皮尤研究中心 的独立报告显示，美国以及欧洲和西方世界的大部分地区，不信任 人工智能，对它也缺乏热情（链接见原文）。尽管 人工智能 社区对 人工智能 的巨大益处持乐观态度，但我们不应忽视这一点，而应认真对待。公众对 人工智能 的担忧可能会严重阻碍发展，我们需要积极回应这些担忧，推动 人工智能 的健康发展。

Edelman 的调查显示，在美国，49% 的人抵触 人工智能 的日益普及，只有 17% 的人接受它。在中国，10% 的人抵触，54% 的人接受。皮尤 的数据也表明，许多其他国家对 人工智能 的接受度远高于美国。

对 人工智能 的积极情绪是巨大的国家优势。但另一方面，对 人工智能 的普遍不信任意味着：
- 个人接受速度缓慢。例如，Edelman 的数据显示，在美国，很少使用 人工智能 的人更看重信任（70%），而非动机、渠道（55%）或对技术的恐惧（12%）。
- 需要社会支持的重要项目会受阻。例如，印第安纳州的抗议活动叫停了 Google 在当地建设 数据中心 的计划。阻碍 数据中心 建设将损害 人工智能 的发展。除了普遍对 人工智能 的反感外，社区也确实对 数据中心 存在担忧，我将在后续文章中讨论。
- 民众对 人工智能 的抵触情绪，增加了通过法律限制 人工智能 发展的风险。

我们需要明确的是，所有从事 人工智能 工作的人都应认真审视 人工智能 的益处和危害（例如 深度伪造 污染社交媒体，以及 人工智能 的输出结果误导用户），如实讲述益处和危害，并在扩大益处的同时努力解决问题。然而，对 人工智能 风险的炒作已经对我们领域造成了实际损害。许多大型 人工智能 公司为了让自己的技术显得异常强大，喜欢将其与核武器相提并论，这种炒作正是损害的来源之一。不幸的是，相当一部分公众对此深信不疑，认为 人工智能 可能会导致世界末日。人工智能领域应避免夸大宣传和不实信息，努力重建社会信任。

我们接下来该怎么做？

首先，为了赢得人们的信任，我们还有很多工作要做，以确保 人工智能 广泛地造福每个人。大众通常认为，“提高生产力”意味着老板赚更多钱，甚至裁员。尽管 ChatGPT 非常出色，但我们仍需努力构建能够对人们的生活产生更大积极影响的应用程序。我相信，为人们提供培训是关键。DeepLearning.AI 将继续引领 人工智能 培训，但我们需要更多。

其次，我们必须真正值得信任。这意味着，即使有时为了宣传或游说政府通过限制竞争产品（如 开源）的法律，我们每个人都必须避免炒作或散布恐慌。

我希望我们的社区也能指出传播炒作的新闻报道。例如，Nirit Weiss-Blatt 撰写了一篇精彩文章，揭露了《60 分钟》如何极具误导性地报道了 Anthropic 的一项研究：研究中，Claude 在受到关闭威胁时，竟然采取了“勒索”手段。这项研究是一次 红队演练，经验丰富的研究人员经过不懈努力，最终将 人工智能 系统逼到角落，使其表现出“勒索”行为。不幸的是，新闻报道歪曲了事实，让许多人认为“勒索”行为是自然发生的，而非研究人员精心设计的结果。这些报道给许多人留下了 人工智能 实际“策划”频率的严重夸大印象。红队演练 对于测试系统漏洞至关重要，但这次被广泛传播的炒作将在很长一段时间内损害 人工智能 的发展。

身处 硅谷，我意识到自己生活在一个 人工智能 爱好者的“泡沫”中，这非常适合交流想法、互相鼓励！与此同时，我也认识到 人工智能 确实存在问题，人工智能 社区需要解决这些问题。我经常与各行各业的人交流，包括担心 人工智能 会使其作品贬值的艺术家、担心就业市场严峻且 人工智能 会加剧挑战的大学高年级学生，以及担心孩子沉迷于 聊天机器人 并从中获取有害建议的父母。

我不知道如何解决所有这些问题，但我会尽力解决更多问题。我希望大家也能如此。只有通过我们所有人的共同努力，才能赢回社会的信任。

好的产品都自带观点。

“我观察到的每一位伟大的创始人，无论是近距离接触还是远观，都极具主见，并且在经营管理上带有明显的独断色彩。

而且，早期团队也同样如此。他们打造的产品也带有鲜明的观点。所谓有主见，意味着他们对产品应该做什么和不应该做什么，有着强烈的愿景。

如果缺乏清晰的产品愿景，最终产品将陷入各种相互竞争的功能，变得混乱不堪。

@Jack Dorsey 有一句名言：“精简至极，完美至微。” 这在消费品领域尤为重要。你必须极其有主见。所有优秀的消费品都以简洁取胜。

不妨想想，ChatGPT 和类似的 AI 聊天机器人之所以能取得成功，正是因为它们比 Google 更加简洁。

Google 曾经看起来是你能构建的最简单的产品，就是一个搜索框。但即使是这个搜索框，也对用户的使用方式有所限制。

用户被引导避免以对话方式进行搜索，而是输入关键词，并且必须小心选择这些关键词。你无法直接提出问题并获得有意义的答案。它无法进行精准的同义词匹配，并返回大量搜索结果。这其实非常复杂，用户必须从中筛选出哪些是广告，哪些是真实结果，结果的排序是否正确，然后点击并阅读。

ChatGPT 和聊天机器人则进一步简化了这一流程。你只需像与人交谈一样与它互动——通过语音或文字，它就能直接给出答案。

答案或许不总是完全正确，但已经足够好，并且能以文本、语音、图像或任何你喜欢的方式呈现。

因此，它简化了我们曾经认为互联网上最简单的产品——Google，并使其更加简洁。产品永远有简化的空间。

要做到简洁，就必须极其有主见。你必须删除所有与你对产品形态的设想不符的东西。你必须一丝不苟地删除每一个点击、每一个额外的按钮、每一个设置。

事实上，设置菜单的存在，往往意味着开发者放弃了为用户做决策的责任。为用户提供选择，实际上是开发者在推卸责任。当然，出于法律或重要原因，你可以保留一些选项，但你应该尽力避免用户必须做出的每一个选择。

在 TikTok 和 ChatGPT 的时代，这一点比以往任何时候都更加明显。人们不希望做选择，他们不希望承担认知负担。他们希望开发者能确定正确的默认设置，以及他们应该做什么和看什么，然后直接呈现给他们。”

这事儿有点意思…

50 位来自字节、阿里、腾讯等机构的 AI 研究员，联合发布了一份 300 页的论文，里面有些关于代码模型和 Agent 的结论，挺出人意料。

关键点：

> 小模型也能打败大厂的专有模型

RL（特别是 RLVR）让小开源模型在推理方面超越大模型。

一个用 RLVR 在高质量验证问题上训练的 14B 模型，可以匹敌 OpenAI 的 o3。

> 模型学 Python 有点吃力

预训练时混合语言模型是好事，但 Python 和静态类型语言不太一样。

语法相似的语言（Java 和 C#，或者 JavaScript 和 TypeScript）能产生很好的协同效应。

如果把 Python 大量混入静态类型语言的训练中，反而可能因为 Python 的动态类型而适得其反。

> 语言之间有差异（代码 Scaling Laws）

让模型精通一门语言所需的数据量，很大程度上取决于这门语言本身。

论文认为 C# 和 Java 更容易学习（所需训练数据更少）。

Python 和 JavaScript 实际上更难学，有点讽刺（但你会发现 AI 最常被用于这些语言 😂）。

> MoE vs Dense（能力 vs 稳定性）

MoE 模型容量更大，但在 SFT 期间比 Dense 模型更脆弱。

训练中的超参数对 MoE 模型的影响更大，而 Dense 模型更稳定。

MoE 模型还需要持续调整学习率，以避免路由不稳定。

> 代码模型默认是「不安全」的

在公共代码库上训练，会让模型学习到多年积累的不安全编码模式。

安全微调通常效果不佳。

模型可能拒绝写仇恨言论邮件，但会很乐意生成一个存在 SQL 注入漏洞的函数，因为它「能用」。

> 结构比内容更重要

在 CoT 微调中，模板和逐步推理模式比推理的事实性更重要！

模型实际上学习的是分解问题的「认知模板」。

为推理创建合成训练数据时，逐步结构（「如何做」）比确保每个中间事实都完美更重要。

> 「Lost in the middle」问题仍然存在

新模型支持更大的上下文，但当重要代码位于 Prompt（或上下文）中间而不是开头或结尾时，准确性仍然会下降。

> 多 Agent 辩论减少幻觉

对于复杂的软件工程任务来说，这明显更好。

我认为设置辩论非常关键，如果调整不当，甚至可能导致 Agent 强化幻觉。

> 代码安全上的「对齐税」

对齐可能会降低一般的编码能力。

论文实际上提出了一种解决方案，以减轻这种税收的方式进行对齐。

想了解更多细节，可以阅读完整论文。huggingface.co/papers/2511.18…I