推文

Stanford AI Lab

2天前

我们的最新研究 TTT-E2E，标志着LLM记忆的新时代。

现在，模型能在部署后继续训练：它将上下文作为训练数据，直接更新自身权重，从而实现从海量经验中持续学习。

与 @NVIDIAAI 和 @AsteraInstitute

Karan Dalal

2天前

LLM memory is considered one of the hardest problems in AI.

All we have today are endless hacks and workarounds. But the root solution has always been right in front of us.

Next-token prediction is already an effective compressor. We don’t need a radical new architecture. The missing piece is to continue training the model at test-time, using context as training data.

Our full release of End-to-End Test-Time Training (TTT-E2E) with @NVIDIAAI, @AsteraInstitute, and @StanfordAILab is now available.

Blog: nvda.ws/4syfyMN
Arxiv: arxiv.org/abs/2512.23675

This has been over a year in the making with @arnuvtandon and an incredible team.

118

780

10.7万

3,258

Jerry Liu

1周前

在过去的 2 个月里，我发现自己又回到了把 ChatGPT 而不是 Claude 作为我的首选聊天界面。

1. 我可以分叉对话了！！感谢所有听取了我早前推文建议的人 https://t.co/mqXQBAMVMR
2. 我在 ChatGPT 上稍早打开了记忆功能，而我又太懒了，不想在 Claude 上重建上下文。

我也喜欢随机在 GPT-5.2 Prx.com/jerryjliu0/sta…然使用其他模型/工具进行诸如氛围编码之类的事情。这主要是关于聊天用户界面。

Jerry Liu

9个月前

I am a $200 / month ChatGPT Pro power user (and Claude and now Gemini), and I really really want a "fork" feature

I have so much preloaded context I don't want to 1) deal with different tasks on the same convo thread, or 2) repaste that context every time

206

2,169

49万

4,363

meng shao

2天前

[开源推荐] LlamaFactory: 一站式、高效的 LLM 微调框架，上手门槛低、工程集成能力强

LLaMA-Factory 的本质是将复杂的大模型微调工程进行了高度抽象和标准化：
· 统一化：它将不同厂商（Meta, Alibaba, Zhipu, Google 等）、不同架构（Causal LM, MoE, VLM 等）的模型接入逻辑标准化。
· 低代码化：引入了 LLaMA Board 网页界面，使得非算法人员也能通过“点点鼠标”完成从数据准备到模型导出的全流程。
· 全生命周期覆盖：涵盖了预训练、指令微调、奖励模型训练、强化学习（PPO, DPO, ORPO, SimPO 等）以及模型评估和推理部署。

关键技术特性
A. 丰富的微调算法集成
LLaMA-Factory 几乎集成了目前大模型领域所有主流的参数高效微调（PEFT）技术：
· 高效微调：支持 LoRA, QLoRA, DoRA, AdaLoRA, GaLore, BAdam, PiSSA 等。
· 优化器创新：引入了 Muon、Adam-mini、APOLLO 等新型优化器，进一步降低显存开销或提升收敛速度。
· 内存优化：深度集成 FlashAttention-2, Unsloth（显著提升微调速度并减少显存占用）, Liger Kernel 等。

B. 广泛的模型与多模态支持
百模支持：涵盖了从百亿到千亿参数的模型。
· Day-0 更新：社区响应速度极快，往往在 Llama 3、Qwen 2.5 或 DeepSeek 新版本发布的当天或次日即可支持。
· 多模态增强：近期大幅加强了对 VLM 的支持，如 LLaVA、Qwen-VL、MiniCPM-V 等，支持图像理解和视频分析任务的微调。

C. 数据工程的便捷性
项目内置了大量常用数据集的加载器，并支持 Alpaca 和 ShareGPT 两种主流数据格式。通过简单的 dataset_info.json 配置，开发者可以轻松合并、采样多个数据集，极大地简化了数据预处理阶段的负担。

架构设计与代码质量
· data/：负责各种格式数据的解析、分词、拼接及对齐。
· model/：负责模型加载、适配器注入（Adapter Injection）以及精度控制（4/8-bit 量化）。
· train/：将训练逻辑按阶段（SFT/PPO/DPO）拆分，并在 trainer. py 中对 Hugging Face 的 Trainer 进行了深度定制，以适应复杂的微调策略。
· 适配层：采用配置驱动的设计，用户通过 YAML 文件即可定义复杂的实验参数，便于实验复现和版本管理。

行业地位与影响力
· 生态枢纽：它处于 Hugging Face 生态和国内中文模型社区的交汇点，解决了中文大模型落地时“工具链不统一”的痛点。
· ACL 2024 认可：论文被 ACL 2024 录用，证实在学术上的严谨性和系统性贡献。
· 工业级应用：许多企业（NVIDIA、Amazon 等）在其官方教程或云平台上推荐使用 LLaMA-Factory 作为标准训练环境。

开源项目
github.com/hiyouga/LlamaF…

Sumanth

2天前

Fine-Tune 100+ LLMs without writing a single line of code!

LLaMA-Factory lets you train and fine-tune open-source LLMs and VLMs without writing any code.

Here's why it's a game changer for fine-tuning:

• Fine-tune 100+ LLMs/VLMs with built-in templates (LLaMA, Gemma, Qwen, Mistral, DeepSeek, and more).
• Zero-code CLI & Web UI for training, inference, merging, and evaluation.
• Supports full-tuning, LoRA, QLoRA, freeze-tuning, PPO/DPO, OFT, reward modeling, and multi-modal fine-tuning.
• Speeds up training/inference with FlashAttention-2, RoPE scaling, Liger Kernel, and vLLM backend.
• Integrates experiment tracking via LlamaBoard, TensorBoard, Weights & Biases, MLflow, and SwanLab.

It's 100% Open Source

Link to the Github Repo in the comments!

350

1.8万

1,597

AI Will

1周前

🚨 自 Gemini 3 发布以来的过去 6 周，ChatGPT 的流量下降了 22%。

7 天平均访客数从约 2.03 亿降至约 1.58 亿。可能是假期低迷，但 Gemini 作为最大的消费端竞争对手，流量保持稳定，目前约为 ChatGPT 的 40%。

数据来源：SimilarWeb。

925

Lenny Rachitsky

1周前

关于增长的最佳内容

1. 赛车式增长框架——我所有GTM和增长研究的精髓，一张图尽览 https://t.co/Kjeu1wCQnb

2. 多邻国如何重新点燃用户增长——多邻国350%增长加速背后的故事，包括排行榜、连lennysnewsletter.com/p/the-racecar-…o/q8THU0sN5w

3. 今天的最大消费产品如何获得他们的前1,000名用户——消费业务的启动与规模化系列第四部分 lennysnewsletter.com/p/consumer-bus…

4. B2B中寻找产品市场契合度的指南——B2B业务启动与规模化七部分系列中的第五部分 lennysnewsletter.com/p/finding-prod…lennysnewsletter.com/p/how-duolingo…增长渠道——讲述如何在竞争激烈的市场中，通过借力已获得目标客户信任的合作伙伴脱颖而出 lennysnewsletter.com/p/ecosystem-is…

6. 从一家未成功的初创公司那里学到的教训——构建B2B初创公司时的避坑指南 lennysnewsletter.com/p/lessons-lear…

2,420

宝玉

1周前

说的挺对的，AI 应该能提升沟通、对齐的效率
x.com/richardchang/s…

RichChat

1周前

Paul Graham 这条评论提出了一个AI被低估的能力：

最常见的大公司病：好想法被无数会议、方案争论、风险对齐卡死，最后什么都没建出来…

而AI 完全不管这些“停顿能量”（stop energy）。你把需求描述清楚，它一小时就能给你一个 Version 1。

这个第一版一旦出现，讨论焦点就从“要不要做、选哪个方案”变成“这个怎么改得更好”，项目突然就活了？

这其实是在治愈大公司的决策瘫痪，让内部创新更快启动。而且，长期看，权力会从“管审批的人”转向“愿意直接开干的人”😆

1.1万

8,383

Latent.Space

1周前

🎉 祝贺 @arena 成功完成17亿美元的A轮融资！

我们此前在 NeurIPS 对 @ml_angelopoulos 进行了一次深度采访，现在重新发布给大家：

https://t.co/KixBRuu9Fi

- 这笔巨额资金将如何分配？
- 核心数据概览：平台已产生超过2.5亿次对话，youtube.com/watch?v=NBnOk0…工作，目前半数用户已登录。
- 对 @sarahookr 提出的“排行榜幻觉”争议的回应
- @NanoBanana 的影响力
- Arena 接下来将走向何方？

2.5万

Fireworks AI

1周前

最近，DPO 和 GRPO 之间的一些关联研究非常引人注目。
“《两相作用：你的 GRPO 实际是 DPO》这篇论文提出了一个重要观点：在简单假设下，GRPO 和 DPO 并没有太大区别，两者都通过对比进行学习。

如果你在不断更新的偏好数据上重复运行 DPO，它就不再是一个一次性的调优技巧，在实践中更像是强化学习。

生产系统已能生成比较结果。
用户或明确或隐式地表达了偏好。
将这些转化为 DPO 对，并按固定的周期重新训练模型。

你不需要复杂的在线 RL 循环，也不需要脆弱的训练编排，只需定期用真实的偏好数据重新训练，模型就会随着时间的推移不断优化，同时保持稳定。对于许多实际系统而言，这种方法的可扩展性更好。

在 Fireworks AI，我们看到团队以这种方式使用 DPO，并非因为它比 RL 更容易，而是因为它更契合生产系统实际的演进方式：渐进式、可靠且带有快速反馈循环。na2.hubs.ly/H02VHfF0

418

AI Will

1周前

最喜欢用 Claude Code 构建大型功能的方式是基于 spec ？

先从一个最小的 spec 或 prompt 开始，让 Claude 使用 AskUserQuestionTool 来“采访”你。

然后开一个新的 session，按照这个 spec 去执行。

1,224

AI Will

1周前

今天在 Nature Medicine 发表的研究中，James Zou团队报告：AI 只需一晚睡眠数据就能预测 130 种疾病 🛌

他们用 6.5 万人的 58.5 万小时睡眠记录训练了一个基础模型（SleepFM）——融合了大脑、心脏、肌肉和呼吸信号。

AI 正在学习“睡眠的语言”🧵

1,113

订阅源

我们的最新研究 TTT-E2E，标志着LLM记忆的新时代。

现在，模型能在部署后继续训练：它将上下文作为训练数据，直接更新自身权重，从而实现从海量经验中持续学习。

与 @NVIDIAAI 和 @AsteraInstitute

LLM memory is considered one of the hardest problems in AI.

All we have today are endless hacks and workarounds. But the root solution has always been right in front of us.

Next-token prediction is already an effective compressor. We don’t need a radical new architecture. The missing piece is to continue training the model at test-time, using context as training data.

Our full release of End-to-End Test-Time Training (TTT-E2E) with @NVIDIAAI, @AsteraInstitute, and @StanfordAILab is now available.

Blog: nvda.ws/4syfyMN
Arxiv: arxiv.org/abs/2512.23675

This has been over a year in the making with @arnuvtandon and an incredible team.

在过去的 2 个月里，我发现自己又回到了把 ChatGPT 而不是 Claude 作为我的首选聊天界面。

1. 我可以分叉对话了！！感谢所有听取了我早前推文建议的人 https://t.co/mqXQBAMVMR
2. 我在 ChatGPT 上稍早打开了记忆功能，而我又太懒了，不想在 Claude 上重建上下文。

我也喜欢随机在 GPT-5.2 Prx.com/jerryjliu0/sta…然使用其他模型/工具进行诸如氛围编码之类的事情。这主要是关于聊天用户界面。

I am a $200 / month ChatGPT Pro power user (and Claude and now Gemini), and I really really want a "fork" feature

I have so much preloaded context I don't want to 1) deal with different tasks on the same convo thread, or 2) repaste that context every time

[开源推荐] LlamaFactory: 一站式、高效的 LLM 微调框架，上手门槛低、工程集成能力强

LLaMA-Factory 的本质是将复杂的大模型微调工程进行了高度抽象和标准化：
· 统一化：它将不同厂商（Meta, Alibaba, Zhipu, Google 等）、不同架构（Causal LM, MoE, VLM 等）的模型接入逻辑标准化。
· 低代码化：引入了 LLaMA Board 网页界面，使得非算法人员也能通过“点点鼠标”完成从数据准备到模型导出的全流程。
· 全生命周期覆盖：涵盖了预训练、指令微调、奖励模型训练、强化学习（PPO, DPO, ORPO, SimPO 等）以及模型评估和推理部署。

关键技术特性
A. 丰富的微调算法集成
LLaMA-Factory 几乎集成了目前大模型领域所有主流的参数高效微调（PEFT）技术：
· 高效微调：支持 LoRA, QLoRA, DoRA, AdaLoRA, GaLore, BAdam, PiSSA 等。
· 优化器创新：引入了 Muon、Adam-mini、APOLLO 等新型优化器，进一步降低显存开销或提升收敛速度。
· 内存优化：深度集成 FlashAttention-2, Unsloth（显著提升微调速度并减少显存占用）, Liger Kernel 等。

B. 广泛的模型与多模态支持
百模支持：涵盖了从百亿到千亿参数的模型。
· Day-0 更新：社区响应速度极快，往往在 Llama 3、Qwen 2.5 或 DeepSeek 新版本发布的当天或次日即可支持。
· 多模态增强：近期大幅加强了对 VLM 的支持，如 LLaVA、Qwen-VL、MiniCPM-V 等，支持图像理解和视频分析任务的微调。

C. 数据工程的便捷性
项目内置了大量常用数据集的加载器，并支持 Alpaca 和 ShareGPT 两种主流数据格式。通过简单的 dataset_info.json 配置，开发者可以轻松合并、采样多个数据集，极大地简化了数据预处理阶段的负担。

架构设计与代码质量
· data/：负责各种格式数据的解析、分词、拼接及对齐。
· model/：负责模型加载、适配器注入（Adapter Injection）以及精度控制（4/8-bit 量化）。
· train/：将训练逻辑按阶段（SFT/PPO/DPO）拆分，并在 trainer. py 中对 Hugging Face 的 Trainer 进行了深度定制，以适应复杂的微调策略。
· 适配层：采用配置驱动的设计，用户通过 YAML 文件即可定义复杂的实验参数，便于实验复现和版本管理。

行业地位与影响力
· 生态枢纽：它处于 Hugging Face 生态和国内中文模型社区的交汇点，解决了中文大模型落地时“工具链不统一”的痛点。
· ACL 2024 认可：论文被 ACL 2024 录用，证实在学术上的严谨性和系统性贡献。
· 工业级应用：许多企业（NVIDIA、Amazon 等）在其官方教程或云平台上推荐使用 LLaMA-Factory 作为标准训练环境。

开源项目
github.com/hiyouga/LlamaF…

Fine-Tune 100+ LLMs without writing a single line of code!

LLaMA-Factory lets you train and fine-tune open-source LLMs and VLMs without writing any code.

Here's why it's a game changer for fine-tuning:

• Fine-tune 100+ LLMs/VLMs with built-in templates (LLaMA, Gemma, Qwen, Mistral, DeepSeek, and more).
• Zero-code CLI & Web UI for training, inference, merging, and evaluation.
• Supports full-tuning, LoRA, QLoRA, freeze-tuning, PPO/DPO, OFT, reward modeling, and multi-modal fine-tuning.
• Speeds up training/inference with FlashAttention-2, RoPE scaling, Liger Kernel, and vLLM backend.
• Integrates experiment tracking via LlamaBoard, TensorBoard, Weights & Biases, MLflow, and SwanLab.

It's 100% Open Source

Link to the Github Repo in the comments!

🚨 自 Gemini 3 发布以来的过去 6 周，ChatGPT 的流量下降了 22%。

7 天平均访客数从约 2.03 亿降至约 1.58 亿。可能是假期低迷，但 Gemini 作为最大的消费端竞争对手，流量保持稳定，目前约为 ChatGPT 的 40%。

数据来源：SimilarWeb。

关于增长的最佳内容

1. 赛车式增长框架——我所有GTM和增长研究的精髓，一张图尽览 https://t.co/Kjeu1wCQnb

2. 多邻国如何重新点燃用户增长——多邻国350%增长加速背后的故事，包括排行榜、连lennysnewsletter.com/p/the-racecar-…o/q8THU0sN5w

3. 今天的最大消费产品如何获得他们的前1,000名用户——消费业务的启动与规模化系列第四部分 lennysnewsletter.com/p/consumer-bus…

4. B2B中寻找产品市场契合度的指南——B2B业务启动与规模化七部分系列中的第五部分 lennysnewsletter.com/p/finding-prod…lennysnewsletter.com/p/how-duolingo…增长渠道——讲述如何在竞争激烈的市场中，通过借力已获得目标客户信任的合作伙伴脱颖而出 lennysnewsletter.com/p/ecosystem-is…

6. 从一家未成功的初创公司那里学到的教训——构建B2B初创公司时的避坑指南 lennysnewsletter.com/p/lessons-lear…

Paul Graham 这条评论提出了一个AI被低估的能力：

最常见的大公司病：好想法被无数会议、方案争论、风险对齐卡死，最后什么都没建出来…

而AI 完全不管这些“停顿能量”（stop energy）。你把需求描述清楚，它一小时就能给你一个 Version 1。

这个第一版一旦出现，讨论焦点就从“要不要做、选哪个方案”变成“这个怎么改得更好”，项目突然就活了？

这其实是在治愈大公司的决策瘫痪，让内部创新更快启动。而且，长期看，权力会从“管审批的人”转向“愿意直接开干的人”😆

🎉 祝贺 @arena 成功完成17亿美元的A轮融资！

我们此前在 NeurIPS 对 @ml_angelopoulos 进行了一次深度采访，现在重新发布给大家：

https://t.co/KixBRuu9Fi

- 这笔巨额资金将如何分配？
- 核心数据概览：平台已产生超过2.5亿次对话，youtube.com/watch?v=NBnOk0…工作，目前半数用户已登录。
- 对 @sarahookr 提出的“排行榜幻觉”争议的回应
- @NanoBanana 的影响力
- Arena 接下来将走向何方？

最近，DPO 和 GRPO 之间的一些关联研究非常引人注目。
“《两相作用：你的 GRPO 实际是 DPO》这篇论文提出了一个重要观点：在简单假设下，GRPO 和 DPO 并没有太大区别，两者都通过对比进行学习。

如果你在不断更新的偏好数据上重复运行 DPO，它就不再是一个一次性的调优技巧，在实践中更像是强化学习。

生产系统已能生成比较结果。
用户或明确或隐式地表达了偏好。
将这些转化为 DPO 对，并按固定的周期重新训练模型。

你不需要复杂的在线 RL 循环，也不需要脆弱的训练编排，只需定期用真实的偏好数据重新训练，模型就会随着时间的推移不断优化，同时保持稳定。对于许多实际系统而言，这种方法的可扩展性更好。

在 Fireworks AI，我们看到团队以这种方式使用 DPO，并非因为它比 RL 更容易，而是因为它更契合生产系统实际的演进方式：渐进式、可靠且带有快速反馈循环。na2.hubs.ly/H02VHfF0

最喜欢用 Claude Code 构建大型功能的方式是基于 spec ？

先从一个最小的 spec 或 prompt 开始，让 Claude 使用 AskUserQuestionTool 来“采访”你。

然后开一个新的 session，按照这个 spec 去执行。

今天在 Nature Medicine 发表的研究中，James Zou团队报告：AI 只需一晚睡眠数据就能预测 130 种疾病 🛌

他们用 6.5 万人的 58.5 万小时睡眠记录训练了一个基础模型（SleepFM）——融合了大脑、心脏、肌肉和呼吸信号。

AI 正在学习“睡眠的语言”🧵