AI Breakfast
@AiBreakfast · 1周前这太不可思议了，它是这样运作的：
普通大型语言模型（比如 Grok 或 GPT 变体）通过数十亿个数字（权重）存储它们的“kn0wledge”。
每个权重通常是一个高精度小数（比如 3.14159），使用 16 比特存储。这导致模型在内存中非常庞大，运行起来既慢又昂贵，因为计算机必须进行大量的复杂乘法（例如，每个连接的输入 × 权重）。
BitNet b1.58 颠覆了这一现状：它从零开始训练模型，使得每个权重仅限于三个可能的值：-1、0 或 +1。
这称为三元（三态）量化。平均而言，它每个权重仅使用 1.58 比特（因此得名“b1.58”，它不完全是 1 比特，但非常接近）。
“0”尤其有用：它就像一个开关，用于断开不重要的连接，使模型更加稀疏、更高效，而不会损失太多精度。
令人惊讶的是，当在足够的数据上正确训练时，这些微小的权重模型表现几乎与相同大小的全精度模型一样好。
这就像将一张高分辨率照片压缩成一张草图（你会失去精细细节，但大体轮廓依然可辨）。
Simplifying AI
@simplifyinAI · 1周前Microsoft just changed the game 🤯
They've open-sourced bitnet.cpp, a 1-bit LLM inference framework.
It let's you run 100B parameter models on your local CPU without GPUs.
- 6.17x faster inference
- 82.2% less energy on CPUs
100% Open Source.
00:13
297
768
6,771
86万
28
37
351
267
83
