Rohan Paul

Sam Altman 论局部推理。 “从全球分配的角度来看，让每个人，一堆世界上有限的 DRAM 供应坐在自己的计算机上，并且只有 5% 的时间被使用，这是非常可怕的” 每个代币，数据中心都会轻松获胜。从任何利用率指标来看，批量大小为 1 的本地模型都是浪费，而且它也是堆栈中唯一没有人可以反对的部分。 https://x.com/morqon/status/2115838856524120128/video/1