X研究20:39Yann LeCun@ylecun@alexandr_wang 😅😅 专有 AI 模型公司就是昔日的 IBM 😅😅 (而如今的 IBM 其实是开源的大力支持者,和旧日的 IBM 完全不同。)薄雾 采集读全文↗
X研究12:00Yann LeCun@ylecun@jakobmollerfi @JordanMich45361 @BachFrancis 对,就像多层网络、反向传播、卷积网络、深度学习和自监督学习一样。 如果你同意我的观点,那你显然站在了历史错误的一边。 🤪薄雾 采集读全文↗
X研究11:57Yann LeCun@ylecun@michaelkheifetz @random_walker 真正的问题是,为什么他们的看法和我们如此截然不同。 他们改变了看法。 我们没有。薄雾 采集读全文↗
X研究02:54Yann LeCun@ylecun@random_walker 这些都是非常好的观点,我希望更多人知道并理解。 尤其是那些本应更懂、却在用网络安全末日预测(再加上就业末日,以及普通末日)吓唬所有人的人薄雾 采集读全文↗
X研究03:41Yann LeCun@ylecun@demishassabis 我的朋友兼贝尔实验室同事 John S. Denker 是电影中米奇角色的灵感来源。 他 16 岁时进入加州理工学院,在许多恶作剧中发挥了核心作用(例如通过使用高速打印机打印数千个条目来赢得麦当劳抽奖活动)薄雾 采集读全文↗
X研究15:28Yann LeCun@ylecun@ andrewgwils适用于自我监督学习场景的概括理论: 1.未标记样品每个样品的成本为X 2.给定任务的标签样品每个样品的成本为Y。 -假设X为零,对于任务的遗憾曲线,即薄雾 采集读全文↗
X研究15:21Yann LeCun@ylecun@ tdietterich @ andrewgwils我们必须坚持我们更喜欢可以用少量短公式表达的模型,使用常见的数学原语。 这是符号回归使用的归纳偏差和/或正则化器。 但是,为什么我们认为这很好呢?薄雾 采集读全文↗
X研究03:01Yann LeCun@ylecun@ Helios_Hua做得好! @ garridoq_@ laurentnajman和我进行了一些你可能不知道的工作: https://t.co/Evxpx4MoIE薄雾 采集读全文↗
X研究22:40Yann LeCun@ylecun@LuKMalEcrit @francoisfleuret 对。它们只能通过实际运行来验证输出是否正确。 这只适用于数字世界,而且只适用于不太可能造成灾难的行动。 否则,你需要一个世界模型,让系统在执行之前评估其行动的后果。薄雾 采集读全文↗
X研究22:35Yann LeCun@ylecun@andrzejdragan @francoisfleuret 这绝对不是自回归的 token 预测——因为可以评估多个假设的 token/动作序列,而无需把它们产生到输出上。 这就是我所说的 SEARCH(搜索)。 尽管还有比离散 token 序列的生成-选择更高效的搜索方式。 有些 LLM 会在静默中自回归地产生多个输出,再评估并选出最好的一个,从而进行搜索。 整个过程并不是自回归的 token 预测。薄雾 采集读全文↗
X研究22:38Yann LeCun@ylecun@willessd @francoisfleuret 没什么。 我的批评完全针对离散 token 的自回归预测。 也针对把推理限制在离散 token 序列空间中的搜索。 也针对用离散 token 的生成模型去建模真实世界信号。 也针对没有显式世界模型来实现真正的规划/推理。薄雾 采集读全文↗