Rohan Paul

特伦斯·陶: 今天的LLMS背后的数学其实很简单. 培训和运行它们大多使用线性代数,矩阵乘法,以及一些微积分,本科能处理的材料. 我们理解如何建造和操作这些模型。 真正的神秘之处在于,为什么他们在一些任务上工作得如此出色,而在另一些任务上却失败了,为什么我们不能预先预测。 我们没有良好的规则来预测各项任务的业绩,因此进展主要是经验性的。 一个关键原因是现实世界数据的性质. 纯粹的噪声是可以理解的,完全结构化的数据是可以理解的,但自然文本坐落在中间,部分结构化和部分随机化. 说吧 说吧 由于这一差距,我们可以描述各种机制,但尚不能解释能力跳跃或给出可靠的任务级别预测。 这种不匹配,简单的机械 相对于难以预测的行为, 是核心谜题。 - - - - - - 说吧 @Briankeating YT 频道的视频(链接评论)