Rohan Paul

这篇论文认为，目前还没有人能宣称递归自我改进是安全的，因为我们甚至缺乏一种清晰的方式来思考它会走向何方。 递归自我改进（RSI）是指一个人工智能构建出更好的人工智能，后者再构建出更好的，如此循环。人工智能公司已开始追求这一目标，但对于何时才算安全，并没有共识。 作为一名普通用户，作者仅用一条高层次提示，就让一个人工智能从头训练出了一个小型大语言模型。在一次 FAR.AI 安全研讨会上，专家们列出了差异很大的 RSI 安全条件，因为他们设想的结果截然不同。 他的双人博弈表明，RSI 竞赛只在某些风险水平上才是囚徒困境。在高风险情况下，双方都按兵不动是一个稳定结果，因此一起等待是可行的。