Christopher Manning

大学团体的研究人员在为“更广泛、更巧妙的评估稳定”作出贡献方面是不平等的。 大学研究强调新发现和严格和怀疑的验证. 对一个领域来说比较新颖但又深入学习的学生,是提出新想法的人,他们打破了外部,得到了良好的实践,但后来却成了推动进步的良好想法。 大学团体将尽最大努力找出与模式调整和其他社会负面模式行为有关的问题。 大学评价的一个成功例子是医学研究:制药公司经常求助于大学研究人员来验证药物,因为他们具有独立性,专门知识,并且因为正确治疗对生死至关重要. 可以提出的一个反对意见是,大学在几年内对发挥这一作用有好处,而这种作用正在探索之中,但不是作为长期任务。 这也许是正确的。 但我认为,今后几年将是至关重要的,因此,在这一重要的初步阶段,应该利用它们的优势。 另一方面,有些大学长期从事这种工作。 例如,你可能不知道内布拉斯加-林肯大学100多年来一直在测试拖拉机的性能(根据州政府的授权)。 然后,在大学里, @stanfordnlp 将是正确的选择。 一般而言,它是NLP和LLM研究的领先群体. 特别是在这方面,斯坦福NLP在评估人工智能系统、调整人工智能系统、审查越狱系统以及研究人类与人工智能系统互动的积极和消极影响方面做了许多突出的大学工作。 Stanford NLP在模型可解释性的研究中也一直突出,强调因果建模. 最后,关于第三方评价员的建议,就在我们最近的@PNASNews文章中提出的基准制度观点中。 (下文参考.