Santiago Valdarrama
@svpino
这个新的开放重量模型非常有趣：
EdgeRock-4B 可处理文本和图像，它旨在处理长时间的推理任务，但有一个变化：
该模型将其历史记录保持在固定大小，使得随着推理的继续，内存使用情况更加可预测。
随着对话时间的延长，常规模型会使用更多的硬件内存。这使得构建人工智能应用程序的人们很难预测他们需要多少内存。
EdgeRock-4B 做了一些不同的事情：
• 它保留最新信息
• 它维护一个压缩的摘要
• 它知道要保留哪些信息
基本上，该模型试图将最新的细节与上下文中最重要的信息放在一起。
当您想要可预测的记忆时，这很好。基本上，您可以在同一硬件上处理更多请求。
但也有一些权衡。
1. 模型决定要记住什么，因此它可能会丢失重要信息。
2. 不同任务的准确度会有所不同。该模型对于某些问题很有效，但对于其他问题则不然。
3. 由于模型具有专门的内存架构，因此您需要兼容的软件来部署该模型。
您可以看到本文所附的模型架构。
