优惠论坛

标题: 微软研究团队提出 LLM 加速器 LLMA [打印本页]

作者: 比推快讯 时间: 2023-4-20 05:17
比推消息，微软的一组研究人员提出 LLM 加速器 LLMA。据悉。这种带有参考文献的推理解码技术可以在许多现实世界的环境中，通过利用 LLM 的输出和参考文献之间的重叠来加快 LLM 的推理速度。LLMA 的运作方式是从参考文献中选择一个文本跨度，将其标记复制到 LLM 解码器中，然后根据输出的标记概率进行有效的并行检查。

风险提示：本新闻涉及的内容仅供参考，不构成投资建议。依据发布的信息以及所表达的意见行事所造成的一切后果由行事者自负。文章链接

欢迎光临优惠论坛 (https://www.tcelue.ooo/)