如今,Test-Time Scaling(测试时扩展)已成为提升模型推理能力的关键路径。而在这一浪潮中,块扩散语言模型(Block Diffusion Language Models, BDLMs) 凭借其独特的并行解码能力,被视为超越传统自回归(AR)模型推理效率的有力竞争者。然而,现有的 BDLMs 在面对长链推理时,陷入了一个两难的效率 - ...
传统的动态解码往往依赖固定的置信度阈值,这在长链推理中极易导致 “一步错,步步错”。研究团队提出了有界自适应置信度解码(BACD)算法,该算法利用已生成 token 的平均置信度作为信号,动态调整当前的去噪阈值。同时,为了实现效率和效果的兼顾,增加了双重边界保护机制:上限(Upper Bound)负责在模型自信时激进加速,下限(Lower ...
1.多非共识,Test-time Scaling 能否一直大力出奇迹? Test-time Scaling 有哪些非共识?流行的 Sequential 和 Parallel 路线有何局限?Test-time Scaling 为何需要「Better Search」?「温度」如何影响 Scaling 效果?Test-time Scaling 有哪些「Where」需要改进?... 2. Skills ...
本文由来自香港城市大学、麦吉尔大学(McGill)、蒙特利尔人工智能实验室(MILA)、人大高瓴人工智能学院、Salesforce AI Research、斯坦福大学、UCSB、香港中文大学等机构的多位研究者共同完成。第一作者为来自香港城市大学的博士生张启源和来自蒙特利尔人工 ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果