网络高效的世界模型令牌流式传输
TLDR
提出一种针对离散世界模型令牌的自适应关键帧-增量流协议,在丢包条件下改善率失真和困惑度。
评分理由
Strengths include a novel online algorithm for efficient streaming of world model states with clear experimental improvements. Weaknesses are the narrow driving domain focus and lack of comparison to other compression methods or full world model evaluation.
Read-first 评分解释
综合优先阅读分 48.7,由主题、引用、图谱、方法、可复现性和近期性等信号加权得到。 原始总分保留为 31。
研究版图角色
排序敏感性
稳定性:volatile;排名波动范围:230。
关键词评分
深度分析
创新点
- Stride-16 VQ-U-Net tokenizer,码本大小8192,将288x512帧映射为18x32令牌网格(每帧576令牌,固定长度编码下936字节/帧)
- 完全在线、无标签的关键帧-增量协议,通过码本嵌入空间中的余弦距离优先处理增量更新,并利用汉明漂移阈值自适应触发关键帧
- 在匹配比特率下持续优于周期性关键帧的率失真边界,嵌入失真最多降低7.2%,困惑度改善6.3%
方法
本文提出Stride-16 VQ-U-Net tokenizer,使用码本大小8192将每帧288x512映射为18x32令牌ID网格(576令牌/帧),固定长度编码下为936字节/帧。在严格每消息负载预算和丢包条件下采用关键帧-增量协议,通过完全在线、无标签的算法,利用码本嵌入空间中的余弦距离优先处理增量更新,并基于汉明漂移阈值自适应触发关键帧。该方法在匹配比特率下与周期性关键帧进行对比,使用率失真指标和基于接收端状态的轻量级下一令牌预测器的困惑度进行评估。
关键结果
在0.024 Mb/s(200字节预算)下,动态仅嵌入失真从0.0712降至0.0661(改善7.2%);在0.036 Mb/s(400字节预算)下,从0.0427降至0.0407(改善4.8%)。在200字节预算下10%增量丢包时,动态仅失真为0.0757,周期性基线为0.0789。困惑度在0.024 Mb/s下从206.0改善至193.1(6.3%),在0.036 Mb/s下从158.9改善至155.6(2.1%)。