1. 项目概述与核心挑战在卫星通信、水下探测或者地下传感这类恶劣的无线环境中搞数据传输最头疼的往往不是带宽不够而是信道本身太“烂”。信号衰减、多径效应、随机丢包这些因素叠加起来传统的“保真”通信方式——比如使劲加冗余、搞重传——很快就会把本就有限的信道资源消耗殆尽。这几年语义通信Semantic Communication的概念火了起来它不再追求比特级的精确无误而是转向传输信息的“意思”。简单说只要接收方最终理解的信息在“语义”上和发送方一致哪怕中间丢了一些细节任务也能完成。这就像两个人对话对方说“帮我拿个红色的、圆形的、可以吃的水果”你递过去一个苹果即使你没听到“富士”这个品种沟通目的也已经达到了。基于令牌Token的语义通信是这条技术路径上一个极具潜力的分支。它借鉴了大语言模型LLM和扩散模型Diffusion Model的常见做法发送端和接收端共享一个庞大的“语义词典”即码本任何文本、图像描述Prompt都可以被拆解成一系列离散的令牌索引进行传输。由于每个令牌只是一个整数其压缩效率远高于传输连续的张量Tensor特征。然而硬币的另一面是这种离散性也带来了致命的脆弱性。在恶劣信道中一个关键令牌的丢失就像一句话里被抠掉了主语或谓语可能导致整个语义崩溃。接收端即使拥有强大的生成模型如文生图模型面对一个残缺、语义混乱的令牌序列也只能生成风马牛不相及的垃圾结果。因此我们面临的核心挑战非常明确如何在不增加任何额外传输开销即不发送冗余比特的前提下让令牌序列本身具备抵抗信道丢包的“韧性”传统的思路要么是在接收端做“事后补救”如用大模型猜测丢失的令牌要么是端到端训练整个收发系统成本高昂且难以部署。本文要探讨的TokCode框架则选择了一条更巧妙的“事前预防”路线在发送端对原始的令牌序列进行一次智能的“重编码”使其语义在经历信道损伤后依然能被接收端最大程度地恢复。2. TokCode框架设计思路拆解TokCode的核心思想可以用一个生活化的类比来理解假设你要通过一条嘈杂、容易听错的电话线向朋友口述一份菜谱。直接念出“西红柿、鸡蛋、盐、糖”的列表风险很高任何一个词听错菜就可能做砸。TokCode的做法是在开口前你先在心里把这份清单“翻译”成一个更抗干扰的版本。比如你把关键且易混淆的“糖”重复几遍或者用“甜味的那个白色晶体”来指代它。即使电话线里“糖”这个词完全丢失了对方听到“甜味的白色晶体”结合上下文也能大概率猜出来。这个过程就是“令牌编码”——我们没有改变要传递的“食材”集合但改变了它们的“表述顺序和方式”使其内在语义更鲁棒。2.1 系统模型与问题定义在一个典型的基于令牌的生成式图像传输系统中其工作流程如下发送端拥有一张待传输的图片I及其对应的文本描述Prompt。通过一个与接收端共享的分词器Tokenizer如T5的Tokenizer将Prompt转换为一个长度为N的令牌序列x [x1, x2, ..., xN]其中每个xi是一个整数指向共享码本V中的某个词嵌入Embedding。信道我们考虑一个分组丢失Packet Loss信道。发送端将令牌序列交织Interleave到P个数据包中发送。由于信道恶劣其中Ploss个包会随机丢失接收端能知道哪些包丢了。这导致接收到的序列˜x中对应位置的令牌变为空值∅。接收端将收到的可能残缺的令牌序列˜x直接输入本地的文生图模型如PixArt-Σ生成图像˜I G(˜x)。系统的目标是即使在˜x ≠ x的情况下也尽可能使生成图像˜I在语义上与原始图像I相似。传统的基线方案Baseline就是直接发送x听天由命。TokCode则要在发送前插入一个令牌编码器γ将x映射为另一个长度仍为N的序列z γ(x)。z与x使用同一个码本因此不增加传输负担。关键在于γ被设计成即使z经过信道丢失变成˜z其剩余部分所携带的语义信息仍能引导生成模型产出与I语义相近的˜I。2.2 为何选择“发送端编码”而非“接收端修复”这是一个关键的方案选型。接收端修复如利用T5或LLM进行丢失令牌预测听起来很直观但存在根本性局限信息论瓶颈信道丢失造成的信息熵损失是客观存在的。接收端在缺乏任何额外信息的情况下进行“猜谜”本质上是利用训练数据中的先验分布进行补全。这很容易产生“听起来合理但已偏离原意”的补全结果。例如原句是“一只猫在追红色的球”丢失了“红色”LLM可能会补全成“一只猫在追毛线球”虽然语法通顺但语义已变。计算与延迟在接收端运行大型模型进行实时补全会引入不可忽视的计算开销和延迟这对于许多低功耗、实时性要求高的边缘设备如物联网终端、无人机是难以承受的。模型依赖性修复效果严重依赖于接收端补全模型的能力和与发送端语义的对齐程度。相比之下发送端编码的优势在于主动防御发送端掌握完整的原始信息x可以在知晓信道特性的前提下主动地、有针对性地对关键语义进行“加固”。零接收端开销编码后的序列z对接收端是透明的接收端无需任何修改或额外计算像处理普通令牌一样将其输入生成模型即可。实现了真正的即插即用Plug-and-Play。优化目标明确可以直接以“最终生成图像的语义保真度”为目标来优化编码器γ形成闭环。注意这里的选择体现了通信系统设计中的一个经典权衡将复杂性放在链路中资源相对更充裕的一端通常是发送端或网络侧。在语义通信的语境下发送端往往是拥有较强计算能力的服务器或网关而接收端可能是资源受限的设备因此TokCode的设计是合理的。3. 核心算法句子语义引导的基础模型适配TokCode框架最精妙的部分在于如何高效地训练这个令牌编码器γ。最直接的思路是端到端优化以生成图像˜I和原始图像I的语义相似度如CLIP分数为损失通过生成模型G和信道模型H反向传播来更新γ。但这在实践上几乎不可行因为每次迭代都需要前向和反向通过巨大的文生图扩散模型计算成本和GPU内存消耗都是天文数字。TokCode的解决方案是SFMA算法它通过两个关键的转换将问题变得可解。3.1 问题转换一从图像域到句子域优化γ的根本目的是让受损的令牌序列˜z能生成语义正确的图像。我们观察到如果˜z本身的“句子级语义”与原始x足够接近那么它通过同一个生成模型G后产生的图像语义也大概率是接近的。因此我们可以用一个更轻量、专为句子语义相似度设计的模型——Sentence-T5——来替代沉重的“生成模型CLIP”评估管道。具体来说我们将损失函数从图像域的CLIP相似度L_image 1 - cos(CLIP(I), CLIP(˜I))转换为了句子域的Sentence-T5相似度L_sent 1 - cos(SentenceT5(x), SentenceT5(˜z))同时为了稳定训练我们增加了一个正则化项L_norm约束˜z的句子嵌入范数与x的范数相近防止优化过程陷入平凡解。3.2 问题转换二从离散令牌到连续梯度γ本身是一个输出离散令牌序列的模型。离散采样argmax操作是不可导的会阻断梯度从句子相似度损失L_sent向γ参数的流动。这是训练此类离散序列生成模型的经典难题。SFMA的破解之法非常巧妙利用软权重γ模型这里选用T5解码器在输出离散令牌zn前会先输出一个所有候选令牌的logits分数向量ln。我们不对ln做argmax而是计算其softmax得到每个令牌的“选择概率”权重wn。构建软嵌入我们用这个概率权重wn对Sentence-T5的码本V_sent中的所有词向量进行加权求和得到一个“软”的、连续可导的嵌入向量v_n^soft wn * V_sent。这个向量可以看作是模型“想表达”的语义的一个连续、模糊的表示。直通估计器在前向传播时我们仍然使用硬采样得到的令牌zn对应的独热嵌入v_n^hard输入给Sentence-T5以保证推理时的行为是正确的。但在反向传播时我们使用“直通估计器”Straight-Through Estimator, STE技巧计算梯度时假装v_n^hard等于v_n^soft。这样梯度就能绕过不可导的argmax沿着v_n^soft的路径回传到γ的参数上。这个过程可以形象地理解为训练时我们“欺骗”模型让它以为自己是直接输出连续的语义向量v_n^soft给下游任务从而获得梯度来更新自己但测试时模型还是老老实实输出离散的令牌v_n^hard保证与现有生成模型生态的兼容性。3.3 基础模型适配与低秩微调我们并非从头训练一个编码器γ而是基于一个强大的、经过海量文本预训练的基础模型——T5解码器——进行适配。这赋予了γ对语言语义和令牌间关联的强大先验理解能力。为了避免对拥有数十亿参数的完整T5模型进行全量微调带来的巨大成本我们采用了低秩适配技术。具体来说我们在T5解码器的每个线性层如Query, Value投影矩阵旁注入一个低秩的旁路矩阵B*A。训练时冻结原始T5的巨大参数Θ只更新这些小巧的低秩矩阵B和A。这通常只需训练原模型百分之几的参数就能高效地将模型的能力引导到我们特定的“抗丢包编码”任务上。SFMA训练流程简述准备一批Prompt令牌序列x。用适配后的T5解码器γ处理x得到logits计算软权重wn和软嵌入v_n^soft。对logits进行argmax得到编码后的硬令牌序列z。模拟信道丢包得到受损序列˜z。利用STE将˜z对应的硬嵌入前向替换为软嵌入反向输入Sentence-T5得到句子嵌入。计算句子相似度损失L_sent和范数正则损失L_norm求和得到总损失L。反向传播更新低秩适配矩阵B和A的参数。4. 实验配置与性能分析为了验证TokCode的有效性我们搭建了一个接近真实场景的测试环境。4.1 实验设置细节模型栈收发双方均使用PixArt-Σ作为文生图模型使用T5-XXL作为文本编码器/解码器和分词器。T5的码本大小T32,128这构成了我们令牌通信的“共享词典”。任务从DiffusionDB数据集中选取Prompt用PixArt-Σ生成对应的图像作为源图像。传输时只发送Prompt的令牌序列接收端用PixArt-Σ根据收到的令牌重新生成图像。信道将令牌序列交织到P5个包中随机丢弃其中Ploss个包模拟p 20%, 40%, 60%的丢包率。对比方案Baseline直接发送原始令牌序列。T5-based Infilling接收端用T5解码器对丢失的令牌进行“填空”补全。LLM-based Prediction接收端用Llama3-8B模型根据剩余令牌重新生成整个Prompt。TokCode (Ours)发送端使用我们训练的编码器对令牌进行加固编码。Approx. Upper Bound一个理论上的近似上界假设发送端能预知哪些包会丢并提前将最重要的令牌放到那些不会丢的包位置。4.2 结果分析与解读定性结果非常直观。在40%丢包率下Baseline方案生成的图像经常出现严重的语义扭曲或完全失败例如该生成人物的却生成了风景。T5补全和LLM重生成的方法有时能产生看似合理的图像但往往偏离了原意例如将“机器人”变成了“人”或改变了关键物体。而TokCode生成的图像在大多数情况下都能较好地保留原图的核心语义和主体内容。定量结果从两个维度衡量句子域相似度直接比较接收到的令牌序列或补全后的序列与原始Prompt序列的Sentence-T5相似度。如图3a所示在40%和60%的高丢包率下TokCode显著优于所有对比方案分别填补了Baseline与理论上界之间29.5%和77.3%的差距。这说明TokCode编码后的序列即使经过严重损伤其残留的“句子意思”也最接近原文。图像域相似度比较最终生成图像与源图像的CLIP相似度。如图3b所示TokCode同样表现最佳。一个有趣的现象是LLM-based Prediction在句子相似度上不如Baseline但其图像相似度却更高。这是因为LLM生成的Prompt虽然意思变了但它本身是语法通顺、符合语言分布的“好Prompt”文生图模型处理起来更“舒服”反而能生成质量不错的图像只是内容不对。这恰恰暴露了接收端修复方法的缺陷它可能优化了“流畅度”但牺牲了“忠实度”。而TokCode始终以“忠实还原源语义”为第一目标。TokCode学到了什么通过分析编码后的令牌序列如表1所示我们发现TokCode并没有学习复杂的加密或变换而是学会了一种语义感知的重复。对于关键的名词、形容词如“robot”, “vector”TokCode倾向于在序列的多个位置插入其令牌或同义词令牌。这样即使某个包丢失导致一个“robot”令牌消失其他包中可能还存有另一个“robot”或“robotic”从而保全了核心语义。这是一种在固定长度约束下智能地分配“语义预算”的策略。5. 实操要点与部署考量如果你打算在自己的项目中尝试或借鉴TokCode的思想以下几点经验值得注意5.1 模型与数据准备基础模型选择T5是一个稳健的选择因其编码器-解码器架构和强大的文本理解能力。确保收发双方使用的分词器和码本完全一致这是令牌通信的基石。任何版本差异都可能导致灾难性失败。生成模型对齐理想情况下收发双方的文生图模型应是同一版本。如果无法保证则需要考虑模型间的“知识对齐”问题这可能需要在TokCode训练时引入蒸馏损失。训练数据用于训练TokCode编码器的Prompt数据集其分布应尽可能贴近你的实际应用场景。例如用于传输艺术创作指令和用于传输工业检测报告描述所需的语义加固策略可能不同。5.2 训练过程中的调参经验LoRA秩的选择秩r的大小需要在模型适配能力和过拟合风险间权衡。论文中在T5-XXL上使用r128取得了好效果。对于较小的基础模型可以尝试更小的r如32, 64。一个实用的技巧是从较小的r开始如果验证集性能饱和再适当调大。损失权重 λ范数正则项系数λ不宜过大否则会过度约束嵌入空间影响语义相似度优化的主目标。建议从0.01到0.1之间开始网格搜索。信道模拟训练时的信道丢包模式应尽可能模拟真实环境。除了均匀随机丢包还可以尝试突发丢包模拟深衰落等更复杂的模型以使编码器学到更通用的鲁棒性。5.3 部署与推理即插即用训练好的TokCode编码器是一个独立的模块。部署时只需在发送端的文本令牌化之后、信道编码之前插入即可。接收端无需任何改动这是其最大优势。计算开销TokCode编码器的前向推理就是一次T5解码器的前向传播。由于采用了LoRA大部分参数是冻结的实际增加的计算量很小通常不会成为发送端的瓶颈。与信道编码的关系TokCode是语义层的加固与传统物理层/链路层的信道编码如LDPC、 Polar码是正交且互补的。在实际系统中应先进行TokCode语义编码再进行传统的信道编码。TokCode解决的是“丢包后语义如何不崩溃”的问题而信道编码解决的是“如何减少比特错误从而降低丢包率”的问题。6. 局限性与未来展望TokCode为恶劣信道下的语义通信提供了一个新颖且实用的解决方案但它并非万能也存在一些局限和可改进的空间对轻微丢包不敏感实验显示在20%的低丢包率下TokCode的优势不明显有时甚至略逊于Baseline。这是因为其保护策略如重复关键令牌可能挤占了用于表达细微语义差异的令牌空间。未来的工作可以探索自适应编码根据信道状态估计如预测的丢包率动态调整编码的“加固强度”。序列长度固定当前框架要求输入输出序列等长这限制了其灵活性。允许不等长编码将是一个重要的扩展方向例如在信道条件极差时主动压缩次要信息在信道条件好时增加冗余细节。跨模态泛化本文聚焦于文本Prompt到图像的生成任务。TokCode的思想可以推广到其他模态如语音指令、结构化数据的语义传输。关键在于找到合适的、共享的离散表示令牌和强大的基础模型。与高级语义编码结合TokCode目前主要保护的是词级别的语义。可以探索与句子级或篇章级的语义编码技术结合形成多层次的语义保护体系。在我自己的实验复现中最大的体会是模拟信道与真实信道的差距。实验室里用随机丢包模型训练出的编码器在面对真实无线环境中复杂的相关衰落和突发干扰时性能会有一定折扣。因此如何获取或生成更贴近真实场景的信道损伤数据用于训练是将TokCode从论文推向实际应用的关键一步。一个可行的思路是利用历史信道测量数据来拟合丢包模型或者采用对抗生成网络来模拟最坏情况下的信道效应。这条路走通了TokCode这类语义级抗干扰技术才能真正在深海通信、卫星互联网等前沿领域落地生根。
TokCode：基于令牌重编码的语义通信抗丢包技术解析
1. 项目概述与核心挑战在卫星通信、水下探测或者地下传感这类恶劣的无线环境中搞数据传输最头疼的往往不是带宽不够而是信道本身太“烂”。信号衰减、多径效应、随机丢包这些因素叠加起来传统的“保真”通信方式——比如使劲加冗余、搞重传——很快就会把本就有限的信道资源消耗殆尽。这几年语义通信Semantic Communication的概念火了起来它不再追求比特级的精确无误而是转向传输信息的“意思”。简单说只要接收方最终理解的信息在“语义”上和发送方一致哪怕中间丢了一些细节任务也能完成。这就像两个人对话对方说“帮我拿个红色的、圆形的、可以吃的水果”你递过去一个苹果即使你没听到“富士”这个品种沟通目的也已经达到了。基于令牌Token的语义通信是这条技术路径上一个极具潜力的分支。它借鉴了大语言模型LLM和扩散模型Diffusion Model的常见做法发送端和接收端共享一个庞大的“语义词典”即码本任何文本、图像描述Prompt都可以被拆解成一系列离散的令牌索引进行传输。由于每个令牌只是一个整数其压缩效率远高于传输连续的张量Tensor特征。然而硬币的另一面是这种离散性也带来了致命的脆弱性。在恶劣信道中一个关键令牌的丢失就像一句话里被抠掉了主语或谓语可能导致整个语义崩溃。接收端即使拥有强大的生成模型如文生图模型面对一个残缺、语义混乱的令牌序列也只能生成风马牛不相及的垃圾结果。因此我们面临的核心挑战非常明确如何在不增加任何额外传输开销即不发送冗余比特的前提下让令牌序列本身具备抵抗信道丢包的“韧性”传统的思路要么是在接收端做“事后补救”如用大模型猜测丢失的令牌要么是端到端训练整个收发系统成本高昂且难以部署。本文要探讨的TokCode框架则选择了一条更巧妙的“事前预防”路线在发送端对原始的令牌序列进行一次智能的“重编码”使其语义在经历信道损伤后依然能被接收端最大程度地恢复。2. TokCode框架设计思路拆解TokCode的核心思想可以用一个生活化的类比来理解假设你要通过一条嘈杂、容易听错的电话线向朋友口述一份菜谱。直接念出“西红柿、鸡蛋、盐、糖”的列表风险很高任何一个词听错菜就可能做砸。TokCode的做法是在开口前你先在心里把这份清单“翻译”成一个更抗干扰的版本。比如你把关键且易混淆的“糖”重复几遍或者用“甜味的那个白色晶体”来指代它。即使电话线里“糖”这个词完全丢失了对方听到“甜味的白色晶体”结合上下文也能大概率猜出来。这个过程就是“令牌编码”——我们没有改变要传递的“食材”集合但改变了它们的“表述顺序和方式”使其内在语义更鲁棒。2.1 系统模型与问题定义在一个典型的基于令牌的生成式图像传输系统中其工作流程如下发送端拥有一张待传输的图片I及其对应的文本描述Prompt。通过一个与接收端共享的分词器Tokenizer如T5的Tokenizer将Prompt转换为一个长度为N的令牌序列x [x1, x2, ..., xN]其中每个xi是一个整数指向共享码本V中的某个词嵌入Embedding。信道我们考虑一个分组丢失Packet Loss信道。发送端将令牌序列交织Interleave到P个数据包中发送。由于信道恶劣其中Ploss个包会随机丢失接收端能知道哪些包丢了。这导致接收到的序列˜x中对应位置的令牌变为空值∅。接收端将收到的可能残缺的令牌序列˜x直接输入本地的文生图模型如PixArt-Σ生成图像˜I G(˜x)。系统的目标是即使在˜x ≠ x的情况下也尽可能使生成图像˜I在语义上与原始图像I相似。传统的基线方案Baseline就是直接发送x听天由命。TokCode则要在发送前插入一个令牌编码器γ将x映射为另一个长度仍为N的序列z γ(x)。z与x使用同一个码本因此不增加传输负担。关键在于γ被设计成即使z经过信道丢失变成˜z其剩余部分所携带的语义信息仍能引导生成模型产出与I语义相近的˜I。2.2 为何选择“发送端编码”而非“接收端修复”这是一个关键的方案选型。接收端修复如利用T5或LLM进行丢失令牌预测听起来很直观但存在根本性局限信息论瓶颈信道丢失造成的信息熵损失是客观存在的。接收端在缺乏任何额外信息的情况下进行“猜谜”本质上是利用训练数据中的先验分布进行补全。这很容易产生“听起来合理但已偏离原意”的补全结果。例如原句是“一只猫在追红色的球”丢失了“红色”LLM可能会补全成“一只猫在追毛线球”虽然语法通顺但语义已变。计算与延迟在接收端运行大型模型进行实时补全会引入不可忽视的计算开销和延迟这对于许多低功耗、实时性要求高的边缘设备如物联网终端、无人机是难以承受的。模型依赖性修复效果严重依赖于接收端补全模型的能力和与发送端语义的对齐程度。相比之下发送端编码的优势在于主动防御发送端掌握完整的原始信息x可以在知晓信道特性的前提下主动地、有针对性地对关键语义进行“加固”。零接收端开销编码后的序列z对接收端是透明的接收端无需任何修改或额外计算像处理普通令牌一样将其输入生成模型即可。实现了真正的即插即用Plug-and-Play。优化目标明确可以直接以“最终生成图像的语义保真度”为目标来优化编码器γ形成闭环。注意这里的选择体现了通信系统设计中的一个经典权衡将复杂性放在链路中资源相对更充裕的一端通常是发送端或网络侧。在语义通信的语境下发送端往往是拥有较强计算能力的服务器或网关而接收端可能是资源受限的设备因此TokCode的设计是合理的。3. 核心算法句子语义引导的基础模型适配TokCode框架最精妙的部分在于如何高效地训练这个令牌编码器γ。最直接的思路是端到端优化以生成图像˜I和原始图像I的语义相似度如CLIP分数为损失通过生成模型G和信道模型H反向传播来更新γ。但这在实践上几乎不可行因为每次迭代都需要前向和反向通过巨大的文生图扩散模型计算成本和GPU内存消耗都是天文数字。TokCode的解决方案是SFMA算法它通过两个关键的转换将问题变得可解。3.1 问题转换一从图像域到句子域优化γ的根本目的是让受损的令牌序列˜z能生成语义正确的图像。我们观察到如果˜z本身的“句子级语义”与原始x足够接近那么它通过同一个生成模型G后产生的图像语义也大概率是接近的。因此我们可以用一个更轻量、专为句子语义相似度设计的模型——Sentence-T5——来替代沉重的“生成模型CLIP”评估管道。具体来说我们将损失函数从图像域的CLIP相似度L_image 1 - cos(CLIP(I), CLIP(˜I))转换为了句子域的Sentence-T5相似度L_sent 1 - cos(SentenceT5(x), SentenceT5(˜z))同时为了稳定训练我们增加了一个正则化项L_norm约束˜z的句子嵌入范数与x的范数相近防止优化过程陷入平凡解。3.2 问题转换二从离散令牌到连续梯度γ本身是一个输出离散令牌序列的模型。离散采样argmax操作是不可导的会阻断梯度从句子相似度损失L_sent向γ参数的流动。这是训练此类离散序列生成模型的经典难题。SFMA的破解之法非常巧妙利用软权重γ模型这里选用T5解码器在输出离散令牌zn前会先输出一个所有候选令牌的logits分数向量ln。我们不对ln做argmax而是计算其softmax得到每个令牌的“选择概率”权重wn。构建软嵌入我们用这个概率权重wn对Sentence-T5的码本V_sent中的所有词向量进行加权求和得到一个“软”的、连续可导的嵌入向量v_n^soft wn * V_sent。这个向量可以看作是模型“想表达”的语义的一个连续、模糊的表示。直通估计器在前向传播时我们仍然使用硬采样得到的令牌zn对应的独热嵌入v_n^hard输入给Sentence-T5以保证推理时的行为是正确的。但在反向传播时我们使用“直通估计器”Straight-Through Estimator, STE技巧计算梯度时假装v_n^hard等于v_n^soft。这样梯度就能绕过不可导的argmax沿着v_n^soft的路径回传到γ的参数上。这个过程可以形象地理解为训练时我们“欺骗”模型让它以为自己是直接输出连续的语义向量v_n^soft给下游任务从而获得梯度来更新自己但测试时模型还是老老实实输出离散的令牌v_n^hard保证与现有生成模型生态的兼容性。3.3 基础模型适配与低秩微调我们并非从头训练一个编码器γ而是基于一个强大的、经过海量文本预训练的基础模型——T5解码器——进行适配。这赋予了γ对语言语义和令牌间关联的强大先验理解能力。为了避免对拥有数十亿参数的完整T5模型进行全量微调带来的巨大成本我们采用了低秩适配技术。具体来说我们在T5解码器的每个线性层如Query, Value投影矩阵旁注入一个低秩的旁路矩阵B*A。训练时冻结原始T5的巨大参数Θ只更新这些小巧的低秩矩阵B和A。这通常只需训练原模型百分之几的参数就能高效地将模型的能力引导到我们特定的“抗丢包编码”任务上。SFMA训练流程简述准备一批Prompt令牌序列x。用适配后的T5解码器γ处理x得到logits计算软权重wn和软嵌入v_n^soft。对logits进行argmax得到编码后的硬令牌序列z。模拟信道丢包得到受损序列˜z。利用STE将˜z对应的硬嵌入前向替换为软嵌入反向输入Sentence-T5得到句子嵌入。计算句子相似度损失L_sent和范数正则损失L_norm求和得到总损失L。反向传播更新低秩适配矩阵B和A的参数。4. 实验配置与性能分析为了验证TokCode的有效性我们搭建了一个接近真实场景的测试环境。4.1 实验设置细节模型栈收发双方均使用PixArt-Σ作为文生图模型使用T5-XXL作为文本编码器/解码器和分词器。T5的码本大小T32,128这构成了我们令牌通信的“共享词典”。任务从DiffusionDB数据集中选取Prompt用PixArt-Σ生成对应的图像作为源图像。传输时只发送Prompt的令牌序列接收端用PixArt-Σ根据收到的令牌重新生成图像。信道将令牌序列交织到P5个包中随机丢弃其中Ploss个包模拟p 20%, 40%, 60%的丢包率。对比方案Baseline直接发送原始令牌序列。T5-based Infilling接收端用T5解码器对丢失的令牌进行“填空”补全。LLM-based Prediction接收端用Llama3-8B模型根据剩余令牌重新生成整个Prompt。TokCode (Ours)发送端使用我们训练的编码器对令牌进行加固编码。Approx. Upper Bound一个理论上的近似上界假设发送端能预知哪些包会丢并提前将最重要的令牌放到那些不会丢的包位置。4.2 结果分析与解读定性结果非常直观。在40%丢包率下Baseline方案生成的图像经常出现严重的语义扭曲或完全失败例如该生成人物的却生成了风景。T5补全和LLM重生成的方法有时能产生看似合理的图像但往往偏离了原意例如将“机器人”变成了“人”或改变了关键物体。而TokCode生成的图像在大多数情况下都能较好地保留原图的核心语义和主体内容。定量结果从两个维度衡量句子域相似度直接比较接收到的令牌序列或补全后的序列与原始Prompt序列的Sentence-T5相似度。如图3a所示在40%和60%的高丢包率下TokCode显著优于所有对比方案分别填补了Baseline与理论上界之间29.5%和77.3%的差距。这说明TokCode编码后的序列即使经过严重损伤其残留的“句子意思”也最接近原文。图像域相似度比较最终生成图像与源图像的CLIP相似度。如图3b所示TokCode同样表现最佳。一个有趣的现象是LLM-based Prediction在句子相似度上不如Baseline但其图像相似度却更高。这是因为LLM生成的Prompt虽然意思变了但它本身是语法通顺、符合语言分布的“好Prompt”文生图模型处理起来更“舒服”反而能生成质量不错的图像只是内容不对。这恰恰暴露了接收端修复方法的缺陷它可能优化了“流畅度”但牺牲了“忠实度”。而TokCode始终以“忠实还原源语义”为第一目标。TokCode学到了什么通过分析编码后的令牌序列如表1所示我们发现TokCode并没有学习复杂的加密或变换而是学会了一种语义感知的重复。对于关键的名词、形容词如“robot”, “vector”TokCode倾向于在序列的多个位置插入其令牌或同义词令牌。这样即使某个包丢失导致一个“robot”令牌消失其他包中可能还存有另一个“robot”或“robotic”从而保全了核心语义。这是一种在固定长度约束下智能地分配“语义预算”的策略。5. 实操要点与部署考量如果你打算在自己的项目中尝试或借鉴TokCode的思想以下几点经验值得注意5.1 模型与数据准备基础模型选择T5是一个稳健的选择因其编码器-解码器架构和强大的文本理解能力。确保收发双方使用的分词器和码本完全一致这是令牌通信的基石。任何版本差异都可能导致灾难性失败。生成模型对齐理想情况下收发双方的文生图模型应是同一版本。如果无法保证则需要考虑模型间的“知识对齐”问题这可能需要在TokCode训练时引入蒸馏损失。训练数据用于训练TokCode编码器的Prompt数据集其分布应尽可能贴近你的实际应用场景。例如用于传输艺术创作指令和用于传输工业检测报告描述所需的语义加固策略可能不同。5.2 训练过程中的调参经验LoRA秩的选择秩r的大小需要在模型适配能力和过拟合风险间权衡。论文中在T5-XXL上使用r128取得了好效果。对于较小的基础模型可以尝试更小的r如32, 64。一个实用的技巧是从较小的r开始如果验证集性能饱和再适当调大。损失权重 λ范数正则项系数λ不宜过大否则会过度约束嵌入空间影响语义相似度优化的主目标。建议从0.01到0.1之间开始网格搜索。信道模拟训练时的信道丢包模式应尽可能模拟真实环境。除了均匀随机丢包还可以尝试突发丢包模拟深衰落等更复杂的模型以使编码器学到更通用的鲁棒性。5.3 部署与推理即插即用训练好的TokCode编码器是一个独立的模块。部署时只需在发送端的文本令牌化之后、信道编码之前插入即可。接收端无需任何改动这是其最大优势。计算开销TokCode编码器的前向推理就是一次T5解码器的前向传播。由于采用了LoRA大部分参数是冻结的实际增加的计算量很小通常不会成为发送端的瓶颈。与信道编码的关系TokCode是语义层的加固与传统物理层/链路层的信道编码如LDPC、 Polar码是正交且互补的。在实际系统中应先进行TokCode语义编码再进行传统的信道编码。TokCode解决的是“丢包后语义如何不崩溃”的问题而信道编码解决的是“如何减少比特错误从而降低丢包率”的问题。6. 局限性与未来展望TokCode为恶劣信道下的语义通信提供了一个新颖且实用的解决方案但它并非万能也存在一些局限和可改进的空间对轻微丢包不敏感实验显示在20%的低丢包率下TokCode的优势不明显有时甚至略逊于Baseline。这是因为其保护策略如重复关键令牌可能挤占了用于表达细微语义差异的令牌空间。未来的工作可以探索自适应编码根据信道状态估计如预测的丢包率动态调整编码的“加固强度”。序列长度固定当前框架要求输入输出序列等长这限制了其灵活性。允许不等长编码将是一个重要的扩展方向例如在信道条件极差时主动压缩次要信息在信道条件好时增加冗余细节。跨模态泛化本文聚焦于文本Prompt到图像的生成任务。TokCode的思想可以推广到其他模态如语音指令、结构化数据的语义传输。关键在于找到合适的、共享的离散表示令牌和强大的基础模型。与高级语义编码结合TokCode目前主要保护的是词级别的语义。可以探索与句子级或篇章级的语义编码技术结合形成多层次的语义保护体系。在我自己的实验复现中最大的体会是模拟信道与真实信道的差距。实验室里用随机丢包模型训练出的编码器在面对真实无线环境中复杂的相关衰落和突发干扰时性能会有一定折扣。因此如何获取或生成更贴近真实场景的信道损伤数据用于训练是将TokCode从论文推向实际应用的关键一步。一个可行的思路是利用历史信道测量数据来拟合丢包模型或者采用对抗生成网络来模拟最坏情况下的信道效应。这条路走通了TokCode这类语义级抗干扰技术才能真正在深海通信、卫星互联网等前沿领域落地生根。
