【论文解读】HILCodec:高保真轻量级神经音频编解码器深度解读

【论文解读】HILCodec:高保真轻量级神经音频编解码器深度解读 论文:HILCodec: High Fidelity and Lightweight Neural Audio Codec作者:Sunghwan Ahn, Beom Jun Woo, Min Hyun Han, Chanyeong Moon, Nam Soo Kim机构:首尔国立大学电气与计算机工程系 / 新媒体与通信研究所arXiv: 2405.04721v1 (2024年5月)一、介绍:为什么需要又轻又快的神经音频编解码器?音频编解码器的本质任务很朴素:用最少的比特,重建感知质量最高的音频。传统编解码器(如 EVS、Opus)依赖人类专家设计的声学模型——语音用 LPC(线性预测编码),音乐用变换编码(子带/小波/MDCT),再结合心理声学模型分配量化噪声。这套范式已经非常成熟,但在极低码率下(如 3kbps 以下),传统编解码器的音质衰减明显。近年来,端到端神经音频编解码器(如 SoundStream、EnCodec、AudioDec、HiFi-Codec、Descript Audio Codec)借助 GAN 的力量,在低码率下展现出远超传统编解码器的音质。但问题随之而来:问题具体表现模型太大Descript 有 74M 参数,HiFi-Codec 有 63M 参数,移动端