Mou Wang (王谋)

Mou Wang (王谋)

Senior Audio Algorithm Engineer at OPPO, Postdoc at Institute of Acoustics, CAS.

Arxiv Daily Deep Report - 2026-08-12

Arxiv Daily Deep Report - 2026-08-12

来源: https://arxiv.org/list/eess.AS/recent 篇数: 6 —

1. MAJEPPA: Morphing and Assessing in a Unified Piano Performance Space

作者: Jinwen Zhou, Huan Zhang, Weixi Zhai, Jinhua Liang, Aidan O. T. Hogg, Simon Dixon 链接: 2608.11026 分类: Music Information Retrieval / Piano Performance Modeling | 关键词: MAJEPPA, JEPA, Piano Performance, Self-Supervised Learning, Score-Performance Alignment, EVPMR

核心痛点

现有钢琴表演数据集几乎只包含专业演奏，缺乏覆盖从初学者到大师的完整技能谱系；且现有方法通常针对单一任务训练，无法跨任务或技能水平迁移。

方法创新

提出 MAJEPPA，一个基于 JEPA 的自监督框架，用于学习统一的钢琴表演表示。它联合优化了三个目标：

  1. 自回归下一 token 预测，用于生成不同技能水平的score-conditioned表演；
  2. InfoNCE 对比损失，对齐抽象乐谱表示与表演表示；
  3. 监督对比损失，进一步利用标注信息。

模型同时具备生成和理解表演的能力。同时构建了 MAJEPPA 数据集（约4000个标注录音，覆盖6个专家级别和6个录音场景），并提出了 EVPMR 评估基准（包括质量评估、比赛排名、错误和技术分类等下游任务）。

实验结果

在 EVPMR 基准上，采用冻结表示和线性探针进行评估，模型在多个下游任务中优于各种基线。

一句话评价

MAJEPPA 首次将 JEPA 应用于联合符号钢琴表演生成与表示学习，填补了数据和方法空白，为钢琴表演空间提供了统一建模方案。

2. In Defense of Using Worst-case Privacy Disclosure as Privacy Evaluation Metric of Voice Anonymization

作者: Xin Wang, Xiaoxiao Miao 链接: 2608.10318 分类: Voice Anonymization / Speech Privacy | 关键词: voice anonymization, privacy metric, privacy-ZEBRA, equal error rate, log-likelihood ratio, perfect secrecy, information leakage

论文概述

本文针对语音匿名化领域中隐私评估指标的选择问题，为使用最坏情况隐私披露（privacy-ZEBRA）作为评估指标进行辩护。论文指出当前主流使用的等错误率（EER）作为聚合指标，无法捕捉个体说话人的信息泄漏风险，尤其是在对数似然比（LLR）空间。作者从Shannon完美保密概念出发，解释了理想EER系统可能无法有效评估隐私保护的原因，并展示了基于排名的指标可被纳入完美保密框架，且其最优解与privacy-ZEBRA等价。此外，论文还分析了LLR估计方法对评估结果的影响，并通过模拟数据和VoicePrivacy Challenge数据进行了验证。

核心痛点

  • 语音匿名化社区主要使用EER评估身份保护性能，但EER关注的是整体错误率，忽略了个体说话人的最坏情况信息泄漏。
  • 现有替代指标（如privacy-ZEBRA和基于排名的指标）背后假设和差异不清晰，新手难以选择合适指标。
  • 需要从理论上阐明不同隐私评估指标之间的联系和区别，并强调最坏情况下的隐私保护的重要性。

方法创新

  • 将隐私-ZEBRA框架置于完美保密理论下，强调LLR(s)=0作为理想保护标准。
  • 指出EER的不足：即使EER为0（理想系统），在LLR空间上仍可能泄漏个体说话人的信息，因为EER只衡量平均性能。
  • 证明基于排名的指标与完美保密原则一致，其最佳解与privacy-ZEBRA等价，提供了一种新的LLR估计方式。
  • 讨论不同LLR估计方法（如PAV算法与基于排名的方法）对评估结果的影响，特别是非线性校准方法。

实验结果

论文在模拟数据和VoicePrivacy Challenge（2024）数据上进行了演示，验证了上述理论分析和指标间的关系。但摘要中未给出具体数值结果。

一句话评价

本文为语音匿名化中的隐私评估指标选择提供了系统性理论梳理，强有力地支持了以最坏情况泄露（privacy-ZEBRA）作为核心评估标准。

3. BiTSE: Binaural Target Speaker Extraction in Noisy Multi-Talker Environments for AR Glass Arrays

作者: Selani A. Indrapala, Wageesha N. Manamperi 链接: 2608.10106 分类: Target Speaker Extraction | 关键词: Binaural target speaker extraction, direction-of-arrival, head-worn array, multi-objective loss, speaker activity masking

BiTSE: Binaural Target Speaker Extraction in Noisy Multi-Talker Environments for AR Glass Arrays

核心痛点

在增强现实（AR）眼镜等可穿戴设备中，于嘈杂多说话人环境下准确提取目标说话人语音是关键技术挑战。单通道目标说话人提取（TSE）在混响环境中性能严重下降，而多麦克风（尤其双耳）配置可提供空间线索以提升分离效果。SPEAR 挑战数据集模拟了真实餐厅场景，包含强背景噪声和多个竞争说话人，使得双耳 TSE 任务极具挑战性。

方法创新

提出 BiTSE 框架，基于 Binaural Complex Convolutional Transformer Network (BCCTN) 架构，并引入三项关键增强：

  1. DoA 感知注意力机制：使用循环位置编码（cyclic positional encoding）将目标说话人的方向到达（DoA）轨迹转化为嵌入向量，通过全连接层和 PReLU 激活后，与编码器输出逐元素相乘，实现空间调制；随后由复数值多头自注意力模块处理，使模型能利用方位信息引导分离。
  2. 说话人活动掩蔽（Speaker Activity Masking）：利用语音活动检测（VAD）标签生成二进制掩码 V(t)，在估计的幅度掩码（CRM）后应用，有效抑制非目标说话人的活跃片段，提升非语音区域的提取纯净度。
  3. 两阶段损失优化策略：第一阶段采用 SNR 和分段 SNR（SegSNR）损失进行去噪预训练，建立稳健的语音重建能力；第二阶段加入 STOI 和 IPD 损失，以较小学习率微调，优化感知质量和空间一致性。最终损失为：L_stage1 = γ·LSegSNR，L_stage2 = γ·LSegSNR + α·LIPD + β·LSTOI。

实验结果

在 SPEAR 挑战数据集（D2、D3、D4）上进行评估，BiTSE 与 BCCTN 变体及 MVDR 波束形成器对比，在信号保真度和感知质量上均取得一致性提升，验证了各创新组件的有效性。

一句话评价

BiTSE 通过有效融合空间方位（DoA）与时序活动（VAD）线索，并配合两阶段优化，为 AR 场景下的双耳目标说话人提取提供了一种高性能解决方案，显著优于传统方法。

4. X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction

作者: Kaiqi Fu, Rime Wen, Altman Lin, Shawn Qin, Roy Gan, Hao Wang, Qian Wang 链接: 2608.10878 分类: Speech Recognition | 关键词: Turn-taking, Spoken Dialogue Systems, Delayed Streams Modeling, Streaming Automatic Speech Recognition, Frame-synchronous Prediction

核心痛点

传统模块化方法在 turn state 预测上通常以 utterance 或固定 chunk 为单位，与连续帧级 turn state 估计不匹配，且依赖外部 ASR 模型，导致响应慢、系统复杂。

方法创新

  • 提出 X2-Turn，在预训练的 Voxtral Realtime 流式 ASR 模型基础上，增加一个并行的帧同步 turn state 预测头，与 ASR 头共享流式表示，在帧级别同时预测 ASR token 和细粒度 turn state。
  • 设计统一 turn state 标签集：<|idle|>、<|noidle|>、<|incomplete|>、<|complete|>、<|backchannel|>，用于中断、说话完成、backchannel 检测。
  • 提出 ASR-anchored supervision：将词级 turn 标注投影到 ASR token 对应的帧位置，使两个任务在同一 80ms 离散时间线上对齐。
  • 采用 delayed-stream modeling，支持可配置延迟 τ，模型可适应不同延迟配置。

实验结果

在中英双语 EasyTurn 测试集上评估，证明方法在准确检测 turn-taking 的同时保持低延迟。具体数字未在截取片段中给出。

一句话评价

X2-Turn 通过帧同步双头设计，在流式 ASR 中直接预测 turn state，实现了低延迟高准确率的对话交互控制。

5. MazzikaAI: A knowledge-based performance-to-prompt compiler for real-time Arabic maqam accompaniment with a streaming text-to-music model

作者: Jiaxin Du, Boulbaba Abdeljaouad, Yong Zhuang, Haoyu Li 链接: 2608.10360 分类: Real-time Music Generation | 关键词: Expert system, Knowledge-based system, Prompt engineering, Real-time music generation, Human–AI co-creation, Arabic maqam

MazzikaAI 论文总结

核心痛点

  • 阿拉伯马卡姆音乐（微音程、调式、装饰音）被主流生成模型忽视，其实时伴奏需要AI动态适应和尊重微音程结构。
  • 流式文本到音乐模型（如Lyria RealTime）具备强生成能力，但缺乏精确控制接口，无法根据演奏者的即时输入进行响应。
  • 静态提示只能产生通用背景音轨，无法跟随独奏者；符号模型缺乏音色真实感，且适应新音乐传统通常需要数据收集和微调。

方法创新

  • 提示编译作为实时控制律：提出确定性编译器C:(s_t, q_t) → p_t，将估计的演奏状态编译为文本提示，通过四状态问答策略和粗粒度控制门控决定何时重新引导流，无需微调模型。
  • 马卡姆知识库：手工构建可检查的知识库，包含六种马卡姆（含四分之一音拼写、特征音级、装饰音、静止音和负面引导）以及takht合奏的乐器角色。通过有序乐器约束子句和显式马卡姆接地来弥补API缺失的控制机制。
  • 神经符号分工：经典知识系统（知识库+工作记忆+规则推理）作为控制层，预训练生成器作为效应器，通过自然语言引导，实现可检查的符号专业知识与基础模型音乐能力的结合。
  • 系统架构：浏览器客户端、Python后端、云端生成模型通过WebSocket连接，实时捕捉MIDI、手势、语音，编译提示流式传输到Lyria RealTime，双生成流（旋律合奏和打击乐）并发。

实验结果

  • 动态提示编译显著增加离网格四分之一音内容，可靠地将生成锚定在微音程音阶上（相比基线生成）。
  • 完整延迟分解、门控和流稳定性测量；消融实验验证了各机制贡献；静态提示导致响应性崩溃。
  • 与两位专家音乐家的演奏会话提供了感知评估，指出主要剩余差距在节拍级夹带。

一句话评价

MazzikaAI通过将实时演奏状态编译为文本提示，成功利用未微调的基础模型实现响应性阿拉伯马卡姆伴奏，展示了知识驱动方法在弥合非西方音乐传统与生成模型之间的潜力。

6. Training Set Synthesis for Bioacoustic Denoising: A Case Study With Mice

作者: Reyhaneh Abbasi, Peter Balazs, Vincent Lostanlen, Clara Hollomey, Dustin J. Penn, Sarah M. Zala, Nicki Holighaus 链接: 2608.10054 分类: Audio Enhancement | 关键词: training set synthesis, ridge tracking, bioacoustic denoising, U-Net, ultrasonic vocalizations, complex ratio mask

论文总结

核心痛点

生物声学录音常受环境噪声干扰，尤其当目标发声（如小鼠超声发声 USVs）较弱或被噪声覆盖时，分析十分困难。现有传统去噪方法（如谱减法、维纳滤波）假设噪声平稳，但自然环境中的噪声时变且频谱复杂，效果有限。深度学习方法虽在语音/音乐去噪中表现优秀，但需要大量干净的训练数据，而生物声学领域很难获取此类数据。

方法创新

本文提出一种基于脊线（ridge）追踪的训练集合成与去噪方法，核心贡献如下：

  1. 训练集合成（Training Set Synthesis）：利用自动追踪的脊线（代表基频和谐波分量）合成配对（含噪-干净）训练数据，无需人工标注，脊线精度要求适中即可。
  2. 脊线引导损失函数（Ridge-guided Loss）：在时频域损失函数中对脊线区域赋予更高权重，使网络在去噪时更好保留发声细节。
  3. 模型结构：采用 U-Net 架构预测复数比掩膜（complex ratio mask），在时频域进行去噪。

该方法适用于具有可追踪脊线的局部正弦型生物声学信号（如小鼠 USVs、狨猴发声、海豚哨声），不适用于宽带噪声类发声。

实验结果

  • 在合成测试数据上，所提方法显著提升尺度不变信号失真比（SI-SDR），覆盖宽范围输入信噪比。
  • 在真实野外录音中，相比先前信号处理方法，脊线追踪的精确率和召回率提升，频率偏差降低。
  • 用去噪数据重新训练分类器，对野生和驯化小鼠的带噪录音（含样本外数据）分类 F1 分数优于直接用带噪数据训练的分类器。

一句话评价

本文首次将脊线追踪用于生物声学训练集合成和损失函数加权，为缺乏干净训练数据的生物声学去噪提供了实用且可推广的深度学习方法。