高斯过程模型是一种非参贝叶斯模型，因其不确定性估计能力得到广泛应用。基于归纳点的稀疏变分近似使高斯过程模型能够扩展到大规模数据集，但往往会高估观测噪声并低估后验方差。参数化预测高斯过程回归器（PPGPR）通过修复稀疏变分高斯过程（SVGP）中训练损失与预测指标之间的不匹配，改进了逐点不确定性估计使其能够建模异方差数据，但往往会低估观测噪声并容易过拟合。

为此，温州大学计算机与人工智能学院教师毛亮，联合上海交通大学孙仕亮教授研究团队，从信息论的角度研究高斯过程模型的不确定性估计问题。研究团队证明了SVGP和PPGPR都利用了信息瓶颈原则，但其方式存在缺陷，这导致前者无法充分利用与输入相关的潜函数方差来建模不确定性，而后者则倾向于低估观测噪声并产生病态的预测协方差。研究团队针对这些问题提出了一种改进方案，通过互信息分解设计训练目标，并使用两个耦合解码器。合成数据集和真实数据集上的实验表明，稀疏变分信息瓶颈高斯过程（SVIBGP）能够有效处理异方差噪声，并提供校准良好的不确定性估计。

图1 SVIBGP、SVGP、PPGPR在异方差合成数据集上的预测不确定性

图2 SVIBGP、SVGP、PPGPR、Exact GP在真实数据上的校准性能

近期，论文“Sparse Variational Information Bottleneck Gaussian Processes for Uncertainty Estimation”发表于国际顶级期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》（CCF-A类期刊、IF=18.6）。我校计算机与人工智能学院青年教师毛亮为第一作者，上海交通大学孙仕亮为通讯作者，相关工作得到了浙江省自然科学基金和国家自然科学基金的支持。

原文链接：https://ieeexplore.ieee.org/document/11437540