经验贝叶斯估计量的超额均方误差

《IEEE Transactions on Automatic Control》：Excess Mean Squared Error of Empirical Bayes Estimators

　　摘要：经验贝叶斯（Empirical Bayes, EB）估计量在统计学、机器学习和系统识别中得到了广泛应用。衡量这类估计量性能的一个标准指标是均方误差（Mean Square Error, MSE）。遗憾的是，对于有限的样本量N，MSE的显式表达式通常无法得到；此外，对于这类估计量中的大多数情况，一阶渐近项（1/N）与最大似然估计量θθ^ML的MSE的一阶项是一致的。这意味着传统的渐近分析无法揭示超参数估计所带来的性能损失。为了区分不同估计量的性能，我们引入了EB估计量θθ^EB的超额MSE，定义为N趋于无穷大时[θθ^EB的MSE - θθ^ML的MSE]的极限。我们推导出了使用一般数据依赖超参数估计量的EB估计量的超额MSE的显式表达式，从而可以研究偏差和方差的权衡，以及超参数估计对MSE的影响。作为具体实例，我们考虑了基于核的正则化估计量（如缩放EB）、斯坦因无偏风险估计（Stein's Unbiased Risk Estimation）以及广义交叉验证超参数估计量。此外，我们还提出了对正则化估计量的超额MSE表达式的改进方法，并通过模拟验证了这种改进在中等样本量下可以提高估计精度。