用于检验两个超高维协方差矩阵相等性的自举检验

《Journal of Multivariate Analysis》：A bootstrap test for testing the equality of two ultra-high dimensional covariance matrices

　　尼兰詹·查克拉博蒂（Nilanjan Chakraborty）、萨亚尔·卡尔马卡尔（Sayar Karmakar）和希拉·L·库尔（Hira L. Koul）
美国华盛顿大学圣路易斯分校统计与数据科学系

**摘要**
本文提出了一种用于检验两样本设置中两个高维协方差矩阵相等的检验方法。该检验基于两个样本协方差矩阵的乘数自助法（multiplier bootstrap）刀切估计量（Jackknifed estimators）各元素之间绝对差的最大值。本文还扩展了单样本非退化U统计量的中心极限定理到两样本非退化U统计量。这一扩展用于在原假设和一些局部备择假设下推导出所提检验统计量的渐近性质（如水平值和功效）。这些结果是在对随机向量的矩和边际分布的尾部施加一些弱条件下获得的。随机向量的相关结构可以是任意的，两个样本的大小不必相等，并且多变量维度可以随样本大小呈指数增长。研究表明，该检验对一类逐渐缩小的非参数备择假设是一致的。广泛的有限样本模拟研究显示，与一些现有检验相比，该检验具有某些优势。最后，我们将我们的检验应用于一个真实数据集，并将其结果与其他检验进行对比。

**引言**
在两样本多变量设置中检验两个协方差矩阵相等的问题是统计推断中的一个经典问题。在低维情况下（即多变量维度p固定且小于样本大小时），这个问题已经得到了很好的研究，例如参见Anderson（2003）及其参考文献。在高维数据背景下（即随着样本大小的增加，组件数量p呈多项式或指数增长时），这个问题直到最近十年左右才得到关注。Schott（2007）和Srivastava与Yanagihara（2010）提出的检验仅适用于多变量正态分布。Li和Chen（2012）提出了一种基于两个总体协方差矩阵差异的Frobenius范数无偏估计量的U统计量检验。Aoshima和Yata（2011）提出了一种基于两个高维协方差矩阵迹差异的检验。Ishii等人（2019）在强尖峰特征值模型下提出了一种基于样本协方差矩阵对偶特征值的检验。Cai等人（2013）提出了一种基于两个总体协方差矩阵估计量各元素标准化差异最大值的检验。Cai等人（2013）的进一步研究表明，当两个总体协方差矩阵的差异较稀疏（即差异矩阵中非零元素的数量较少）时，Li和Chen（2012）的检验无法区分原假设和备择假设。另一方面，Cai等人（2013）的检验仅在差异矩阵稀疏时表现良好。尽管Cai等人（2013）表明他们的检验在渐近功效方面具有一些最优性，但Fan等人（2015）指出，在实际应用中需要较大的样本量才能有效使用Cai等人（2013）的渐近零分布。他们还提出了一些增强功效的技术，以实现Cai等人（2013）检验统计量的期望功效。Chang等人（2017）研究了Cai等人（2013）检验的自助法版本的有限样本性能。该技术涉及在将协方差矩阵向量化后使用乘数自助法近似结果。当两个总体的均值未知且不相等时，他们的自助法方法不适用，因为此时样本协方差矩阵不能再表示为独立向量的和。此外，他们在一些限制性条件下（如稀疏性和其他相关结构）证明了他们检验的一致性。

**U统计量在协方差矩阵检验中的必要性**
高维中心极限定理不适用的一个原因是样本协方差矩阵不能再表示为独立高维向量的向量化之和。在本文中，我们提出了一种用于在两个总体均值未知的情况下检验两个总体协方差矩阵相等的检验方法，这些方法基于对潜在分布的矩和尾部的一些温和假设。所提出的检验基于两个总体协方差矩阵的刀切估计量各元素之间绝对差的最大值。实际上，我们使用了这种检验统计量的乘数自助法版本。此外，由于不需要分布和相关性假设，因此与上述检验相比，该方法具有更广泛的应用性。研究表明，该检验对一大类逐渐缩小的备择假设是一致的，并且被认为是针对这类备择假设的恒定速率最优的。这些结果利用了Chernozhukov等人（2013、2015、2017）和Chen（2018）的开创性工作获得。

**文章结构**
第3节描述了检验问题、所提出的检验统计量以及在高维设置中的一类两样本U统计量的大样本高斯近似及其所需假设。这种近似用于第4节推导所提检验统计量的极限零分布，并用于第5节证明该检验对一系列一般非参数备择假设的一致性。第6节报告的广泛有限样本研究表明，与一些现有检验相比，所提检验在经验水平值和功效方面具有某些优势。第7节展示了将所提方法应用于实际案例的结果。第9节包含一些辅助引理。使用第9节中的辅助引理证明主要定理的内容出现在另一部分。

**符号说明**
在本文中，我们将使用以下符号和约定：符号??表示“定义”。对于正整数p，Rp表示p维欧几里得空间。对于x∈Rp，xT表示其转置，‖x‖表示其欧几里得范数，‖x‖∞表示其最大范数。对于任意两个向量x=(x1,…,xp)T∈Rp和y=(y1,…,yp)T∈Rp，如果对所有j∈{1,…,p}都有xj≤yj，则写x≤y。对于任意x=(x1,…,xp)T∈Rp和a∈R，有?x+a?(x1+a,…,xp+a)T。对于任意a,b∈R，有?a∨b?max{a,b}和?a∧b?min{a,b}。

**U统计量的高斯近似结果**
本节包含检验问题的描述、所提出的检验方法以及一大类两样本U统计量的高斯近似结果及其所需假设。设F1和F2是Rp上的两个可能不同的分布函数（d.f.），它们都具有有限的二阶矩。设μj和Σj,j∈{1,2}分别表示它们的均值向量和协方差矩阵。设Xm表示来自F1的随机样本X1,…,Xm，Yn表示来自F2的随机样本Y1,…,Yn。我们希望检验H0：Σ1=

**检验程序**
在本节中，我们将描述检验统计量‖Tm,n‖∞的乘数自助法分布（见（2））。这得益于定理1和定理2。当‖Tm,n‖∞较大时，所提出的检验拒绝H0。为了在大样本中实施该检验，我们建议使用乘数自助法版本的Tm,n，即Tm,nJK=WmeX?mnWneY，其中?WmeX?m(1m∑i=1m[1m?1∑j≠i=1m(vec((Xi?Xj)(Xi?Xj)T)2?UmX)]ei)，?WneY?n(1n∑i=1n[1n?1∑j≠i=1n(vec((Yi?Yj)(Yi?Yj)T)2?UnY)]ei+m)。

**一致性**
在本节中，我们证明了所提出的基于刀切乘数自助法的检验对一系列逐渐缩小的非参数备择假设是一致的。检验的功效函数为PHaltφα=1=P(‖m(VmX?VnY)2‖∞≥cB(α)|Halt)。这个功效函数是一个抽象量，因为实际中VmX和VnY的相应协方差矩阵ΓX和ΓY是未知的。为了解决这个问题，我们定义了基于刀切乘数自助法的功效函数?PHalt?(φα=1)?Pe?(‖Wme?X?mnWne?Y+m(vec(Σ1

**模拟研究**
本节包含了一项有限样本研究的发现，该研究比较了所提检验与现有五种检验在检验两个高维协方差矩阵相等性方面的经验水平值和功效。我们选择了以下五种竞争检验方法（以下简称CKK检验、CLX、Sc、...）来与所提检验的性能进行对比：Chang等人（2017）、Cai等人（2013）、Schott（2007）、Li和Chen（2012）以及Ishii等人（2019）的检验。

**数据研究**
我们分析了从UCI机器学习仓库（https://archive.ics.uci.edu/dataset/121/eeg+database）获得的以下数据集。我们的数据集包含93个个体，分为两组：酒精组（60人）和对照组（33人）。实验使用了1980年Snodgrass和Vanderwart图片集，为每个受试者提供了一张物体图像。

**讨论**
本文提出了一种用于在超高维情况下检验两个总体协方差矩阵相等的检验方法，其中维度通常远大于样本大小。所提出的检验基于两个总体协方差矩阵的刀切乘数自助法估计量各元素之间绝对差的最大值。本文包含了在原假设下检验统计量渐近正态性的证明。

**一些有用的辅助引理**
在陈述下一个引理之前，我们需要一些定义。对于任意函数f,q从Rp×Rp到Rp×Rp，定义VmX=1m(m?1)∑1≤i≠j≤mf(Xi,Xj)，VnY=1n(n?1)∑1≤i≠j≤nq(Yi,Yj)，MX=max1≤i≠j≤mmax1≤a≤d|fa(Xi,Xj)|，MY=max1≤i≠j≤nmax1≤a≤d|qa(Yi,Yj)|，DrX=max1≤a≤d(E|fa(X1,X2)|r)1r，DrY=max1≤a≤d(E|qa(Y1,Y2)|r)1r，r>0。以下引理将为（4）中的Rm,n提供一个界限。引理（12）是Chen（2018）的定理5.1，而（13）是通过将（12）应用于两个样本得到的。

**致谢**
我们衷心感谢编辑和匿名审稿人的仔细阅读和建设性反馈，这显著改善了论文的表述。我们还要感谢Sayan Das、Ayoushman Bhattacharya和Bikram Karmakar在计算资源方面的帮助。第二作者的研究部分得到了NSF DMS项目（授予编号2124222）的支持。