在预算有限的情况下，利用梯度引导的参数空间采样进行知识发现

《IEEE Women in Engineering Magazine》：Gradient Guided Parameter Space Sampling for Knowledge Discovery with Limited Budgets

　　

摘要：

许多工业和科学任务需要通过一系列实验来恢复一个未知函数，每个实验对应一个不同的场景。这项任务通常可以抽象为在组合参数空间上评估一个代价高昂的、确定性的黑盒函数，而这个参数空间的规模远远超过了可用的评估预算——随着参数空间维数的增加，采样能力呈指数级下降。在本文中，我们指出现有的采样策略可能会在参数空间的非感兴趣区域浪费观测数据，或者过度关注接近某个“最优”点的区域。相比之下，我们提出了一种基于梯度的采样策略，旨在在函数值发生显著变化的区域获取样本。我们提出了一种梯度引导采样器（G2S），它将采样挑战转化为一系列易于处理的子空间搜索。该方法首先进行空间填充设计，然后迭代地（i）将整个空间分解为低维切片，（ii）在三种策略（局部估计的梯度幅度、重建误差或该误差的估计梯度）之间进行选择，（iii）通过自定义的核密度估计采样器抽取新的候选样本。一个多臂老虎机控制器在三种策略之间分配预算，不断权衡探索和利用，无需手动调整。在多个基准测试上的实验结果表明，与拉丁超立方采样和最先进的贝叶斯优化技术相比，所提出的采样器能够降低梯度加权预测误差。