详解 Tree-structured Parzen Estimator（TPE）

Brief Introduction

TPE（Tree-structured Parzen Estimator），是一种基于树结构的贝叶斯优化算法，用于解决黑盒函数的全局最优化问题。

在每次试验中，对于每个超参，TPE 为与最佳目标值相关的超参维护一个高斯混合模型 l(x)，为剩余的超参维护另一个高斯混合模型 g(x)，选择 l(x)/g(x)最大化时对应的超参作为下一组搜索值。通过这种方式，TPE 算法能够自适应地调整参数搜索空间的大小，并且能够在尽可能少的迭代次数内找到全局最优解。

主要适用的情景：

• x 的维度不是太大，一般会限制在 dx(i)} 来建立的，该观测空间对应的损失 f ( x ( i ) ) f(x ^{(i)}) f(x(i)) 小于 y ∗ y^* y∗，使用剩下的观测来建立 g ( x ) g(x) g(x)。