【贝叶斯优化计算公式】贝叶斯优化是一种用于全局优化的高效方法，尤其适用于目标函数计算代价高、不可导或黑盒的问题。其核心思想是通过构建概率模型（如高斯过程）来近似目标函数，并利用采集函数指导下一步的搜索方向。本文将总结贝叶斯优化的关键计算公式，并以表格形式展示主要步骤和对应公式。
一、贝叶斯优化的基本流程
贝叶斯优化的核心步骤包括：
1. 初始化数据集：收集初始样本点及其对应的函数值。
2. 构建概率模型：通常使用高斯过程（Gaussian Process, GP）建模目标函数。
3. 选择采集函数：根据当前模型预测，选择下一个采样点。
4. 更新模型：将新采样点加入数据集中，重新训练模型。
5. 迭代优化：重复上述步骤，直到达到预设的迭代次数或收敛条件。
二、关键公式总结
| 步骤 | 公式 | 说明 | |
| 高斯过程后验分布 | $ p(f_ \mid X, y, x_) = \mathcal{N}(f_ \mid \mu_, \sigma_^2) $ | 其中，$ \mu_ = k(x_, X)(k(X, X) + \sigma_n^2 I)^{-1} y $，$ \sigma_^2 = k(x_, x_) - k(x_, X)(k(X, X) + \sigma_n^2 I)^{-1}k(X, x_) $ | 用于预测新点的均值和方差 |
| 采集函数（EI） | $ \text{EI}(x) = \mathbb{E}_{f \sim p(f \mid X, y)}[\max(0, f(x) - f(x^+))] $ | 其中，$ f(x^+) $ 是当前已知最优值 | 衡量新点可能带来的改进 |
| EI 的闭式表达 | $ \text{EI}(x) = (\mu(x) - f(x^+) )\Phi\left(\frac{\mu(x) - f(x^+)}{\sigma(x)}\right) + \sigma(x)\phi\left(\frac{\mu(x) - f(x^+)}{\sigma(x)}\right) $ | $ \Phi $ 和 $ \phi $ 分别为标准正态分布的累积分布函数和概率密度函数 | 用于实际计算 |
| 最优选择 | $ x_{t+1} = \arg\max_{x \in \mathcal{X}} \text{EI}(x) $ | 在所有候选点中选择EI最大的点进行评估 | 指导下一步搜索方向 |
三、总结
贝叶斯优化通过概率建模和动态采集策略，在复杂优化问题中表现出良好的性能。其关键在于高斯过程对目标函数的建模以及采集函数对搜索方向的引导。理解这些公式有助于深入掌握贝叶斯优化的原理与实现方式，为实际应用提供理论支持。
通过表格形式的整理，可以更清晰地看到每个步骤所涉及的数学表达，便于理解和实现。在实际应用中，还需结合具体问题选择合适的核函数、超参数调优策略以及采集函数形式。
