交叉熵方法 (CEM)

class pypop7.optimizers.cem.cem.CEM(problem, options)[源代码]

交叉熵方法 (Cross-Entropy Method, CEM)。

这是所有 CEM 类的抽象类。请使用其任何一个实例化的子类来优化手头的黑盒问题。

注意

CEM 是一类基于群体的、有原则的优化器，最初由 Rubinstein 提出，

其核心思想基于 Kullback–Leibler（或交叉熵）最小化。

“CEM 不仅基于基本原则（交叉熵距离、最大似然等），而且编程非常容易（其参数比许多其他全局优化启发式算法要少得多），并且总能给出准确的结果，因此在面对困难的优化问题时值得考虑。”——[Kroese et al., 2006, MCAP]

参数:

  • problem (dict) –

    问题参数，包含以下通用设置 (键)

    • 'fitness_function' - 需要被最小化的目标函数 (func),

    • 'ndim_problem' - 维度数量 (int),

    • 'upper_boundary' - 搜索范围的上边界 (array_like),

    • 'lower_boundary' - 搜索范围的下边界 (array_like).

  • options (dict) –

    优化器选项，包含以下通用设置 (键)

    • 'max_function_evaluations' - 函数评估的最大次数 (int, 默认: np.inf),

    • 'max_runtime' - 允许的最大运行时间 (float, 默认: np.inf),

    • 'seed_rng' - 随机数生成器的种子，需要明确设置 (int);

    以及以下特定设置 (键)

    • ‘sigma’ - 初始全局步长，也称为变异强度 (float)，

    • ‘mean’ - 初始（起始）点，也称为高斯搜索分布的均值 (array_like)，

      • 如果未给出，它将从一个均匀分布中随机抽样，该分布的搜索范围由 problem[‘lower_boundary’] 和 problem[‘upper_boundary’] 界定。

    • ‘n_individuals’ - 个体/样本数量 (int, 默认: 1000)，

    • ‘n_parents’ - 精英个体数量 (int, 默认: 200)。

mean

初始（起始）点，也称为高斯搜索（变异/采样）分布的均值。

类型:

array_like

n_individuals

个体/样本的数量。

类型:

int

n_parents

精英个体的数量。

类型:

int

sigma

初始全局步长，也称为变异强度。

类型:

float

参考文献

Amos, B. and Yarats, D., 2020, November. The differentiable cross-entropy method. In International Conference on Machine Learning (pp. 291-302). PMLR. http://proceedings.mlr.press/v119/amos20a.html

Rubinstein, R.Y. and Kroese, D.P., 2016. Simulation and the Monte Carlo method (Third Edition). John Wiley & Sons. https://onlinelibrary.wiley.com/doi/book/10.1002/9781118631980

Hu, J., Fu, M.C. and Marcus, S.I., 2007. A model reference adaptive search method for global optimization. Operations Research, 55(3), pp.549-568. https://pubsonline.informs.org/doi/abs/10.1287/opre.1060.0367

Kroese, D.P., Porotsky, S. and Rubinstein, R.Y., 2006. The cross-entropy method for continuous multi-extremal optimization. Methodology and Computing in Applied Probability, 8(3), pp.383-407. https://link.springer.com/article/10.1007/s11009-006-9753-0

De Boer, P.T., Kroese, D.P., Mannor, S. and Rubinstein, R.Y., 2005. A tutorial on the cross-entropy method. Annals of Operations Research, 134(1), pp.19-67. https://link.springer.com/article/10.1007/s10479-005-5724-z

Rubinstein, R.Y. and Kroese, D.P., 2004. The cross-entropy method: a unified approach to combinatorial optimization, Monte-Carlo simulation, and machine learning. New York: Springer. https://link.springer.com/book/10.1007/978-1-4757-4321-0

CEM 算法