自然进化策略 (NES)

class pypop7.optimizers.nes.nes.NES(problem, options)[源代码]

自然进化策略 (Natural Evolution Strategies, NES)。

这是所有 NES 类的抽象类。请使用其任何一个实例化的子类来优化您手头的黑盒问题。

注意

NES 是一族原理清晰的、基于种群的随机搜索方法，它从第一性原理出发，经过了相对简洁的推导，通过（估计的）自然梯度来最大化期望适应度。在本库中，为了与其他模块保持一致，我们已将其转换为最小化问题。

关于 NES 的一些有趣应用，请参阅 [Xu et al., 2024, ICLR]、[Liu et al., 2024, TC (哥伦比亚大学, NVIDIA Research, 诺基亚贝尔实验室等)]、[Xuan Zhang et al., 2024, IEEE-LRA]、[Conti et al., 2018, NeurIPS] 等等。

参数:

problem (dict) –
问题参数，包含以下通用设置 (键)
- 'fitness_function' - 需要被最小化的目标函数 (func),
- 'ndim_problem' - 维度数量 (int),
- 'upper_boundary' - 搜索范围的上边界 (array_like),
- 'lower_boundary' - 搜索范围的下边界 (array_like).
options (dict) –
优化器选项，包含以下通用设置 (键)
- 'max_function_evaluations' - 函数评估的最大次数 (int, 默认: np.inf),
- 'max_runtime' - 允许的最大运行时间 (float, 默认: np.inf),
- 'seed_rng' - 随机数生成器的种子，需要明确设置 (int);
以及以下特定设置 (键)
- 'n_individuals' - 后代/子代的数量，也称为后代种群大小 (int)，
- 'n_parents' - 亲代/祖先的数量，也称为亲代种群大小 (int)，
- 'mean' - 初始（起始）点 (array_like)，
  - 如果未提供，它将从一个均匀分布中随机抽取一个样本，该分布的搜索范围由 problem[‘lower_boundary’] 和 problem[‘upper_boundary’] 限定。
- 'sigma' - 初始全局步长，也称为变异强度 (float)。

mean

初始（起始）点，也即高斯搜索/采样/变异分布的均值。如果未提供，默认情况下，它将从一个均匀分布中随机抽取一个样本，该分布的搜索范围由 problem[‘lower_boundary’] 和 problem[‘upper_boundary’] 限定。

类型:: array_like

n_individuals

后代的数量，也即后代种群大小（应 > 0）。

类型:: int

n_parents

父代的数量，也即父代种群大小（应 > 0）。

类型:: int

sigma

最终的全局步长，也即变异强度或高斯搜索分布的总体标准差（应 > 0.0）。

类型:: float

参考文献

Hüttenrauch, M. and Neumann, G., 2024. 用于随机搜索和情景强化学习的稳健黑盒优化。 Journal of Machine Learning Research, 25(153), pp.1-44。

Wierstra, D., Schaul, T., Glasmachers, T., Sun, Y., Peters, J. and Schmidhuber, J., 2014. Natural evolution strategies. Journal of Machine Learning Research, 15(1), pp.949-980.

Schaul, T., 2011. Studies in continuous black-box optimization. Doctoral Dissertation, Technische Universität München.

Yi, S., Wierstra, D., Schaul, T. and Schmidhuber, J., 2009, June. 使用自然梯度的随机搜索。 In Proceedings of International Conference on Machine Learning (pp. 1161-1168)。

Wierstra, D., Schaul, T., Peters, J. and Schmidhuber, J., 2008, June. 自然进化策略。 In IEEE Congress on Evolutionary Computation (pp. 3381-3387). IEEE。

请参考 PyBrain（现已不活跃维护）的官方 Python 源代码：https://github.com/pybrain/pybrain

自然进化策略 (NES)