退火随机爬山算法 (ARHC)

class pypop7.optimizers.rs.arhc.ARHC(problem, options)

退火随机爬山算法 (ARHC)。

注意

ARHC 的搜索性能在很大程度上取决于退火过程的*温度*设置。然而，正确设置温度是一项不简单的任务，因为它可能因问题而异，甚至在同一问题的不同优化阶段也会有所不同。因此，对于大规模黑箱优化问题，强烈建议首先尝试更高级的方法（例如基于种群的方法）。

我们在此包含它主要是为了*基准测试*目的。

参数:

• problem (dict) –

  问题参数，包含以下通用设置 (键)

  • 'fitness_function' - 需要被最小化的目标函数 (func),

  • 'ndim_problem' - 维度数量 (int),

  • 'upper_boundary' - 搜索范围的上边界 (array_like),

  • 'lower_boundary' - 搜索范围的下边界 (array_like).

• options (dict) –

  优化器选项，包含以下通用设置 (键)

  • 'max_function_evaluations' - 函数评估的最大次数 (int, 默认: np.inf),

  • 'max_runtime' - 允许的最大运行时间 (float, 默认: np.inf),

  • 'seed_rng' - 随机数生成器的种子，需要明确设置 (int);

  以及以下特定设置 (键)

  • ‘sigma’ - 初始全局步长 (float),

  • ’temperature’ - 退火温度 (float)，

  • “x”- 初始（起始）点 (array_like)，

    • 如果未给出，当 init_distribution 为 1 时，它将从搜索范围由 problem['lower_boundary'] 和 problem['upper_boundary'] 界定的均匀分布中抽取一个随机样本。否则，将使用*标准正态*分布的随机抽样。

  • 'init_distribution' - 用于起始点初始化的随机抽样分布（int，默认值：1）。仅当未*明确*设置 x 时才会使用。

    • 1: 仅用于起始点初始化的*均匀*分布随机抽样，

    • 0: 仅用于起始点初始化的*标准正态*分布随机抽样。

示例

使用优化器最小化著名的测试函数 Rosenbrock

>>> import numpy
>>> from pypop7.benchmarks.base_functions import rosenbrock  # function to be minimized
>>> from pypop7.optimizers.rs.arhc import ARHC
>>> problem = {'fitness_function': rosenbrock,  # define problem arguments
...            'ndim_problem': 2,
...            'lower_boundary': -5*numpy.ones((2,)),
...            'upper_boundary': 5*numpy.ones((2,))}
>>> options = {'max_function_evaluations': 5000,  # set optimizer options
...            'seed_rng': 2022,
...            'x': 3*numpy.ones((2,)),
...            'sigma': 0.1,
...            'temperature': 1.5}
>>> arhc = ARHC(problem, options)  # initialize the optimizer class
>>> results = arhc.optimize()  # run the optimization process
>>> # return the number of used function evaluations and found best-so-far fitness
>>> print(f"ARHC: {results['n_function_evaluations']}, {results['best_so_far_y']}")
ARHC: 5000, 0.0002641143073543329

关于其编码的正确性检查，请参阅此份基于代码的可复现性报告以获取更多详情。

init_distribution

用于起始点初始化的随机抽样分布。

类型:

int

sigma

全局步长（在优化过程中固定不变）。

类型:

float

temperature

退火温度。

类型:

float

x

初始（起始）点。

类型:

array_like

参考文献

https://probml.github.io/pml-book/book2.html (参见第 6.7 章：无导数优化)

Russell, S. and Norvig P., 2021. Artificial intelligence: A modern approach (Global Edition). Pearson Education. http://aima.cs.berkeley.edu/ (参见第 4 章：复杂环境中的搜索)

Hoos, H.H. and Stützle, T., 2004. Stochastic local search: Foundations and applications. Elsevier. https://www.elsevier.com/books/stochastic-local-search/hoos/978-1-55860-872-6

https://github.com/pybrain/pybrain/blob/master/pybrain/optimization/hillclimber.py