随机爬山算法 (RHC)

class pypop7.optimizers.rs.rhc.RHC(problem, options)[源代码]

随机（stochastic）爬山算法 (RHC)。

注意

目前，RHC 在优化过程中仅支持正态分布随机采样。对于大规模黑盒优化（LSBBO），它通常会因收敛缓慢而表现不佳，这是由于其基于个体的采样策略导致其探索能力相对有限。因此，我们强烈建议首先尝试更先进的（例如，基于种群的）方法来解决 LSBBO 问题。

“爬山搜索算法是最基础的局部搜索技术。它们有两个关键优势：(1) 它们使用的内存非常少；(2) 它们通常能在系统化算法不适用的大型或无限状态空间中找到合理的解。”—[Russell&Norvig, 2021]

又称 “随机局部搜索（最速上升或贪婪搜索）”—[Murphy., 2022]。

参数:

  • problem (dict) –

    问题参数，包含以下通用设置 (键)

    • 'fitness_function' - 需要被最小化的目标函数 (func),

    • 'ndim_problem' - 维度数量 (int),

    • 'upper_boundary' - 搜索范围的上边界 (array_like),

    • 'lower_boundary' - 搜索范围的下边界 (array_like).

  • options (dict) –

    优化器选项，包含以下通用设置 (键)

    • 'max_function_evaluations' - 函数评估的最大次数 (int, 默认: np.inf),

    • 'max_runtime' - 允许的最大运行时间 (float, 默认: np.inf),

    • 'seed_rng' - 随机数生成器的种子，需要明确设置 (int);

    以及以下特定设置 (键)

    • ‘sigma’ - 初始全局步长 (float),

    • “x”- 初始（起始）点 (array_like)，

      • 如果未给出，当 init_distribution 为 1 时，它将从一个均匀分布中随机抽取一个样本，该分布的搜索范围由 problem['lower_boundary'] 和 problem['upper_boundary'] 限定。否则，将使用标准正态分布随机采样。

    • 'init_distribution' - 用于起始点初始化的随机采样分布（int，默认值：1）。仅当 x 未被显式设置时才会使用。

      • 1：仅用于起始点初始化的均匀分布随机采样，

      • 0：仅用于起始点初始化的标准正态分布随机采样。

示例

使用优化器最小化著名的测试函数 Rosenbrock

 1>>> import numpy
 2>>> from pypop7.benchmarks.base_functions import rosenbrock  # function to be minimized
 3>>> from pypop7.optimizers.rs.rhc import RHC
 4>>> problem = {'fitness_function': rosenbrock,  # define problem arguments
 5...            'ndim_problem': 2,
 6...            'lower_boundary': -5*numpy.ones((2,)),
 7...            'upper_boundary': 5*numpy.ones((2,))}
 8>>> options = {'max_function_evaluations': 5000,  # set optimizer options
 9...            'seed_rng': 2022,
10...            'x': 3*numpy.ones((2,)),
11...            'sigma': 0.1}
12>>> rhc = RHC(problem, options)  # initialize the optimizer class
13>>> results = rhc.optimize()  # run the optimization process
14>>> # return the number of used function evaluations and found best-so-far fitness
15>>> print(f"RHC: {results['n_function_evaluations']}, {results['best_so_far_y']}")
16RHC: 5000, 7.13722829962456e-05

关于其编码的正确性检验，请参阅这份基于代码的可复现性报告以获取更多详情。

init_distribution

用于起始点初始化的随机采样分布。

类型:

int

sigma

全局步长（在优化过程中固定不变）。

类型:

float

x

初始（起始）点。

类型:

array_like

参考文献

PyBrain 中的以下代码直接启发了 RHC 的编码：https://github.com/pybrain/pybrain/blob/master/pybrain/optimization/hillclimber.py

对于以下书籍，第 6.7 章（DFO）介绍了 RHC：https://probml.github.io/pml-book/book2.html

对于以下书籍，第 4 章（复杂环境中的搜索）介绍了 RHC：Russell, S. and Norvig P., 2021. 人工智能：一种现代方法（全球版）。 Pearson Education。

Hoos, H.H. and Stützle, T., 2004. 随机局部搜索：基础与应用。 Elsevier。

Baluja, S., 1996. 遗传算法与显式搜索统计。 见《神经信息处理系统进展》（第 319-325 页）。

Juels, A. and Wattenberg, M., 1995. 作为评估遗传算法基线方法的随机爬山算法。 见《神经信息处理系统进展》（第 430-436 页）。