Hooke-Jeeves (HJ)

class pypop7.optimizers.ds.hj.HJ(problem, options)

Hooke-Jeeves 直接（模式）搜索方法 (HJ)。

注意

HJ 是最流行和被引用最多的 DS 方法之一，最初于 1961 年发表在顶级计算机科学期刊（即 JACM）上。虽然它有时仍用于优化低维度黑盒问题，但对于大规模黑盒优化，强烈建议尝试其他更先进的方法。

参数:

• problem (dict) –

  问题参数，包含以下通用设置 (键)

  • 'fitness_function' - 需要被最小化的目标函数 (func),

  • 'ndim_problem' - 维度数量 (int),

  • 'upper_boundary' - 搜索范围的上边界 (array_like),

  • 'lower_boundary' - 搜索范围的下边界 (array_like).

• options (dict) –

  优化器选项，包含以下通用设置 (键)

  • 'max_function_evaluations' - 函数评估的最大次数 (int, 默认: np.inf),

  • 'max_runtime' - 允许的最大运行时间 (float, 默认: np.inf),

  • 'seed_rng' - 随机数生成器的种子，需要明确设置 (int);

  以及以下特定设置 (键)

  • 'sigma' - 初始全局步长（浮点数，默认值：1.0），

  • “x”- 初始（起始）点 (array_like)，

    • 如果未给出，它将从一个均匀分布中随机抽样，该分布的搜索范围由 problem[‘lower_boundary’] 和 problem[‘upper_boundary’] 界定。

  • 'gamma' - 全局步长的递减因子（浮点数，默认值：0.5）。

示例

使用优化器最小化著名的测试函数 Rosenbrock

>>> import numpy
>>> from pypop7.benchmarks.base_functions import rosenbrock  # function to be minimized
>>> from pypop7.optimizers.ds.hj import HJ
>>> problem = {'fitness_function': rosenbrock,  # define problem arguments
...            'ndim_problem': 2,
...            'lower_boundary': -5*numpy.ones((2,)),
...            'upper_boundary': 5*numpy.ones((2,))}
>>> options = {'max_function_evaluations': 5000,  # set optimizer options
...            'seed_rng': 2022,
...            'x': 3*numpy.ones((2,)),
...            'sigma': 0.1,  # the global step-size may need to be tuned for better performance
...            'verbose_frequency': 500}
>>> hj = HJ(problem, options)  # initialize the optimizer class
>>> results = hj.optimize()  # run the optimization process
>>> # return the number of function evaluations and best-so-far fitness
>>> print(f"HJ: {results['n_function_evaluations']}, {results['best_so_far_y']}")
HJ: 5000, 0.22119484961034389

关于其编码的正确性检查，请参阅这份基于代码的可复现性报告以获取更多详情。

gamma

全局步长的递减因子。

类型:

float

sigma

最终的全局步长（在优化过程中会改变）。

类型:

float

x

初始（起始）点。

类型:

array_like

参考文献

Kochenderfer, M.J. and Wheeler, T.A., 2019. Algorithms for optimization. MIT Press. https://algorithmsbook.com/optimization/files/chapter-7.pdf (详情参见算法 7.5 (第 104 页)。)

http://garfield.library.upenn.edu/classics1980/A1980JK10100001.pdf

Kaupe Jr, A.F., 1963. Algorithm 178: Direct search. Communications of the ACM, 6(6), pp.313-314. https://dl.acm.org/doi/pdf/10.1145/366604.366632

Hooke, R. and Jeeves, T.A., 1961. “Direct search” solution of numerical and statistical problems. Journal of the ACM, 8(2), pp.212-229. https://dl.acm.org/doi/10.1145/321062.321069