纯随机搜索 (PRS)

class pypop7.optimizers.rs.prs.PRS(problem, options)[source]

纯随机搜索 (Pure Random Search, PRS)。

注意

PRS 是*最简单*和*最早*的黑盒优化器之一，其历史至少可以追溯到20世纪50年代。尽管最近它已成功应用于一些*维度相对较低*的问题（特别是超参数优化），但由于缺乏*自适应性*（大多数复杂搜索算法非常需要的一个特性），它在处理大规模黑盒优化问题时，通常会遭遇著名的**维度灾难**。因此，对于大规模黑盒优化问题，我们**强烈建议**首先尝试更高级的方法（例如基于种群的方法）。

正如广受认可的书籍《概率机器学习》（作者 Kevin Patrick Murphy）中所指出的：“在对目标函数一无所知的问题中，一个惊人有效的策略是使用随机搜索。这应始终作为基准方法进行尝试。”

参数:

  • problem (dict) –

    问题参数，包含以下通用设置 (键)

    • 'fitness_function' - 需要被最小化的目标函数 (func),

    • 'ndim_problem' - 维度数量 (int),

    • 'upper_boundary' - 搜索范围的上边界 (array_like),

    • 'lower_boundary' - 搜索范围的下边界 (array_like).

  • options (dict) –

    优化器选项，包含以下通用设置 (键)

    • 'max_function_evaluations' - 函数评估的最大次数 (int, 默认: np.inf),

    • 'max_runtime' - 允许的最大运行时间 (float, 默认: np.inf),

    • ‘seed_rng’ - 随机数生成所需的种子，需要*明确*设置（int）。

示例

使用 PRS 优化器来最小化著名的测试函数 Rosenbrock。

 1>>> import numpy
 2>>> from pypop7.benchmarks.base_functions import rosenbrock  # function to be minimized
 3>>> from pypop7.optimizers.rs.prs import PRS
 4>>> problem = {'fitness_function': rosenbrock,  # define problem arguments
 5...            'ndim_problem': 2,
 6...            'lower_boundary': -5.0*numpy.ones((2,)),
 7...            'upper_boundary': 5.0*numpy.ones((2,))}
 8>>> options = {'max_function_evaluations': 5000,  # set optimizer options
 9...            'seed_rng': 2022}
10>>> prs = PRS(problem, options)  # initialize the optimizer class
11>>> results = prs.optimize()  # run the optimization process
12>>> # return the number of used function evaluations and found best-so-far fitness
13>>> print(f"PRS: {results['n_function_evaluations']}, {results['best_so_far_y']}")
14PRS: 5000, 0.11497678820610932

关于其编码的正确性检查，请参阅此份基于代码的可复现性报告以获取更多详情。

参考文献

Bergstra, J. 和 Bengio, Y., 2012. 用于超参数优化的随机搜索。 Journal of Machine Learning Research, 13(10), pp.281-305.

Schmidhuber, J., Hochreiter, S. 和 Bengio, Y., 2001. 通过随机猜测评估基准问题。 A Field Guide to Dynamical Recurrent Networks, pp.231-235.

Karnopp, D.C., 1963. 用于优化问题的随机搜索技术。 Automatica, 1(2-3), pp.111-121.

Brooks, S.H., 1959. 最大值搜索方法的比较。 Operations Research, 7(4), pp.430-457.

Brooks, S.H., 1958. 关于寻找最大值的随机方法的讨论。 Operations Research, 6(2), pp.244-251.

Ashby, W.R., 1952. 大脑设计：自适应行为的起源。 Springer.