近日成人网址大全导航，北京大学信息学院解释、大数据分析与应用技艺国度工程实验室数据管理与分析中心主任崔斌团队征战的通用黑盒优化系统OpenBox开源发布！

比较于SMAC3，Hyperopt等现存开源系统，OpenBox扶持更通用的黑盒优化场景，包括多接洽优化，带照顾优化场景等。在25个LightGBM调参任务上，OpenBox在7个对比系统中取得了平均1.25名(average rank)的优异收成。

策划论文仍是被KDD 2021请托，"OpenBox: A Generalized Black-box Optimization Service"。当今OpenBox已在快手、阿里巴巴集团等企业落地部署与使用。

名堂Github开源地址：https://github.com/PKU-DAIR/open-box

01 探讨布景

连年来，东谈主工智能与机器学习备受关怀，越来越多企业使用机器学习模子管理践诺问题，如东谈主脸识别、商品保举等。在应用机器学习模子的经由中，模子超参数的聘任对模子性能有着至关枢纽的影响，因此超参数优化问题成为了机器学习的枢纽挑战之一。超参数优化行为典型的黑盒优化问题，关于优化接洽不存在具体抒发式或梯度信息，且考证代价较大。其接洽是在有限的考证次数内，尽快找到全局最优点。除超参数优化外，黑盒优化还领有着平庸的使用场景，如自动化A/B测试、数据库参数调优、处理器架构和芯片打算等。

现存开源的黑盒优化系统赓续存在以下问题：

1）使用场景有限。由于系统基于某个特定算法，一些系统只可扶持单接洽或是无照顾的优化问题；

2）性能不踏实。基于优化问题中 “no free lunch”定理，现存系统中特定的算法无法在悉数任务中发扬出色；

3）有限的可膨大性。现存系统无法有用应用历史任务的截止以及漫衍式的考证资源。

针对这些问题，北京大学DAIR实验室AutoML名堂组征战了一个名为 “OpenBox” 的轻量级黑盒优化系统，针对通用的黑盒优化场景，内置丰富的优化算法，并提供高效的并行扶持，匡助用户“open the box”，管理辣手的黑盒优化问题。

02 OpenBox打算想路

为了管理现存系统上述的问题，OpenBox在打算上扶持以下系统脾气，包括：

多接洽优化：同期优化多个不同（致使互相打破）的接洽，举例同期优化机器模子准确率和模子查考/揣度时候等。

带照顾要求优化：最优化接洽的同期，要自负（黑盒）要求，举例保证模子蔓延不可高于某个阈值等。

多类型参数输入（FIOC）：系统需要对多种待优化参数类型提供扶持，主要为FIOC，即浮点型、整型、序数型、类别型四类参数。举例超参数优化中，SVM模子核函数用类别型暗意，如若单纯用整型代替序数型或类别型参数，将对参数附加极度的序干系，不利于模子优化。

搬动学习：优化任务之间可能存在一定策划性，举例以前可能在不同数据集上进行过调换模子的调参。基于这种不雅察，系统需要概况应用以前优化的学问加快现时优化任务的履行遵循。

漫衍式并行考证：内置算法扶持并走运行，何况系统概况有用应用给定的漫衍式资源。

作家将现存系统对上述脾气的扶持情况回来如下(其中△暗意不扶持通用场景)。从表格中不出丑出，现存开源黑盒优化系统无法扶持特定的 使用场景，而OpenBox概况提供齐全的扶持。

上图展示了OpenBox的并行架构，包含五个主要组件。行状主机(Service Master)崇敬节点管理、负载平衡和古怪收复。任务数据库(Task Database)保存悉数任务的现象。冷漠行状器(Suggestion Server)为每个任务生成新 建立。REST API在用户/使命者和冷漠行状器之间建筑了桥梁。考证使命 者(Evaluation Worker)由用户提供和领有。

OpenBox内置无数优化组件，其中优化算法包括贝叶斯优化，遗传算法等，如下图所示：

为简化用户的使用门槛以及提高系统在各问题上的性能，OpenBox默许继承一种自动聘任优化算法的战略，阐述输入参数类型，接洽个数，照顾个数聘任适宜的优化算法。用户也可基于自己需求，在系统保举的基础上自行聘任优化战略。

03 OpenBox性能考证

1、照顾截止对比

为体现OpenBox在通用黑盒优化问题上的性能，系统针对单/多接洽，无/有照顾，共4种场景对比OpenBox与现存算法与系统在优化数学函数上的截止，实验截止如下四图所示。不错看出在不同的优化场景中，OpenBox相较现存系统齐有较为显贵的照顾截止普及。

2、端到端截止对比

针对践诺场景，Openbox以表格分类的机器学习任务为例，与现存开源系统BoTorch，GPGlowOpt，Spearmint，HyperMapper，SMAC3，Hyperopt进行对比。为保证平允性，Openbox使用串行形势履行任务，并申诉调参截止在测试集上的准确率。以下展示使用LightGBM与LibSVM两个模子在25个OpenML公开数据集上的调参截止平均名次。值得督察的是，由于LibSVM的搜索空间复杂且包含要求聘任，OpenBox仅与扶持复杂空间界说的SMAC3以及Hyperopt进行对比。

不错不雅察到OpenBox在两个模子调参中均赢得了优异的性能。具体来说，OpenBox在Lightgbm调参中名次中位数为1.25，在LibSBM调参中为1.50，体现了OpenBox比较其它开源系统在超参数优化任务中的上风。

黑丝91

图片(a) AutoML任务LightGBM优化截止

图片(b) AutoML任务LibSVM优化截止

3、并行性能对比

OpenBox扶持高效的并行优化算法，使得在达到调换的优化截止的前提下，所需要的时候代价大幅裁减。下图展示了使用OpenBox中并行优化算法在LightGBM调参任务上的普及，使用的数据集为公开数据集optdigits。其中“Sync”暗意同步并行，“Async” 暗意异步并行，“-n” 暗意并发度。

不错不雅察到，比较串行优化（Seq-1），并行概况带来很猛进程上普及搜索遵循。其中最显贵的普及来自于并发度为8的异步优化算法，在达到与串行法子调换的优化截止时仅使用1/80的时候预算，也即竣事7.5×的加快比。（想象加快比为8×）

04 OpenBox使用示例

当今OpenBox扶持主流平台（Linux、macOS、Window）使用。用户只需在代码中界说空间，给出接洽函数，构造优化器即可运行。以下以一个浅易的多接洽带照顾问题为例：

领先，咱们需要import必要的组件：

接下来，咱们界说一个包含两个结合变量的搜索空间：

随后，咱们给出一个浅易的以上述两个变量为输入的接洽函数。这个接洽函数包含两个接洽以及两个照顾：

终末咱们界说一个优化器，传入指定的参数后，只需调用run()即可初始优化。

除了上述包调用的法子，OpenBox还扶持用户通过接口探问行状，从行状端获取保举的参数建立，在土产货履行参数性能考证，并通过探问网站页面，可视化监视与管理优化经由。

转载本网著述请注明出处成人网址大全导航