【Scikit-Learn 中文文档】高斯过程 – 监督上 – 用户指南 | ApacheCN

By admin in 天文台 on 2018年10月3日

中文文档: http://sklearn.apachecn.org/cn/0.19.0/modules/gaussian_process.html

英文文档: http://sklearn.apachecn.org/en/0.19.0/modules/gaussian_process.html

官文档: http://scikit-learn.org/stable/

GitHub: https://github.com/apachecn/scikit-learn-doc-zh(觉得是麻烦给个
Star,我们直接在全力以赴)

贡献者: https://github.com/apachecn/scikit-learn-doc-zh\#贡献者

关于我们: http://www.apachecn.org/organization/209.html

 

 

 

 

1.7. 高斯进程

 

高斯过程
(GP)
 是均等栽常用的监督上方法,旨在缓解*回归问题*和*概率分类问题*。

高斯过程模型的独到之处如下:

  • 预测内插了考察结果(至少对正则按)。

  • 展望结果是概率形式之(高斯形式之)。这样的话,
    众人可以计算得到更置信区间并且用来判断是否要修改(在线拟合,自适应)

    每当部分区域的预测值。

  • 通用性: 可以指定不同的:ref:内核(kernels)<gp_kernels>。
    则该函数提供了常用的水源,但是也可指定由定义内核。

高斯过程模型的短包括:

  • 它不稀疏,例如,模型通常以所有样本/特征信息来拓展展望。
  • 高维空间模型会失灵,高维也不怕是赖特征的数额超过几十只。

1.7.1. 高斯进程回归(GPR)

GaussianProcessRegressor 类实现了回归情况下的高斯过程(GP)模型。
为夫,需要贯彻指定GP的先验。当参数 normalize_y=False 时,先验的备值
通常如为常数或者零散; 当 normalize_y=True 时,先验均值通常也教练数
据的均值。而先验的方差通过传递 内核(kernel) 对象来指定。通过
最大化基于传递 optimizer 的对数边缘似然估计(LML),内核的超参可以以
GaussianProcessRegressor 类执行拟共同过程中吃优化。由于 LML 可能会见是多独
局部最优解,因此优化过程得通过点名 n_restarts_optimizer 参数进行
多次重复。通过安装基本的超参初始值来拓展第一坏优化的运转。后续的运转
过程被超过参值都是从客观范围值备受肆意选取的。如果用保障初始化超参值,
那么得把优化器设置为 None 。

靶变量中之噪声级别通过参数 alpha 来传递并点名,要么全局是常数要么是一个数据点。
请注意,适度的噪音水平呢可以促进处理拟合期间的数字问题,因为其让有效地落实啊吉洪诺夫正则化(Tikhonov
regularization),
即通过将该加加到中心矩阵的对准角线。明确指定噪声水平的代方式是拿
WhiteKernel 组件包含在本中,
这可自数据遭到估计全局噪声水平(见底的以身作则)。

算法实现是基于 [RW2006] 中之算法
2.1 。除了正规 scikit learn 估计器的 API 之外, GaussianProcessRegressor
的图还连:

  • 同意预测,无需先拟合(基于GP先验)
  • 供了一样种额外的不二法门 sample_y(X) , 其评估 在叫一定输入处起 GPR
    (先验或后验)绘制的范本
  • 当众了平栽办法 log_marginal_likelihood(theta) ,
    可以当表使用其他方式选择超参数,例如通过马尔科夫链蒙特卡罗链(Markov
    chain Monte Carlo)。

1.7.2. GPR 示例

1.7.2.1. 颇具噪声级的 GPR 估计

该示例说明拥有包含 WhiteKernel 的以及核(sum-kernel)的 GPR
可以估计数据的噪音水平。 对数边缘似然(LML)景观的图示表明是 LML
的有限单部分最充分价值。

天文台 1

第一独照应为具有高噪声电平和大长度尺度的模型,其解释多少中噪声的兼具变更。

天文台 2

其次只有着较小之噪声水平以及比短的尺寸尺度,这说了任噪音功能关系的大部分弯。
第二种植模式起比较高之可能;
然而,根据超参数的启值,基于梯度的优化也说不定会见烟消云散到高噪声解。
因此,对于不同的初始化,重复优化多次凡甚要紧的。

天文台 3

1.7.2.2. GPR 和内核岭回归(Kernel Ridge Regression)的于

内核脊回归(KRR)和 GPR 通过中间使用 “kernel trick(内核技巧)”
来读书目标函数。
KRR学习由相应基本引起的空间中之线性函数,该空间对应为原来空间受到之非线性函数。
基于平均误差损失及脊正弦化,选择基础空间中的线性函数。
GPR使用基本来定义先验分布在目标函数上的协方差,并采用观察到之教练多少来定义似然函数。
基于贝叶斯定理,定义了目标函数上之(高斯)后验分布,其平均值用于预测。

一个重要区别是,GPR 可以根据边际似然函数上之梯度上升选择基础的超参数,
而KRR需要以陆续验证的损失函数(均方误差损失)上实行网格搜索。
另一个有别于是,GPR
学习目标函数的变通概率模型,因此好供有义之置信区间和后验样本和预测值,
而KRR仅提供预测。

下图说明了人工数据集上的有数种植方法,其中包括正弦目标函数和强噪声。
该图于了因 ExpSineSquared 内核的 KRR 和 GPR
的就学型,适用于学习周期函数。
内核的超参数控制内核的平滑度(length_scale)和周期性(周期性)。
此外,数据的噪音水平由 GPR 通过本中之另外的 WhiteKernel 组件和 KRR
的正则化参数 α 明确地念。

天文台 4

欠图显示,两种办法都得以学合理的靶子函数模型。
GPR将函数的周期是地分辨为 天文台 5 (6.28),而
KRR 选择倍增的周期也 天文台 6 。
此外,GPR 也 KRR 不可用之前瞻提供了合理的置信区间。
两种办法之间的重大分是拟合和预测所欲的工夫:
原则及KRR的拟合速度比较快,超参数优化的网格搜索以及过参数( “curse of
dimensionality(维度诅咒)” )呈指数级关系。
GPR中之参数的基于梯度的优化不吃之指数缩放的影响,因此在有三维超参数空间的该示例上一定快。
预测的日是相似的; 然而,生成 GPR
预测分布之方差需要之辰比生成平均值要长。

1.7.2.3. Mauna Loa CO2 数据被之 GRR

该示例基于 [RW2006] 的第 5.4.3 节。
它以身作则了动梯度上升之对数边缘似然性的扑朔迷离内核工程及超参数优化的演示。
数据包括在 1958 年交 1997 年里夏威夷 Mauna Loa
天文台收集之每月平均大气二氧
化碳浓度(以百万分之几(ppmv)计)。目的是将二氧化碳浓度建模为时间t的函数。

水源由几只术语组成,负责征信号的不比性质:

  • 一个漫漫的,顺利的起趋势是由一个 RBF 内核来诠释的。
    具有比充分长尺寸的RBF内核将如该分量平滑;
    没有强制这种动向正在上升,这让 GP 带来了之选项。
    具体的长度尺度和振幅是自由之超参数。
  • 季节性因素,由定期的 ExpSineSquared 内核解释,固定周期也1年。
    该周期分量的尺寸尺度控制该同样滑度是一个随机参数。
    为了要准周期性的衰减,采用带有RBF内核的产品。
    该RBF组件的尺寸尺寸控制衰减时间,并且是任何一个随便参数。
  • 正如小的中期不规则性将出于 RationalQuadratic 内核组件来诠释,
    RationalQuadratic 内核组件的长度尺度与 alpha
    参数决定长度尺度之扩散性。 根据 [RW2006]
    ,这些不规则性可以更好地由于 RationalQuadratic 来分解, 而非是 RBF
    内核组件,这说不定是以它们可以包容几个长尺度。
  • “noise(噪声)” 一词,由一个 RBF
    内核贡献组成,它以解释有关的噪声分量,

假使有的天气现象以及 WhiteKernel 对白噪声的贡献。
相对幅度和RBF的尺寸尺度是更的即兴参数。

当削弱去目标平均值后最大化对数边际似然率产生下列基本,其中LML为-83.214:

34.4**2 * RBF(length_scale=41.8)
+ 3.27**2 * RBF(length_scale=180) * ExpSineSquared(length_scale=1.44,
                                                   periodicity=1)
+ 0.446**2 * RationalQuadratic(alpha=17.7, length_scale=0.957)
+ 0.197**2 * RBF(length_scale=0.138) + WhiteKernel(noise_level=0.0336)

故,大多数靶信号(34.4ppm)由长期上升势头(长度也41.8年)解释。
周期分量的振幅为3.27ppm,衰减时间也180年,长度也1.44。
长时间的衰变时间表明我们于本土非常接近周期性的季节性成分。
相关噪声的宽窄也0.197ppm,长度为0.138年,白噪声贡献呢0.197ppm。
因此,整体噪声水平很小,表明该模型可以老好地解说多少。
该图还展示,该模型直到2015年左右才会做出置信度比较高的展望

天文台 7

1.7.3. 高斯经过分类(GPC)

所述 GaussianProcessClassifier 器实现了用来分类目的的高斯过程(GP),当测试的前瞻下类概率的样式,更能用于概率分类。
GaussianProcessClassifier
在隐函数 天文台 8 之前安装GP先验,然后经过链接函数进行削减为博取概率分类。
隐函数 天文台 9 因此即便是所谓的扰乱函数(nuisance
function),其价未可知为观察到,并且自己不拥有相关性。
其目的是容模型的表达形式更加便利,并且 天文台 10 在预计过程遭到于删(整合)。
GaussianProcessClassifier 实现了逻辑链接函数,
对于拖欠逻辑,积分不克以条分缕析上计算,但于二进制情况下好易近似。

以及回归设置相反,即使设置了高斯过程先验,隐函数 天文台 11 的后验也无切合高斯分布,
因为高斯似然不适用于距离散类标签。相反,使用的是和逻辑链接函数(logit)对应的非高斯似然。
GaussianProcessClassifier 通过拉普拉斯好像(Laplace
approximation)来打量非高斯后验分布。 更多详细信息,请参见 [RW2006]
的第 3 章。

GP先验平均值而为零星。先验的协方差是通过传递 内核(kernel) 对象来指定的。
在经过最大化基于传递的对数边缘似然(LML)的 GaussianProcessRegressor
拟合期间,
优化内核的超参数 optimizer 。由于LML可能具备多只有最优值,
所以优化器可以经点名重复启动 n_restarts_optimizer 。
第一蹩脚运行始终打基本的初始超参数值开始履行;
从已经打允许值的范围中自由挑选超参数值来拓展后续运行。
如果初始超参数需要保障一贯,None 可以传递作为优化器。

GaussianProcessClassifier 通过实践因OvR(one-versus-rest)或
OvO(one-versus-one )策略的训以及展望来支撑多类分类。
在OvR(one-versus-rest)策略备受,每个接近都配起一个亚前进制高斯过程分类器,该档为教练也将该类与该余类分开。
在 “one_vs_one”
中,对于各级对类拟合一个次前行制高斯过程分类器,这吃训练吗分离就片只类似。
这些二进制预测因子的展望为做成多像样预测。更多详细信息,请参阅 差不多种类分类 。

在高斯过程分类的图景下,”one_vs_one” 策略可能于盘算上再次廉价,
因为其要解决事关方方面面训练集的每一个子集的过多题目,
而未是周数据集的于少的题材。由于高斯过程分类以及数据集的轻重相互立方,这或许要赶紧得几近。
但是,请留意,”one_vs_one” 不支持预测概率估计,而只是简单的预测。
此外,请小心, GaussianProcessClassifier 在其中还无实现真正的多类
Laplace 近似,
但如上所述,在缓解之中二进制分类任务之底子及,它们采用OvR或OvO的结缘方式。

1.7.4. GPC 示例

1.7.4.1. GPC 概率预测

欠示例说明了对拥有不同选项之超参数的RBF内核的GPC预测概率。
第一幅图显示GPC具有自由选取的超参数的预计概率,以及相应为最深LML(对数边缘似然)对应之超参数。

虽说经过优化LML选择的超参数具有相当深的LML,但是根据测试数据的对数损失,它们的见更不比。
该图展示,这是盖它在阶级边界(这是好之)表现来类概率的利害变化,
但预测概率接近0.5颇为离类边界(这是深之)这种不良影响是由GPC内部使用了拉普拉斯压。

次帧图展示了内核超参数的不比选项的LML(对数边缘似然),突出了于首先幅图中运用的经过黑点(训练集)选择的一定量个超参数。

天文台 12

天文台 13

1.7.4.2. GPC 在 XOR 数据集上的举例说明

这个示例说明了以XOR数据上的GPC。各奔同性的稽审( RBF )和非固定的核查( DotProduct )对比固定性。
在是一定的多少集上, DotProduct 内核获得了重复好的结果,因为类似边界是线性的,与坐标轴重合。
然而,实际上,诸如 RBF 这样的永恒内核经常得更好结果。

天文台 14

1.7.4.3. iris 数量集上的高斯过程分类(GPC)

该示例说明了用于虹膜数据集的次维版本及每奔同性和各国奔异性RBF核的GPC的前瞻概率。
这证明了GPC对多类分类的适用性。
各奔异性RBF内核通过为寡独特色维度分配不同之长短尺度来获取多少高的LML(对数边缘似然)。

天文台 15

1.7.5. 高斯过程基本

水源(也堪称呼GPs上下文中之”协方差函数”)
是控制高斯过程(GP)先验和后验形状的根本部分。
它们经过定义两只数据点的“相似性”,并构成相似之
数据点应该享有相似之目标值的设,对所读之函数进行编码。
内核可以分为两看似:固定内核,只在乎两个数据点的距离,
不依靠让它的断然值 天文台 16 ,因此它们于输入空间受到的变是休变换的;非定点的基本,取
决于数据点的具体值。固定内核可以更进一步细分为每朝同性和各国奔
异性内核,其中各向同性内核不会见于输入空间中旋转。想使打听
更多细节,请参考 [RW2006] 的季节。

1.7.5.1. 高斯经过外核 API

Kernel 主要是为此来测算数据点之间的高斯过程协方差。
为这,内核中 __call__ 方法会被调用。该办法可用来计算
2d阵列X中装有数据点对的“自动协方差”,或二维阵列X的数据点
与二维阵列Y中之数据点的具有结成的“互协方差”。以下论断对
所有内核k(除了 WhiteKernel)都是立之:k(X) == K(X, Y=X)
如果只是自协方差的对角线元素被采取,那么内核的法门 diag() 将会晤受调用,
该法比较对等价格的调用 __call__np.diag(k(X, X)) == k.diag(X) 具有双重强之算计效率。

根本通过跨越参数为量 天文台 17 进行参数化。这些超参数可以
控制例如内核的尺寸要周期性(见下文)。通过设置 __call__ 方法的参数 eval_gradient=True ,所有的基本支持计算分析
内核自协方差对于 天文台 18 的辨析梯度。该梯度被用来在
高斯过程被(不论是回归型还是分类型的)计算LML(对数边缘似然)函数
的梯度,进而被用来经过梯度下降之道极大化LML(对数边缘似然)函数
从而确定 天文台 19 的价值。对于每个超参数,当对基本的实例
进行赋值时,初始值和边际值需要给指定。通过基础对象属性 theta , 天文台 20的手上值好让拿走或者安装。更要的凡, 
超参的边界值可以吃外核属性 bounds 获取。需要小心的凡,
以上两栽属性值(theta和bounds)都见面回到内部使用值的日志转换值,
这是因马上半栽属性值通常更合乎因梯度的优化。每个超参数的
规范 Hyperparameter 以实例形式让积存于相应基本中。
请注意使用了因”x”命名的超参的基石必然有self.x和self.x_bounds这简单种植属性。

所有内核的架空基类为 Kernel 。Kernel
基类实现了
一个形似的接口 Estimator ,提供了措施 get_params() ,set_params() 以及 clone() 。这也允许通过像 Pipeline 或者 GridSearch 之类的正估算来安内核值。
需要专注的是,由于根本的嵌套结构(通过基础操作符,如下所呈现),
内核参数的名目或者会见变得相对复杂些。通常来说,对于第二初次根本操作,
参数的左运算第一为 k1__ 为前缀,而右运算第一因 k2__ 为前缀。
一个额外的造福措施是 clone_with_theta(theta)
该方法返回克隆版本的本,但是设置过参数为 theta。 示例如下:

>>>

>>> from sklearn.gaussian_process.kernels import ConstantKernel, RBF
>>> kernel = ConstantKernel(constant_value=1.0, constant_value_bounds=(0.0, 10.0)) * RBF(length_scale=0.5, length_scale_bounds=(0.0, 10.0)) + RBF(length_scale=2.0, length_scale_bounds=(0.0, 10.0))
>>> for hyperparameter in kernel.hyperparameters: print(hyperparameter)
Hyperparameter(name='k1__k1__constant_value', value_type='numeric', bounds=array([[  0.,  10.]]), n_elements=1, fixed=False)
Hyperparameter(name='k1__k2__length_scale', value_type='numeric', bounds=array([[  0.,  10.]]), n_elements=1, fixed=False)
Hyperparameter(name='k2__length_scale', value_type='numeric', bounds=array([[  0.,  10.]]), n_elements=1, fixed=False)
>>> params = kernel.get_params()
>>> for key in sorted(params): print("%s : %s" % (key, params[key]))
k1 : 1**2 * RBF(length_scale=0.5)
k1__k1 : 1**2
k1__k1__constant_value : 1.0
k1__k1__constant_value_bounds : (0.0, 10.0)
k1__k2 : RBF(length_scale=0.5)
k1__k2__length_scale : 0.5
k1__k2__length_scale_bounds : (0.0, 10.0)
k2 : RBF(length_scale=2)
k2__length_scale : 2.0
k2__length_scale_bounds : (0.0, 10.0)
>>> print(kernel.theta)  # Note: log-transformed
[ 0.         -0.69314718  0.69314718]
>>> print(kernel.bounds)  # Note: log-transformed
[[       -inf  2.30258509]
 [       -inf  2.30258509]
 [       -inf  2.30258509]]

持有的高斯过程基本操作都可由此 sklearn.metrics.pairwise 来进行互操作,反之亦然。 Kernel 的子类实例可以经过 metric 参数传于 sklearn.metrics.pairwise 中的

pairwise_kernels 。更要紧之是,超参数的梯度不是分析的,而是数字,所有这些基础只支持

各向同性距离。该参数 gamma 被看是一个超参数,可以拓展优化。其他基本参数在初始化时直接设置,
并保持稳。

1.7.5.2. 基础内核

ConstantKernel 内核类可以为用作 Product 内核类的如出一辙局部,
在她可本着任何因子(内核)进行度量的面貌下还是当反高斯过程均值的

Sum 类的同样有些。这有赖于参数 天文台 21 的设置。该措施定义也:

天文台 22

WhiteKernel 内核类的根本用实例在于当说信号的噪音部分时
可以看做基本集合的平等组成部分。通过调试参数 天文台 23
该类可以据此来估算噪声级别。具体如下所示:

天文台 24

1.7.5.3. 内核操作

基本操作是把1~2单基内核与新水源进行统一。内核类 Sum 通过 天文台 25 相加来归并 天文台 26 和 天文台 27 内核。内核类 Product 通过 天文台 28 把 天文台 29 和 天文台 30 内核进行联。内核类 Exponentiation 通过 天文台 31 把基内核与
常量参数 天文台 32 进行统一。

1.7.5.4. 径向基函数内核

RBF 内核是一个稳住内核,它也被号称“平方指数”内核。它经过定长的参数 天文台 33 来对内核进行参数化。该参数既好是标量(内核的各向同性变体)或者和输入 天文台 34 (内核的各国为异性变体)
具有同等数量之维度的向量。该本可以让定义也:

天文台 35

斯基础是极度可微的,这象征这根本作为协方差函数的 GP
具有所有阶数的均方差导数,
因此特别平整。由RBF内核产生的GP的先验和后验示意图如下所示:

天文台 36

1.7.5.5. Matérn 内核

Matern 内核是一个定点内核,是 RBF 内核的泛化。它来一个外加的参数 天文台 37
该参数控制结果函数的坦程度。它由定长参数 天文台 38 来实现参数化。该参数既好是标量
(内核的各向同性变体)或者跟输入 天文台 39 (内核的各为异性变体)具有同等数量之维度的向量。
该本可以为定义为:

天文台 40

因为 天文台 41 ,Matérn 内核收敛到
RBF 内核。 当 天文台 42 时,Matérn
内核变得与绝对指数内核相同时,即

天文台 43

特别的,当 天文台 44 时:

天文台 45

和 天文台 46 :

天文台 47

凡是读书函数的常用选择,并且不是绝可微的(由 RBF 内核假定)
但是最少存有同样流( 天文台 48 )或者二阶( 天文台 49 )可微性。

通过 天文台 50 灵活控制上函数的平滑性可以更进一步适应真正的底函数关联属性。
通过 Matérn 内核产生的高斯过程的先验和后验如下图所示:

天文台 51

纪念只要更进一步地打听不同种类的Matérn内核请参阅 [RW2006] ,
pp84。

1.7.5.6. 理所当然二差基本

RationalQuadratic 内核可以为当作不同特色尺度下的 RBF 内核的范畴混合(一个无限和)
它通过长尺度参数 天文台 52 和比例混合参数 天文台 53 进行参数化。
此时单支持 天文台 54 标量的各向同性变量。内核公式如下:

天文台 55

自从 RBF 内核中来的高斯过程的先验和后验如下图所示:

天文台 56

1.7.5.7. 正弦平方内核

ExpSineSquared 内核可以对周期性函数进行建模。它由定长参数 天文台 57 以及周期参数 天文台 58 来实现参数化。此时不过支持 天文台 59 标量的各向同性变量。内核公式如下:

天文台 60

自从ExpSineSquared内核中来的高斯过程的先验和后验如下图所示:

天文台 61

1.7.5.8. 点乘内核

DotProduct 内核是非固定内核,它好经当线性回归之 天文台 62 的相关系数上添加
服从给 天文台 63 的先验以及在线性回归的偏置上助长从于 天文台 64 的先验来取。
该 DotProduct 内核对于原点坐标的团团转是勿更换的,因此无是换。它经过设置参数 天文台 65 来开展参数化。
当 天文台 66 时,该本叫做同质线性内核;否则该内核是非同质的。内核公式如下:

天文台 67

DotProduct 内核通常和指数分布相结合。实例如下图所示:

天文台 68

1.7.5.9. 参考文献

[RW2006]

1.7.6. 风俗习惯高斯过程

每当本节遭逢,描述了本子 0.16.1 及前面 scikit 中高斯过程的落实,
请注意,此实现就被弃用,将于本 0.18 中剔除。

1.7.6.1. 回归实例介绍

苟我们设替这个函数:天文台 69 。
为了做到这或多或少,该意义于评估到一个实验设计上。然后,
我们定义一个回归和连锁模型或给另外参数指定的高斯模型,
并且要求模型能够拟合数据。拟合过程由于中实例化过程中
参数数目的震慑可能乘让参数的极致可怜似然估计要直接利用给定的参数。

>>>

>>> import numpy as np
>>> from sklearn import gaussian_process
>>> def f(x):
...     return x * np.sin(x)
>>> X = np.atleast_2d([1., 3., 5., 6., 7., 8.]).T
>>> y = f(X).ravel()
>>> x = np.atleast_2d(np.linspace(0, 10, 1000)).T
>>> gp = gaussian_process.GaussianProcess(theta0=1e-2, thetaL=1e-4, thetaU=1e-1)
>>> gp.fit(X, y)  
GaussianProcess(beta0=None, corr=<function squared_exponential at 0x...>,
        normalize=True, nugget=array(2.22...-15),
        optimizer='fmin_cobyla', random_start=1, random_state=...
        regr=<function constant at 0x...>, storage_mode='full',
        theta0=array([[ 0.01]]), thetaL=array([[ 0.0001]]),
        thetaU=array([[ 0.1]]), verbose=False)
>>> y_pred, sigma2_pred = gp.predict(x, eval_MSE=True)

1.7.6.2. 噪声数据拟合

当含噪声的数码给用来做拟合时,对于每个数据点,高斯过程模型可以指定噪声的方差。 GaussianProcess 包含一个深受上加到训练多少获得的从相关矩阵对角线中之
参数 nugget 。通常来说就是同样种类型的吉洪诺夫正则化方法。
在平方指数相关函数的超常规情况下,该归一化等效于指定输入被的小数方差。也便是:

天文台 70

使用 nugget 以及 corr 正确安装,高斯过程得又好地用来打噪声数据恢复给定的往量函数。

1.7.6.3. 数学形式

1.7.6.3.1. 初始假设

如若需要针对计算机实验的结果开展建模,例如利用一个数学函数:

天文台 71

以如果是函数是 一个 有关于 一个 高斯过程 天文台 72 的尺码下方法,
那么由这要出发,GPML 通常可以表示也如下形式:

天文台 73

其中, 天文台 74 是一个线性回归模型,并且 天文台 75 是一个
以零星吧全值,协方差函数完全平稳的高斯过程:

天文台 76

天文台 77 表示该方差, 天文台 78 表示只是因样本中的断然相关距离的相关函数,可能是特色(这是平稳性假设)

自从这些核心的公式中可以小心到GPML仅仅是着力的线性二随着回归问题的恢宏。

天文台 79

除此之外,我们另外要由相关函数指定的样本中的一部分空间相干性(相关性)。
事实上,普通不过小二随着法假设当 天文台 80 时,相关性模型 天文台 81 是
1;否则也 0
,相关性模型呢 狄拉克 相关模型–有时在克里金文献中受称为 熔核 相关模型

1.7.6.3.2. 至上线性无偏预测(BLUP)

我们本演绎出因观测结果的 最佳线性无偏预测 天文台 82

天文台 83

它好由 加的性 加以派生:

  • 其是线性的(观测结果的线性组合)

天文台 84

  • 它是无偏的

天文台 85

  • 她是太好的(在均方误差的意思及)

天文台 86

据此最好精彩的带权向量 天文台 87 是以下等式约束优化问题之败

天文台 88

坐拉格朗日式样重写这个于约之优化问题,并更加寻求要满足的同等号最优质条件,
从而得到一个为合形式表达式为已形式的预测器 –
参见参考文献中完全的辨证。

说到底,BLUP 为高斯随机变量,其中均值为:

天文台 89

方差为:

天文台 90

其中:

  • 根据从相关函数和坐参数 天文台 91 所定义的相关性矩阵为:

天文台 92

  • 于进展预测的点和 DOE 中的点里的互相关的向量:

天文台 93

  • 回归矩阵 (例如范德天文台蒙矩阵
    如果 天文台 94 以差不多项式为基):

天文台 95

  • 广义最小二就回归权重:

天文台 96

  • 和向量:

天文台 97

需要重点注意的凡,高斯过程预测器的几率输出是意而分析的又依赖让基本的线性代数操作。
更准确地游说,预测结果的均值是少数只大概线性组合(点积)的和,方差需要少独矩阵反转操作,但提到
矩阵只能动用 Cholesky 分解算法分解同赖。

1.7.6.3.3. 涉最佳线性无偏估计(EBLUP)

交现在收,自相关与回归模型都曾经使给出。然而,在实践中,它们向还是未知之
因此需要也这些模型 涉嫌模型 做出(积极的)经验选择。

基于这些选择,可以来估计 BLUP
中关系到的残留未知参数。为者,需要运用同一系列
被提供的观测值同时重组一文山会海推断技术。目前使用的措施是依据 DACE’s Matlab
工 具包之*尽老似然估计* – 参见 DACE
手册中的意演绎公式。最充分似然估计的问题在
自相关参数中凡一个大局优化的题目。这种全局优化通过 scipy.optimize 中之
fmin_cobyla 优化函数加以落实。然而,在列为异性的动静下,我们提供了
Welch 的份额优化算法的实现 – 参见参考。

1.7.6.4. 事关模型

是因为几乎等于的如,常用之涉模型与有些闻名的SVM内核相配合。它们必须使满足
Mercer 条件
并且用保障一定形式。然而,请留意,相关模型的选择该同相来的原本实验的都知晓特性一致。
例如:

  • 倘原本实验被看是无比可微(平滑),则答应运用 平方指数关联模型 。
  • 一经未是最好可微的, 那么需要动用 指数关联模型.
  • 还要小心,存在一个将衍生度作为输入的相关模型:这是 Matern
    相关模型,但这边并无落实( TODO ).

关于选择适宜的干模型更详尽的讨论,请参考 Rasmussen&Williams 的文献。

1.7.6.5. 回归模型

常用之线性回归模型包括零阶(常数)、一等和二阶差不多项式。 但是足以坐 Python
函数的形式指定它和谐的特征,它用特色X
作为输入,并赶回一个蕴含函数集值的向量。唯一加以限定地是,
函数的个数不克跨越有效观测值的数量,因此着力的回归问题非叫*确定*。

1.7.6.6. 贯彻细节

范通过 DACE 的 Matlab 工具包来实现。

参考文献:

  • DACE, A Matlab Kriging
    Toolbox S
    Lophaven, HB Nielsen, J Sondergaard 2002,
  • W.J. Welch, R.J. Buck, J. Sacks, H.P. Wynn, T.J. Mitchell, and M.D.
    Morris (1992). Screening, predicting, and computer experiments.
    Technometrics, 34(1) 15–25.

 

 

 

 

中文文档: http://sklearn.apachecn.org/cn/0.19.0/modules/gaussian_process.html

英文文档: http://sklearn.apachecn.org/en/0.19.0/modules/gaussian_process.html

 

 

 

法定文档: http://scikit-learn.org/stable/

GitHub: https://github.com/apachecn/scikit-learn-doc-zh(觉得是麻烦给个
Star,我们一直以全力以赴)

贡献者: https://github.com/apachecn/scikit-learn-doc-zh\#贡献者

关于我们: http://www.apachecn.org/organization/209.html

出趣味之曹也足以与我们联合来维护,持续创新中 。。。

机上交流群: 629470233

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2018 亚洲必赢手机官网 版权所有