高斯过程
高斯过程（gaussian process）是概率论和统计学中的一个概念，指的是在连续域（如时间或空间）上的观测值构成的随机过程，其中每个点都与一个正态分布的随机变量相关联。这些随机变量的任意有限集合具有多元正态分布。高斯过程的分布是这些随机变量的联合分布，因此它描述了连续域上函数的分布。
定义
高斯过程是定义在连续输入空间上的随机过程，可以表示为X ~ GP(m,K)，其中X是随机函数，m是平均数函数，K是协方差函数。当输入向量为二维或多维时，高斯过程也可以被称为高斯自由场（Gaussian field）。在某些情况下，为了简化计算，可以假设随机变量Xt的平均值为0，这样高斯过程的均方属性就可以完全由协方差函数K来确定。
协方差函数
高斯过程的行为可以完全由其协方差函数定义，这是因为它们的二阶统计量决定了整个过程的性质。协方差函数的选择反映了过程的平稳性、各向同性、光滑性和周期性等特性。例如，平稳过程意味着过程的行为只依赖于两点之间的距离，而各向同性则意味着过程的行为只依赖于两点之间的欧几里得距离。
高斯过程中常用的协方差函数包括常值函数、线性函数、高斯噪声、平方指数、Ornstein–Uhlenbeck、Matérn、周期性函数和有理二次方函数。这些函数的选择取决于对过程的先验知识，例如我们希望模型反映的平滑程度或周期性。
举例
在通信信道中的噪声，通常是一种高斯过程，因此也被称为高斯噪声。高斯过程不仅用于描述物理现象，还广泛应用于机器学习领域。在机器学习中，高斯过程是一种惰性学习算法，通过核函数来度量输入点之间的相似性，从而预测未知点的值。预测结果包括预测值及其不确定性，即该点的边际分布。
应用
高斯过程在统计建模中的应用非常广泛，它允许我们对随机过程进行建模，并求出各种导出量的分布，如随机过程在一定范围内的平均值，以及使用小范围采样次数及采样值进行平均值预测的误差。对于某些核函数，可以使用矩阵代数（如克里金法）来计算预测值，而当核函数包含代数参数时，通常需要使用软件来拟合高斯过程模型。