参数估计（英文：parameter estimation），是统计学的重要概念之一，它是运用从总体抽取的随机样本对总体分布中的未知参数值做出估计的一种统计推断方法。
统计推断的萌芽可追溯至18世纪。1764年，英国数学家托马斯·贝叶斯（Thomas Bayes）的《机遇理论中一个问题的解》(An essay towards solving a problem in the doctrine of chances）在伦敦皇家学会的刊物《哲学学报》(Philosophical Transactions）发表，文中阐述了进行统计推断的方法论方面的一种见解，随后逐渐发展成为一整套关于统计推断的系统理论，产生了最早的统计推断法。到19世纪初，德国数学家卡尔·弗里德里希·gaussian（Carl Friedrich Gauss）从描述天文观测的误差而引进正态分布，并使用最小二乘法作为估计方法，提出了著名的高斯（正态）分布统计规律。随后，1812年，法国数学家皮埃尔-西蒙·拉普拉斯（Laplace）在著作《概率的分析理论》中给出了最早对参数的估计表成区间的形式。到19世纪末至20世纪初，英国统计学家卡尔·皮尔逊（Pearson）和罗纳德·费雪（Ronald Fisher）对数理统计学理论做出许多贡献，完善了以矩估计和极大似然估计为中心的点估计理论。
参数估计主要分为两大类，点估计和区间估计，其中，矩估计、极大似然估计、最小二乘法、贝叶斯估计和最小卡方估计为点估计的常用方法，贝叶斯法、信任分布法和枢轴变量法为构造置信区间求区间估计的典型方法。判断估计量的标准有一致性、无偏性和有效性。统计推断中另一类基本问题是假设检验问题，它与参数估计既有区别也有联系。在数理统计学中，参数估计方法都是一次估计的方法，它必须在收集到足够多的数据以后，再将系统参数的估计值一次计算出来，会占用较多贮存量系统的数据。为此，估计系统的参数还可采用较复杂的递推估计法，能有效地节省数据的贮存量。在现实世界中，参数估计具有广泛的应用价值，如在金融学领域，将参数估计风险融入到投资组合决策中，可改善投资组合的次有效性。
定义
参数估计是统计学的重要概念之一，它是运用从总体抽取的随机样本对总体分布中的未知参数值做出估计的一种统计推断方法。当总体分布函数的形式已知时，往往有一个或多个参数为未知，如何从样本出发构造一些统计量来对总体的未知参数进行估计，或者总体的分布类型为未知时，有几个数字特征如数学期望、方差、中位数等需要估计，都是参数估计问题。
简史
早期研究
统计推断方法论的系统讨论可追溯至18世纪，1764年，英国数学家托马斯·贝叶斯（Thomas Bayes,1701-1761）的《机遇理论中一个问题的解》(An essay towards solving a problem in the doctrine of chances）在伦敦皇家学会的刊物《哲学学报》(Philosophical Transactions）发表，文中提出了进行统计推断的方法论方面的一种见解，之后逐渐地发展成为一整套关于统计推断的系统理论，由此产生了最早的统计推断法——托马斯·贝叶斯方法。后来，1809年，德国数学家卡尔·弗里德里希·高斯（Carl Friedrich Gauss）发表了数理天文学著作《绕日天体运动理论》，书中阐述预测天体轨道的方法，并使用最小二乘法作为估计方法，提出了著名的高斯（正态）分布统计规律。
后续发展
随着统计理论的不断成熟和发展，越来越多的参数估计方法被提出。19世纪末，英国统计学家卡尔·皮尔逊（Pearson）在分析区分物种用的数据的分布理论过程中，发现不少生物方面的数据有显著的偏度，不适合用正态分布去刻画，为此提出了矩估计法，用来估计所引进的分布族中的参数。
1912年，英国统计学家罗纳德·费雪（Ronald Fisher）在《关于拟合频率曲线的一个绝对准则》一文中提出了极大似然估计法，并在1922年发表的《理论统计的数学基础》中，进一步系统地发展了正态总体下种种统计量的小样本精确分布，列举了一致性、有效性和一致性作为参数估计量应具备的性质，并建立了以极大似然估计为中心的点估计理论。
对参数的估计表成区间的最早形式可见于法国数学家皮埃尔-西蒙·拉普拉斯（Laplace）1812年的著作《概率的分析理论》中关于用频率估计概率的问题。到1930年初，已经有了两种构造区间估计的方法，分别是托马斯·贝叶斯法和费歇尔的信任分布法。随后，1934年，统计学家奈曼（J.Neyman）在一项关于抽样调查的《论代表性抽样的两个不同方面》中，提出了区间估计依赖于样本的随机区间的置信区间理论。此后，奈曼致力于研究置信区间的理论基础，并于1937年在皇家学会的刊物《哲学学报》上发表的《基于经典概率论的统计估计理论纲要》文章中系统地介绍了置信区间理论的主要内容。
分类
参数估计研究的是估计的方法和评价这些方法优劣的准则，根据样本构造一个统计量，用以对总体参数进行估计，称为点估计；有时不是要求对参数做出定值估计，而是把根据样本构造的两个统计量作为一个区间的两个端点，使这个区间包含参数真值的概率不小于一个预先给定的数，称为参数的区间估计。
点估计
点估计定义：设是来自总体的一个样本，用于估计未知参数的统计量称为的估计量，或称为的点估计，简称估计。
区间估计
所谓区间估计就是要找两个统计量和，使得，在得到样本观测值之后，就把估计在区间内。由于样本的随机性，区间盖住未知参数的可能性并不确定，通常要求区间盖住的概率尽可能大，但这会导致区间长度增大，因此先把区间盖住的概率给定，于是给出如下置信区间的概念。
置信区间的定义：设是总体的一个参数，其参数空间为，是来自该总体的样本，对给定的一个，假设有两个统计量和，若对任意的，有，则称随机区间为的置信水平为的置信区间，或简称是的置信区间，和分别称为的（双侧）置信下限和置信上限。
估计标准
无偏性
定义：设是未知参数的估计量，若数学期望存在，且对有，则称是的无偏估计量，称具有无偏性。
在实际应用中，称为以作为的估计的系统误差，无偏估计的实际意义就是无系统误差。若的估计不是无偏的，但当时，，则称是的渐近无偏估计。
例如，设总体的阶原点矩存在，是的一个样本，那么不论服从什么分布，是的无偏估计。
有效性
不同的估计方法，参数的无偏估计量不止一个，为使尽可能与接近，那么方差越小越好。
定义：设是未知参数的无偏估计量，若方差，则称比有效。
例如，设是来自总体的容量为的样本，那么总体均值的估计量比有效，其中且。
一致性
一致性被认为是估计量的一个最基本的要求，其定义为：设对每个自然数，都是未知参数的估计量，如果对任意的，都有，则称是的相合估计量（一致估计量）。
例如，设总体，其中为未知，又是的一个样本，那么的估计是一致估计量。
估计方法
点估计
矩估计法
设总体的分布函数为，其中是未知参数，且总体的阶原点矩存在，根据总体的分布求得，它们是的函数，并记，将替换成相应的估计量，则得到关于的方程组
方程组的解记为，并以作为未知参数的估计量，称为未知参数的矩估计量。矩估计量的观察值称为矩估计值，该方法称为矩估计法。
特别地，若总体的分布函数为，则从一个方程，解得矩估计量为。
极大似然估计法
对连续型总体，若其概率密度为，则样本似然函数。如果样本似然函数在在处取得最大值，则称为参数的极大似然估计值，称为参数的极大似然估计量，该方法称为极大似然估计法。
最小二乘法
设两个随机变量和之间有相关关系，其中可以是多项式或其他连续函数，为未知参数，为误差。用的组观察值来估计中的未知参数。由最小二乘法原理知，可以求解使观察值的误差平方和为最小的。以这种方法得到的中的未知参数的估计量，称为最小二乘估计。
贝叶斯估计
设总体和参数均为随机变量且联合密度函数为的密度函数为为样本，是基于样本对参数的一个决策，为决策的损失函数，取托马斯·贝叶斯风险函数为，如果存在一个决策满足其中为决策空间，则称为参数的贝叶斯估计。
最小卡方估计
假设给定个总体矩条件，其中是维随机向量，是维真实参数向量，是维零向量。通过选择参数值使样本矩等于总体矩，可得的估计量：。
在实际应用中，可用个矩条件，其中，即矩条件的数目不少于未知参数的数目。由于方程的数目通常大于未知参数的数目，无法求得严格满足方程的解。因此，只能选择一个估计量使尽量接近零向量。广义矩估计法的估计量是最小化二次型问题的解，即，其中为一个随机非奇异对称矩阵，满足当时，，是一个非随机非奇异对称矩阵。可选择，其中为维单位矩阵，则目标函数可写为，即个样本矩的平方和。每个样本矩是等权重的，可能存在权重矩阵的某个最优选择，以求得在一族广义矩估计法的估计量中渐进最有效的估计量。样本矩向量中的个样本矩有不同的抽样变异性且可能彼此相关。若权重矩阵可赋予方差较大的样本矩较小的权重，并消除不同样本矩之间的相关性，那么获得的估计量将是有效的。
通过以上方法获得的估计量称为广义矩估计量。在统计学和计量经济学中，也称为最小卡方估计量。
区间估计
贝叶斯法
先验分布的定义：样本有分布族，给定随机变量的概率分布，那么参数空间上的任一概率分布，叫做的先验分布。
后验分布的定义：在得到样本后，的后验分布就是在给定的条件下的条件分布。
托马斯·贝叶斯法求区间估计：在求得的后验分布后，找区间，使得其中，为给定的数，所适合的区间称为的后验置信度的区间估计。
信任分布法
信任分布的定义：设有样本是未知参数（样本大小为），则有，即对任何实数有。
其中，，上式可改为或。
统计学家罗纳德·费雪（R.A.Fisher）给出了一个新的定义：已知样本（即把看成一个已知数），把看成一个随机变量，那么称为的信任分布。
信任分布法求区间估计：对于一个给定，若使得(表示的信任分布），要求满足。取一组，使最小。
那么，，可得到的一个区间估计，其信任系数为，即。
枢轴变量法
枢轴量的定义：仅含一个未知参数而其分布为已知的样本的函数叫枢轴量。
枢轴量法求区间估计：
例题分析
点估计
例题 设总体的概率密度为，有样本，相应的样本值为，求的极大似然估计值。
解：取似然函数，
取对数似然函数。
对求导得，并令该式为可得的极大似然估计为。
区间估计
例题 已知某旅游胜地游客日消费额，且未知。根据以往经验。为调查游客日平均消费额，现随机抽取了名游客，算得日平均消费额元。求的置信度为的置信区间。
解：先要构造一个样本的函数，满足两个条件：
(1)含有待估参数并且没有其他任何未知参数；
(2)分布已确定并且分布不依赖其他任何未知参数。
此时样本的函数称为枢轴量，把给定的置信度看成概率，然后将平分在枢轴量的密度两侧，使得。通过查标准正态分布表求得相应的分位点。然后利用不等式变形，由枢轴量落在区间内的概率转换成待估参数的置信度（见下图）。
，即得到的置信度为的置信区间。
将代入，可算得
；
。
最后得的置信度为的置信区间。
答：游客的日平均消费额在元到元之间，有的可信度。
类似理论
非参数估计
定义：如果一个估计问题所涉及的分布未知或不能用有限实参数来描述，称这种估计为非参数估计。一般由样本估计未知分布函数或未知概率密度，由样本估计某一对称分布的分布中心等都是非参数估计问题。
参数估计和非参数估计的联系与区别：估计理论分为参数估计与非参数估计，它们是数理统计学学的基本问题之一。参数估计是指已知总体理论分布的模型，而对模型中的某些未知参数的估计，或由模型的有限个参数决定的估计问题；非参数估计是指在总体理论分布等信息未知，或不能用有限个参数来表示的情况下进行的统计估计问题。
假设检验
基本概念：假设检验是推论统计的一个重要内容。它是先对总体的概率分布或分布参数作出某种“假设",再根据抽样得到的样本观测值,然后运用数理统计的分析方法,检验这种“假设”是否正确,从而决定接受或拒绝“假设”。
参数估计和假设检验是统计推断的两个组成部分，它们都是利用样本信息对总体进行某种推断，它们之间既有联系也有区别。
参数估计和假设检验的联系：
(1)都是根据样本信息对总体参数进行推断。
(2)都是以抽样分布为理论依据。
(3)都是建立在概率基础上的推断，推断结果都有风险。
(4)对同一问题的参数进行推断，使用同一样本、同一统计量、同一分布，因此两者可以相互转换。
参数估计和假设检验的区别：
(1)参数估计是依据样本资料估计总体未知参数的可能范围；假设检验是根据样本资料来检验对总体参数的假设是否成立。
(2)参数估计通常求得的是以样本为中心的双侧置信区间；假设检验不仅有双侧检验，还有单侧检验。
(3)参数估计立足于大概率，通常以较大的把握程度或置信程度去估计总体参数的置信区间；假设检验立足于小概率，通常是给定很小的显著性水平去检验对总体参数的假设是否成立。
推广
递推参数估计
定义：在系统运行过程中，每一个采样周期对系统的输入与输出测量一次，得到一组输入与输出的实测值，即采祥值，计算出当前的参数估计值，第个采样周期计算得的估计值用表示。在下一个采样周期内，用新采集到的实测值来修正老的估计值，得出新的（当前的）参数估计值。如此，每采样一次，可使参数估计值更新一次。如果参数估计是收敛的，则不断更新可使参数估计值的误差不断减小，收敛于参数的“真值”。这种方法称为递推估计法。
常见类型
最小二乘估计
最小二乘参数估计的递推算法是系统参数辨识中的方法之一，其基本思想可以概括为：新的估计值=老的估计值+修正项。
未知参数向量的最小二乘估计的递推计算公式为：
，
，
，
其中，，为观测向量，为增益向量。
递推最小二乘算法的说明：
(1)新的估计向量是先前估计量加上修正项，在不断更新过程中，和的行列数不变，但它们的旧数据不断被新数据替换；
(2)为增益向量，为误差的协方差矩阵，一般与误差成正比，协方差越大，说明估计值与真值相差越大，增益向量也会越大，所产生的校正作用也越大；
(3)初值和确定；
方法1：若已有组数据，则可批处理它们，并将结果作为初值，即；
方法2：，其中。
极大似然估计
极大似然递推算法具有较好的收敛性，是一个比较好的估计方法。
极大似然估计的递推计算公式为：
，
，
，
式中，，。
应用
金融学
证券投资组合又称证券组合，是指在进行证券投资时，不是将所有的资金都投向单一的某种证券，而是有选择地投向一组证券。在投资组合决策过程中，由于投资者在某个证券子集上考虑投资约束，可能会导致投资组合次有效性问题。
为了改善证券组合在证券全集上的有效性问题，基于参数估计风险的拟合有效证券，可将参数估计风险融入到投资组合决策中，得到拟合有效证券组合的判定条件及统计检验方法，再通过选择合适的证券集划分来实现拟合有效性，从而改善投资组合的次有效性。
工程学
四旋翼式蜂鸟无人机是一种具有灵活稳定的飞行能力和跟踪能力的无人飞行器，在灾区救援、农业养殖和军事侦察等领域发挥着重要作用。四旋翼无人机的飞行控制离不开稳定的姿态角和运动位置，但由于其数学模型复杂性高、耦合性强，稳定的路径跟随运动离不开控制算法，在未知的外界环境干扰下，会导致旋翼的力矩输入无法满足无人机的路径跟随需求等问题。
为了提高四旋翼无人机的路径跟随精度和飞行鲁棒性，有学者设计了一种基于参数估计的四旋翼无人机自适应鲁棒路径的跟随控制器，通过建立具有未知环境参数和外界干扰的四旋翼无人机力学模型，以反步滑模方法和自适应控制方法设计无人机的控制输入方程和估计值更新律来对控制输入进行补偿，有效地提高了无人机系统的抗干扰能力。
计算机科学
图像在获取、传输和记录过程中经常会受到各种噪声信号的干扰，会影响图像的视觉效果，从而降低对图像目标信息的解译能力，如特征提取、目标识别和图像分析。图像滤波是图像预处理阶段的基本操作，可在较好地保持图像细节特征的条件下消除所混入的噪声。对于不同图像，处理效果由空间标准差和灰度标准差两个参数共同决定，但传统双边滤波需根据人工经验预先设定参数选值，选值不当会导致处理结果差异较大，不能达到很好的滤波效果。
为优化图像预处理的滤波效果，有学者设计了一种新的基于参数估计的自适应双边滤波算法。通过图像灰度共生矩阵实现空间标准差的自适应，以统计方法估计图像噪声标准差实现灰度标准差的自适应设置，实现了自适应双边滤波，有效地避免了传统滤波中参数固定、取经验值等问题。