参数估计,就是根据样本估计总体的未知参数。总体的参数,不仅包括总体的分布参数,也包括总体的各种数字特征。总体参数的估计有两种类型:点估计和区间估计。两种估计方法相辅相成又相互补充。
对于总体

,设

是来自总体

的简单随机样本;

是要估计的总体的未知参数。

表示未知参数

的估计量;估计值

表示估计量

的一次取值。
估计量优良性的最基本要求:无偏性,有效性,相合性。无偏性:

;有效性:

,则称

比

更有效;相合性:

.
下面我们介绍两种估计方法:距估计,极大似然估计,还有一种最小二乘估计在回归分析中介绍.
矩估计方法:使用样本矩来估计总体矩,样本矩函数来估计总体矩的相应函数的一种估计方法,使用矩方法得到的估计量被叫做矩估计量。总体的原点矩和中心距的定义分别为

和

相应的样本原点矩

及样本中心距

。
总体的数字特征 | 矩估计量 |
数学期望 | | | 样本均值 |
方差 | | | 二阶中心距 |
标准差 | | | 样本标准差(未修正) |
偏度 | | | 样本偏度 |
峰度 | | | 样本峰度 |
样本原点矩

是相应的总体原点矩

的无偏与相合估计量。样本中心距

是相应的总体中心距

的相合估计量,但一般不是无偏估计量。矩估计方法不需要知道总体的概率分布和抽样分布,并且计算便利。
最大似然估计法:要求事先知道总体分布的数学形式,以及简单随机样本的概率分布。只限于考虑离散型和连续性总体,并且用概率函数

表示概率分布。最大似然思想:
似然函数:
对数似然函数:
极大似然估计量:对于给定的样本值

,使似然函数

或

达到极大值的参数值

,称作未知参数

的极大似然估计值。求取极大值方法详见优化分析.
设

是总体

的未知参数,

是来自总体

的简单随机样本,

是两个统计量,满足

,则称区间

是参数

的区间估计或置信区间,称

为置信区间的置信度。
单侧置信区间:有的置信区间只有一端是统计量,而另一端是已知常数

.这样的置信区间称作单侧置信区间。其中

称作下置信区间,而

称作上置信区间。