1. 为什么数学中
方差的定义是各个数值与平均数之差的平方的平均数,用公式表示为:
σ2=1n∑i=1n(xi−μ)2
\sigma^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2
σ2=n1i=1∑n(xi−μ)2
而您提到的"单差"(绝对偏差)的公式则是:
MAD=1n∑i=1n∣xi−μ∣
MAD = \frac{1}{n}\sum_{i=1}^n|x_i-\mu|
MAD=n1i=1∑n∣xi−μ∣
使用方差而不是绝对偏差的主要原因有:
数学特性:
方差通过平方可以消除正负号,使得所有偏差都变成正数。而且方差是可导的,这在数学处理上更方便。相比之下,绝对值函数在 x=0x=0x=0 处不可导,这会使得一些数学运算变得困难。
对异常值的敏感度:
假设我们有一组数据 x1,x2,…,xnx_1, x_2, \dots, x_nx1,x2,…,xn,其中有一个异常值特别大。方差中的平方项会给这个异常值更大的权重,使得我们更容易发现数据中的异常情况。例如:
如果一个值偏离均值 222 个单位:
在方差中贡献为: 22=42^2 = 422=4在绝对偏差中贡献为: ∣2∣=2|2| = 2∣2∣=2
统计理论的适用性:
在正态分布中,方差有着特殊的统计意义。如果随机变量 XXX 服从正态分布,其概率密度函数为:
f(x)=1σ2πe−(x−μ)22σ2
f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
f(x)=σ2π1e−2σ2(x−μ)2
这里的 σ2\sigma^2σ2 就是方差,它直接关系到分布的"形状"。
线性变换的性质:
对于随机变量 XXX,如果进行线性变换 aX+baX + baX+b,其方差有简单的关系:
Var(aX+b)=a2Var(X)
Var(aX + b) = a^2Var(X)
Var(aX+b)=a2Var(X)
这种性质在统计分析中非常有用。
总的来说,虽然绝对偏差在概念上可能更直观,但方差在数学处理、统计理论和实际应用中都具有更多的优势。这就是为什么在统计学中更常用方差而不是绝对偏差的原因。
2. 方差有着特殊的统计意义 科学依据在哪
让我详细解释方差的统计学意义及其科学依据。
中心极限定理的基础
中心极限定理指出,当样本量足够大时,样本均值的分布会近似服从正态分布。这里方差起着关键作用。对于独立同分布的随机变量 X1,X2,...,XnX_1, X_2, ..., X_nX1,X2,...,Xn:
Xˉn−μσ/n→dN(0,1)
\frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} N(0,1)
σ/nXˉn−μdN(0,1)
其中 σ2\sigma^2σ2 是方差,这个定理为什么选择方差而不是绝对偏差,是因为:
最小二乘法的理论基础
高斯-马尔可夫定理证明,在线性回归中,当误差项满足以下条件时:
期望为0:E(ϵi)=0E(\epsilon_i) = 0E(ϵi)=0方差恒定:Var(ϵi)=σ2Var(\epsilon_i) = \sigma^2Var(ϵi)=σ2
最小二乘估计是最佳线性无偏估计(BLUE)。这里的证明过程依赖于方差的数学性质,特别是方差的可加性:
Var(aX+bY)=a2Var(X)+b2Var(Y)
Var(aX + bY) = a^2Var(X) + b^2Var(Y)
Var(aX+bY)=a2Var(X)+b2Var(Y)
信息论联系
在信息论中,高斯分布是给定方差下熵最大的连续分布。其熵为:
H(X)=12ln(2πeσ2)
H(X) = \frac{1}{2}\ln(2\pi e\sigma^2)
H(X)=21ln(2πeσ2)
这表明方差与信息量有着本质联系。
随机游走与布朗运动
在描述粒子运动时,方差与时间的关系:
σ2(t)=2Dt
\sigma^2(t) = 2Dt
σ2(t)=2Dt
其中 DDD 是扩散系数。这个关系使用方差而不是绝对偏差,是因为布朗运动的基本性质。
最大似然估计
对于正态分布数据,样本方差是总体方差的最大似然估计:
σ^2=1n∑i=1n(xi−xˉ)2
\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2
σ^2=n1i=1∑n(xi−xˉ)2
这个估计具有一系列优良的统计性质,比如:
无偏性一致性渐近正态性
统计力学联系
在统计力学中,系统的能量波动与方差有关:
⟨E2⟩−⟨E⟩2=kT2∂⟨E⟩∂T
\langle E^2 \rangle - \langle E \rangle^2 = kT^2\frac{\partial \langle E \rangle}{\partial T}
⟨E2⟩−⟨E⟩2=kT2∂T∂⟨E⟩
这个关系使用方差而不是绝对偏差,是因为能量分布的基本物理性质。
谱分析应用
在信号处理中,功率谱密度函数实际上是信号方差在频率域的分解:
σ2=∫−∞∞S(f)df
\sigma^2 = \int_{-\infty}^{\infty} S(f)df
σ2=∫−∞∞S(f)df
这些科学依据表明,方差不仅仅是一个统计量,而是与物理世界的基本规律有着深刻联系。它之所以被广泛使用,是因为它在理论推导和实际应用中都展现出了独特的优势和普适性。