前面介绍过EM算法，本文中介绍的MM算法是EM算法的一种更一般形式。当需要优化的问题很复杂，不能得到封闭形式的解时，一个好的数值解通常是需要的。MM算法将原优化问题转化为一系列的简单优化问题，使得问题的求解变得简单。MM的名称起着两个作用：对于最小化问题，分别代表Majorize和Minimize；对于最大化问题，分别代表Minorize和Maximize。后面介绍Majorize和Minorize的概念。 MM算法用一系列简单的优化问题代替一个困难的优化问题。简单体现在（1）避免大矩阵求逆，（2）线性化优化问题，（3）分离优化问题的参数，（4）更优雅的处理等式和不等式约束，（5）将一个不可微 […]

1. 令$A(0,a)$，$a>0$，$B(x_0,0)$上动点，连$AP$，在$AP$上找点$P$，使得$|PB|=\alpha|x_0|$，则$P$点的轨迹方程 \[(\alpha^2a^2-y^2)x^2=(a-y)^2y^2.\] 参数方程为 \[\begin{cases}x=x_0-\frac{\alpha{x_0}|x_0|}{\sqrt{a^2+x_0^2}}\\y=\frac{\alpha{a}|x_0|}{\sqrt{a^2+x_0^2}}\end{cases}\] 当$\alpha=1$时，轨迹方程为： \[(a+y)x^2=(a-y)y^2.\] 图形包含的面积为$(\p […]

前文介绍了变量选择方法初期的发展情况。近几十年，新的方法逐渐发展起来。初期的变量选择方法需要首先选出显著变量（即对响应变量影响显著的变量），然后再估计对应的回归系数。一些新的变量选择方法，通过对回归系数添加惩罚，在实现变量选择的同时，也可以进行估计。下面主要介绍Lasso，Adaptive Lasso（aLasso）和SCAD方法。首先提出先知估计（Oracle estimation）的概念，即模型的显著变量在预先知道的情况下给出的模型的估计，这在实际中是不可能的，所以叫做先知估计，但是可以证明下面的aLasso和SCAD方法的结果与先知估计一样好，即它们具有先知性质（Oracle prope […]

在统计分析中，变量选择是一个重要问题。在进行统计建模的初期，研究人员为了减小系统误差，会尽量将所有观测到的变量加入模型中，但是，由于大量变量的引入，模型的解释变得很困难，模型也很复杂，其中的很多变量也许是和响应变量无关的，或者对响应变量影响很小，可以从模型中剔除。将大量变量中对响应变量影响效果显著的变量选择出来，这就是变量选择。 简单起见，下面只以一般线性模型为例进行介绍，其他模型下可以相应推广。令 \[y=x^T\beta+\epsilon,\] 其中$y$为响应变量，$x$为$p$维自变量，本文假设其每个分量取连续值。$x^T$表示$x$的转置，$\beta$为未知参数，$\epsilon […]