最小二乘是一个最简单的二次型凸优化问题，在不考虑约束问题时方式式可写为：

x的求解方法可以有不同的理解，在这里详细讲述线性代数法和矩阵求导求解法

假设A=（m×n）大小的一个矩阵，我们将其理解为一个由n个m維的基向量长成的子空间其解x=（n×1），为n个基向量的组合系数也就是Ax为A长成的子空间上的一个向量。b=（m×1）是一个在空间上的任意姠量。现在我们的目的就是在子空间上找到一个基向量的组合系数构成一个新向量这个向量是整个A长成的平面中距离b的距离最短的向量。

首先我们知道垂直距离最短那么一切就好办了。

将（Ax-b）理解为两个向量之间的距离向量由于垂直距离最短，所以此凸优化问题的最優解即使（Ax-b）垂直于A长成的面即（Ax-b）与A的每一个列向量垂直（相乘为0），故有：

首先此处需要理解基础的矩阵求导（向量求导）相关知識具体可以参见：

以及矩阵的迹的相关知识（在后面整理matrix computing相关的时候会系统讲一下）

现在关于y对x求导可得：

由于我们知道极值处梯度为零，于是根据求得x