范数

    有时我们需要衡量一个向量的大小，在机器学习中，我们常使用被称为范数(norm)的函数衡量向量大小，形式上$L^p$范数定义如下：
$$||x||_{p}=\Bigl(\sum_{i}|x_{i}|^p\Bigr)^{\frac{1}{p}}$$
其中$p\in\Bbb{R},p\ge1$。

    范数(包括$L^p$范数)是将向量映射到非负值的函数。向量x的范数衡量从原点到点x的距离，更严格地说，范数是满足下列性质的任意函数：
$$\bullet f\left(x\right)=0\Rightarrow x = 0$$
$$\bullet f\left(x+y\right) \le f\left(x\right)+f\left(y\right) \left({三角形不等式}\right)$$
$$\bullet \forall\alpha\in\Bbb{R},f\left(\alpha x\right)=|\alpha|f\left(x\right)$$
    当p=2时，$L^2$范数被称为欧几里得范数，表示从原点出发到向量x确定的点的欧几里得距离。$L^2$范数在机器学习中出现比较频繁，经常简化表示为$||x||\$。

    平方$L^2$范数对x中每个元素的导数只取决于对应的元素，而$L^2$范数对每个元素的导数却和整个向量相关。而它在原点附近增长得十分缓慢，区分恰好是零的元素和非零但值很小的元素是很重要的。我们转而使用在各个位置斜率相同，同时保持简单的数学形式的函数：$L^1$范数。可以化简为
$$||x||_{1} = \sum_i|x_{i}|$$
    as