微积分 #

正常该学科的核心应该是微分和积分，只是很多《高等数学》讲解的是微分的一个性质导数。

对于一元函数 $y=f(x)$ 来说，其微分定义为 $dy=f’(x)dx$ ，那么如果将 $dx$ 看做自变量，那么函数 $dy=f’(x)dx$ 就代表了切线。

在一个很小的范围内，就可以通过直线代替曲线，也就是所谓的以直代曲，而洛必达法则、泰勒公式、积分基本定理、牛顿迭代法等，通过这一概念解释就会简单很多。

导数 Derivative #

导数是微积分的形态之一，一般通过极限进行定义。

$$ f’(x_0) = \lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x} = \lim_{\Delta x \to 0} \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x} = \lim_{x \to x_0} \frac{f(x) - f(x_0)}{x - x_0} $$

导数 $f’ (x_0)$ 反映的是函数 $f(x)$ 在点 $x_0$ 处沿 $x$ 轴正方向的变化率。

当 $x$ 的变化量 $\Delta x$ 趋于 0 时，记作微元 $dx$ 。

常用规则 #

根据上述的定义，在实际使用过程中可以整理常用函数的微分，以及一些常见的计算规则。

基本初等函数求导 #

幂函数 #

$$\frac{d}{dx}{x^n}=nx^{n-1}$$

指数函数 #

$$\frac{d}{dx}{a^x}=ln(a)a^x$$

$$\frac{d}{dx}{e^x}=e^x$$

对数函数 #

$$\frac{d}{dx}{log_a(x)}=\frac{1}{xln(a)}$$

$$\frac{d}{dx}{ln(x)}=\frac{1}{x}$$

三角函数 #

$$\frac{d}{dx}{sin(x)}=cos(x)$$

$$\frac{d}{dx}{cos(x)}=-sin(x)$$

$$\frac{d}{dx}{tan(x)}=sin^2(x)=\frac{1}{cos^2(x)}=1+tan^2(x)$$

反三角函数 #

$$\frac{d}{dx}{arcsin(x)}=\frac{1}{\sqrt{1-x^2}} \quad -1 \lt x \lt 1$$

$$\frac{d}{dx}{arccos(x)}=-\frac{1}{\sqrt{1-x^2}} \quad -1 \lt x \lt 1$$

$$\frac{d}{dx}{arctan(x)}=\frac{1}{1+x^2}$$

组合运算规则 #

加法规则 #

$$(\alpha f + \beta g)’ = \alpha f’ + \beta g’$$

乘法规则 #

$$(fg)’ = f’g + fg’$$

除法规则 #

$$\left( \frac{f}{g} \right)’ = \frac{f’g - fg’}{g^2}$$

链接规则 #

假设有 $f(x)=h(g(x))$ ，那么对 $x$ 求导数可得。

$$f’(x) = h’(g(x)) g’(x)$$

偏导数 Partial Derivative #

偏导数是导数在多元函数上的扩展，两者的本质一样，都是当自变量的变化量趋于 $0$ 时，函数值的变化量与自变量变化量比值的极限。

对于曲线来说，其切线只有一条，但对于曲面来说，某个点的切线有无数条。直观地说，偏导数就是函数在某一点上沿坐标轴正方向的变化率。

• $f_x(x,y)$ 指的是函数在 $y$ 方向不变，函数值沿着 $x$ 轴方向的变化率；
• $f_y(x,y)$ 指的是函数在 $x$ 方向不变，函数值沿着 $y$ 轴方向的变化率。

以二元函数为例，相当于一个平面，那么平面上任意一点的切线会有很多条；偏导数就是选择其中一条，并求出它的斜率，最常见的是垂直于 $y$ 轴或者 $x$ 轴的切线。

全导数 total derivative #

方向导数、偏导数是特殊的全导数

矩阵求导 Matrix Derivative #

矩阵的微积分本质上是多元变量的微积分问题，只是应用在矩阵空间上而已。

梯度计算的是单个多元函数的导数，而矩阵求导实际上是针对的多个多元函数求导的表示方法，一行表示一个多元函数的梯度。

求导类型 #

因为存在标量 (Scalar)、向量 (Vector)、矩阵 (Matix) ，那么在求导时，根据分子和分母的区别，分成了如下几类。