可微分凸函数

创建于 2024-12-03 / 28

字体： [默认] [大] [更大]

设 S 是 $mathbb{R}^n$ 中的一个非空开集，则如果存在一个向量 $\bigtriangledown fleft ( hat{x} ight )$（称为梯度向量）和一个函数 $alpha :mathbb{R}^n ightarrow mathbb{R}$，并且

，则称 $f:S ightarrow mathbb{R}$ 在 $hat{x} in S$ 处可微。

$fleft ( x ight )=fleft ( hat{x} ight )+\bigtriangledown fleft ( hat{x} ight )^Tleft ( x-hat{x} ight )+left | x=hat{x} ight |alpha left ( hat{x}, x-hat{x} ight ), fforall x in S$ 其中

$alpha left (hat{x}, x-hat{x} ight ) ightarrow 0 \bigtriangledown fleft ( hat{x} ight )=left [ ffrac{partial f}{partial x_1}ffrac{partial f}{partial x_2}...ffrac{partial f}{partial x_n} ight ]_{x=hat{x}}^{T}$

定理

设 S 为 $mathbb{R}^n$ 中的非空开凸集，并设 $f:S ightarrow mathbb{R}$ 在 S 上可微。那么，当且仅当对于 $x_1,x_2 in S, \bigtriangledown fleft ( x_2 ight )^T left ( x_1-x_2 ight ) leq fleft ( x_1 ight )-fleft ( x_2 ight )$，f 才是凸函数。

证明

设 f 为凸函数。即，对于 $x_1,x_2 in S, lambda in left ( 0, 1 ight )$

$fleft [ lambda x_1+left ( 1-lambda ight )x_2 ight ]leq lambda fleft ( x_1 ight )+left ( 1-lambda ight )fleft ( x_2 ight )$

$ Rightarrow fleft [ lambda x_1+left ( 1-lambda ight )x_2 ight ]leq lambda left ( fleft ( x_1 ight )-fleft ( x_2 ight ) ight )+fleft ( x_2 ight )$

$ Rightarrowlambda left ( fleft ( x_1 ight )-fleft ( x_2 ight ) ight )geq fleft ( x_2+lambda left ( x_1-x_2 ight ) ight )-fleft ( x_2 ight )$

$Rightarrow lambda left ( fleft ( x_1 ight )-fleft ( x_2 ight ) ight )geq fleft ( x_2 ight )+\bigtriangledown fleft ( x_2 ight )^Tleft ( x_1-x_2 ight )lambda +$

$left | lambda left ( x_1-x_2 ight ) ight |alpha left ( x_2,lambdaleft (x_1 - x_2 ight )-fleft ( x_2 ight ) ight )$

其中 $alphaleft ( x_2, lambdaleft (x_1 - x_2 ight ) ight ) ightarrow 0$ 等于$lambda ightarrow 0$

两边除以 $lambda$，我们得到 −

$fleft ( x_1 ight )-fleft ( x_2 ight ) geq \bigtriangledown fleft ( x_2 ight )^T left ( x_1-x_2 ight )$

逆

设对于 $x_1,x_2 in S, \bigtriangledown fleft ( x_2 ight )^T left ( x_1-x_2 ight ) leq fleft ( x_1 ight )-f left ( x_2 ight )$

证明 f 是凸的。

由于 S 是凸的，$x_3=lambda x_1+left (1-lambda ight )x_2 in S, lambda in left ( 0, 1 ight )$

由于 $x_1, x_3 in S$，因此

$fleft ( x_1 ight )-f left ( x_3 ight ) geq \bigtriangledown fleft ( x_3 ight )^T left ( x_1 -x_3 ight )$

$ Rightarrow fleft ( x_1 ight )-f left ( x_3 ight )geq \bigtriangledown fleft ( x_3 ight )^T left ( x_1 - lambda x_1-left (1-lambda ight )x_2 ight )$

$ Rightarrow fleft ( x_1 ight )-f left ( x_3 ight )geq left ( 1- lambda ight )\bigtriangledown fleft ( x_3 ight )^T left ( x_1 - x_2 ight )$

由于，$x_2, x_3 in S$ 因此

$fleft ( x_2 ight )-fleft ( x_3 ight )geq \bigtriangledown fleft ( x_3 ight )^Tleft ( x_2-x_3 ight )$

$Rightarrow fleft ( x_2 ight )-fleft ( x_3 ight )geq \bigtriangledown fleft ( x_3 ight )^Tleft ( x_2-lambda x_1-left ( 1-lambda ight )x_2 ight )$

$Rightarrow fleft ( x_2 ight )-fleft ( x_3 ight )geq left ( -lambda ight )\bigtriangledown fleft ( x_3 ight )^Tleft ( x_1-x_2 ight )$

因此，结合上述方程，我们得到 −

$lambda left ( fleft ( x_1 ight )-fleft ( x_3 ight ) ight )+left ( 1- lambda ight )left ( fleft ( x_2 ight )-fleft ( x_3 ight ) ight )geq 0$

$Rightarrow fleft ( x_3 ight )leq lambda fleft ( x_1 ight )+left ( 1-lambda ight )fleft ( x_2 ight )$

定理

设 S 为 $mathbb{R}^n$ 中的非空开凸集，且设 $f:S ightarrow mathbb{R}$ 在 S 上可微，则 f 在 S 上凸当且仅当对于任何 $x_1,x_2 in S,left ( \bigtriangledown f left ( x_2 ight )-\bigtriangledown f left ( x_1 ight ) ight )^T left ( x_2-x_1 ight ) geq 0$

证明

设 f 为凸函数，则利用前面的定理 −

$\bigtriangledown fleft ( x_2 ight )^Tleft ( x_1-x_2 ight )leq fleft ( x_1 ight )-fleft ( x_2 ight )$ 且

$\bigtriangledown fleft ( x_1 ight )^Tleft ( x_2-x_1 ight )leq fleft ( x_2 ight )-fleft ( x_1 ight )$

将上述两个方程相加，得到 −

$\bigtriangledown fleft ( x_2 ight )^Tleft ( x_1-x_2 ight )+\bigtriangledown fleft ( x_1 ight )^Tleft ( x_2-x_1 ight )leq 0$

$Rightarrow left ( \bigtriangledown fleft ( x_2 ight )-\bigtriangledown fleft ( x_1 ight ) ight )^Tleft ( x_1-x_2 ight )leq 0$

$Rightarrow left ( \bigtriangledown fleft ( x_2 ight )-\bigtriangledown fleft ( x_1 ight ) ight )^Tleft ( x_2-x_1 ight )geq 0$

逆

设对于任意 $x_1,x_2 in S,left (\bigtriangledown f left ( x_2 ight )- \bigtriangledown f left ( x_1 ight ) ight )^T left ( x_2-x_1 ight )geq 0$

证明 f 是凸的。

设 $x_1,x_2 in S$，因此根据均值定理，$ffrac{fleft ( x_1 ight )-fleft ( x_2 ight )}{x_1-x_2}=\bigtriangledown fleft ( x ight ),x in left ( x_1-x_2 ight ) Rightarrow x= lambda x_1+left ( 1-lambda ight )x_2$ 因为 S 是凸集。

$Rightarrow fleft ( x_1 ight )- fleft ( x_2 ight )=left ( \bigtriangledown fleft ( x ight )^T ight )left ( x_1-x_2 ight )$

对于 $x,x_1$，我们知道 −

$left ( \bigtriangledown fleft ( x ight )-\bigtriangledown fleft ( x_1 ight ) ight )^Tleft ( x-x_1 ight )geq 0$

$Rightarrow left ( \bigtriangledown fleft ( x ight )-\bigtriangledown fleft ( x_1 ight ) ight )^Tleft ( lambda x_1+left ( 1-lambda ight )x_2-x_1 ight )geq 0$

$Rightarrow left ( \bigtriangledown fleft ( x ight )- \bigtriangledown fleft ( x_1 ight ) ight )^Tleft ( 1- lambda ight )left ( x_2-x_1 ight )geq 0$

$Rightarrow \bigtriangledown fleft ( x ight )^Tleft ( x_2-x_1 ight )geq \bigtriangledown fleft ( x_1 ight )^Tleft ( x_2-x_1 ight )$

结合上述方程，我们得到−

$Rightarrow \bigtriangledown fleft ( x_1 ight )^Tleft ( x_2-x_1 ight )leq fleft ( x_2 ight )-fleft ( x_1 ight )$

因此，使用最后一个定理，f 是一个凸函数。

二次可微函数

设 S 是 $mathbb{R}^n$ 的一个非空子集，并设 $f:S ightarrow mathbb{R}$，则如果存在一个向量 $\bigtriangledown fleft (\bar{x} ight )、一个 :nXn$ 矩阵 $Hleft (x ight )$（称为 Hessian 矩阵）和一个函数，则称 f 在 $\bar{x} in S$ 处是二次可微的$alpha:mathbb{R}^n ightarrow mathbb{R}$ 使得 $fleft ( x ight )=fleft ( \bar{x}+x-\bar{x} ight )=fleft ( \bar{x} ight )+\bigtriangledown fleft ( \bar{x} ight )^Tleft ( x-\bar{x} ight )+ffrac{1}{2}left ( x-\bar{x} ight )Hleft ( \bar{x} ight )left ( x-\bar{x} ight )$

其中 $ alpha left ( \bar{x}, x-\bar{x} ight ) ightarrow Oasx ightarrow \bar{x}$

0 人点赞过