数字图像处理

ch01 数字图像处理概述

考点: 图像采样和量化

• 图像采样:用有限的样本数目去近似无限的现实物理信号;或简而言之,有限近似无限. (像素)
• 图像量化:用离散计算机表示去近似连续的现实物理信号;或简而言之,离散近似连续. (灰度值)
  • 有大量细节的图像, 需要的量化级数较少

ch02 空间域图像增强1

考点: 灰度变换, 直方图

基本灰度变换

• 三类基本函数: 线性函数, 对数函数, 幂律函数

图像反转

• $S=L-1-r$, $L=2^b$
• 增强嵌入在暗区域中的白色或灰色细节

对数变换

• $s=c\log (1+r)$
  • $1+r$是因为$r=0$对应$s=0$
  • 低灰度值拉伸
  • 高灰度值压缩
  • 在原本有很大但是出现次数很少的数据时, 可以看到更多细节

幂律变换

• $s=cr^\gamma$
• 可以调整$\gamma$
• 伽马变换
• 可以通过$1/\gamma$的幂律变换变回原图
• $\gamma<1$:
  • 细节增加, 对比度降低
• $\gamma > 1$
  • 细节减少, 对比度增加

分段线性函数

• 只拉伸某些灰度级上的对比度
• 对比拉伸函数
  • 单调递增
    
  • 当$r_1=s_1$, $r_2=s_2$时, 为线性函数
  • 当$r_1=r_2$, $s_1=0$, $s_2=L-1$时, 为阈值处理函数

• 灰度级分层

  

• 比特平面分层

  • 突出特定比特的作用
    • 8比特图像可认为由8个1比特平面组成
  • 高阶比特平面包含视觉上重要的数据
  • 低阶比特平面贡献了更精细的灰度细节
  • 应用:
    • 确定量化该图像比特数的充分性
    • 图像压缩
      • 伪轮廓

灰度直方图

• 灰度直方图

  • 图像中每种灰度级的像素个数
  • 灰度直方图的横坐标是灰度级,纵坐标表示该灰度级出现的频率, 记做$H(D)$

• 阈值面积函数A(D)

  • $A(D)=\int_D^\infty H(p)dp$
  • 连续图像中具有灰度级$\ge D$的轮廓线所包围的面积

• 概率密度函数PDF

  • 归一化到单位面积的直方图
  • $PDF=P(D)=\frac{1}{A_0}H(D)$

• 累计分布函数CDF

  • 归一化后灰度级$\le D$的轮廓线所包围的面积
  • $CDF=P(D)=\int_0^D p(u)du=\frac{1}{A_0}\int_0^D H(u)du$

• $H(D)=-\frac{d}{dD}A(D)$

  • 数字图像中简化为$H(D)=A(D)-A(D+1)$

• 计算灰度值的实现:

  • 遍历 + 计数

• 应用:

  • 图像快速检测: 利用灰度直方图来判断一幅图像是否合理的利用了全部被允许的灰度级范围
  • 分割前景背景

  

  • 面积计算
    • 图像背景灰度大体均匀一致,且背景与物体对比度很强
    • $\int_{D_1}^\infty H(D)dD=$物体的面积

ch03 直方图处理

考点: 直方图均衡化

直方图均衡化

• 直方图呈均匀分布时,对比度会有明显增强。通过灰度变换函数,将原图像直方图的分布均衡化,这一过程称为直方图均衡化

• 输入图像灰度值概率密度$p_r(r)$

• 变换函数$s=T(r)$
• 输出图像灰度值概率密度$p_s(s)$ $$p_s(s)=p_r(r)\left|\frac{dr}{ds}\right|=p_r(r)\left|\left(\frac{ds}{dr}\right)^{-1}\right|$$
• 如何设计$T(r)$使得$p_s(s)$成为均匀分布?
• 变换函数 $$s=T(r)=(L-1)\int_0^r p_r(w)dw$$
  • 单调递增
  • 属于区间$[0,L-1]$
• 效果: $\frac{ds}{dr}=(L-1)p_r(r)$, $p_s(s)=p_r(r)\left|\left(\frac{ds}{dr}\right)^{-1}\right|=\frac{1}{L-1}$
• 离散直方图
  • 输入图像灰度级$r_k$的概率近似为 $$p_r(r_k)=\frac{n_k}{MN}, k=0,1,2,\cdots,L-1$$ 其中M, N为原图像的长和宽.
  • 离散变换函数(直方图均衡) $$s_k=T(r_k)=(L-1)\sum_{j=0}^k p_r(r_j)=\frac{L-1}{MN}\sum_{j=0}^k n_j, k=0,1,\cdots,L-1$$
  • 需要舍入, 有误差

ch04 空间滤波、算数操作增强

考点: 空间相关与卷积, 平滑空间滤波器, 锐化空间滤波器, 算术增强操作

空间相关与卷积

• 相关(Correlation): 平移滤波器模板,计算每个位置乘积之和
  • 步骤: 补零、计算、滑动、裁剪
  • 用于寻找匹配
  • 符号$\bigstar$

• 

• 卷积(Convolution): 与相关相似,但滤波器要旋转180度. 符号☆

平滑空间滤波器

• 平滑线性滤波器
  • 均值滤波器: 即先求和再归一化. 降噪, 但是边缘模糊.
  • 加权线性滤波器: 非均匀权重(一般中间高), 降低模糊
• 统计排序滤波器
  • 非线性滤波器
    • 对滤波器覆盖的像素排序
    • 用排序决定的值替代中心像素
  • 中值滤波器
  • 最大值滤波器
  • 最小值滤波器

锐化空间滤波器

• 目的: 突出灰度的过渡部分
• $\frac{\partial f}{\partial x}=f(x+1)-f(x)$, $\frac{\partial^2 f}{\partial x^2}=f(x+1)+f(x-1)-2f(x)$
• 拉普拉斯算子:
  • 标准形式 $\nabla^2f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)$
  • 对角线形式

• 使用拉普拉斯算子算子来进行锐化 $$g(x,y)=f(x,y)+c[\nabla^2f(x,y)]$$
  • 采用负的中心系数, $c=-1$; 采用正的中心系数, $c=1$
• 非锐化掩蔽: 从原图像减去一幅非锐化版本
  • 模糊原图像$\overline f(x,y)$
  • 从原图像减去模糊图像,得到模板$g_{mask}(x,y)=f(x,y)-\overline f(x,y)$
  • 将模板加到原图像 $g(x,y)=f(x,y)+k\times g_{mask}(x,y)$
  • 非锐化掩蔽$k=1$; 高提升滤波$k>1$
• 使用一阶导数对图像锐化: 利用梯度的大小
  • 梯度: 最大变化率的方向
  • 线性算子$\nabla f=\text{grad}(f)=\left[\begin{matrix}g_x\\g_y\end{matrix}\right]=\left[\begin{matrix}\partial f/\partial x\\\partial f/\partial y\end{matrix}\right]$
  • 大小: $M(x,y)=\text{mag}(\nabla f)=\sqrt{g_x^2+g_y^2}$
  • 近似: $M(x,y)\approx|g_x|+|g_y|$
  • 
  • 

算数操作增强

• 算术/逻辑操作主要以像素对像素为基础在两幅或多幅图像间进行
• 加法:
  • 减少图像中的随机噪声.
  • 原因: 对M幅加性噪声图像进行平均,可以使图像的平方信噪比提高M倍
• 减法:
  • 做差再做下直方图均衡化
  • 应用: 指纹抽取, 掩膜式X光成像法
  • 作差后可能有负数, 需要规范化
    • $y=(x+255)/2$
    • $y=(x-\min)/(\max-\min) \times 255$
• 乘法: 通常用来进行掩模运算
• 除法: 通常可以用来归一化

ch05 集合逻辑操作、空间操作、灰度内插

考点: 仿射变换, 灰度内插(线性, 双线性)

仿射变换

• 仿射变换(Affine Transformation)包括了旋转、伸缩、平移、倾斜等变换
• $$x=t_{11}v+t_{21}w+t_{31}\\ y=t_{12}v+t_{22}w+t_{32}$$
  • $t_{31}$和$t_{32}$刻画了平移量
  • $t_{11}$和$t_{22}$刻画了伸缩比例
  • $t_{12}$和$t_{21}$刻画了倾斜程度
  • 整体组合刻画了平移、旋转角度、倾斜程度
  • 矩阵形式 $$\left[\begin{matrix}x&y&1\end{matrix}\right]=\left[\begin{matrix}v&w&1\end{matrix}\right]T=\left[\begin{matrix}v&w&1\end{matrix}\right] \left[\begin{matrix}t_{11}&t_{12}&0\\t_{21}&t_{22}&0\\t_{31}&t_{32}&1\end{matrix}\right]$$

• 优点:
  • 保持共线性(co-linearity): 共线的点变换后依然共线
  • 保持距离比例(ratios of distance): 线的中心变换后依然是线的中心

• 复杂仿射变换:
  • 通过一系列仿射变换操作完成
    • 因为仿射变换的组合还是仿射变换
  • 矩阵形式
    • $\left[\begin{matrix}x&y&1\end{matrix}\right]=\left[\begin{matrix}v&w&1\end{matrix}\right]T_1T_2\cdots$, $T_i$是基本仿射变换
  • 逆仿射变换
    • 基本变换矩阵都是可逆矩阵
• 仿射变换
  • 前向影射
    • 根据$(v,w)$求$(x,y)=T\{(v,w)\}$
    • 多个输入对应一个输出、空白输出
  • 反向映射
    • 根据$(x,y)$求$(v,w)=T^{-1}\{(x,y)\}$
    • 灰度内插

灰度内插(线性, 双线性)

ch06 连续傅里叶变换

ch6, ch7考点: 傅里叶变换, 卷积定理, 采样定理

傅里叶变换

• 非周期函数也可以表示为不同频率的正弦函数和/或余弦函数加权之后的积分.

连续傅里叶变换

• 连续函数$f(t)$的傅里叶变换 $$\mathscr F\{f(t)\}=\int_{-\infty}^{\infty}f(t)e^{-j2\pi\mu t}dt$$
  • 其中$\mu$是连续变量
• 表示成$\mu$的函数 $$F(\mu)=\int_{-\infty}^\infty f(t)e^{-j2\pi\mu t}dt$$
  • 欧拉公式 $$F(\mu)=\int_{-\infty}^\infty f(t)[\cos(2\pi \mu t)-j\sin(2\pi \mu t)]dt$$
  • 通常是复数
  • $\mu$出现在三角函数内,代表频率
  • $t$是秒、 $\mu$是周/秒(赫兹)
  • $t$是米、 $\mu$是周/米

傅里叶变换对

• 傅里叶变换 $$F(\mu)=\int_{-\infty}^\infty f(t)e^{-j2\pi\mu t}dt$$
• 傅里叶反变换 $$f(t)=\int_{-\infty}^\infty F(\mu)e^{2\pi\mu t}d\mu$$

卷积定理

• 连续函数的卷积 $$f(t)\star h(t)=\int_{-\infty}^\infty f(\tau)g(t-\tau)d\tau$$
  • $t$是位移, 负号表示反转

• 平移性质

  $$\mathscr F\{h(t-\tau)\}=H(\mu)e^{-j2\pi\mu\tau}$$

• 卷积定理

  • 空间域卷积的傅里叶变换 <==> 傅里叶变换在频率域的乘积 $$f(t)\star h(t)<==>H(\mu)F(\mu)$$
  • 空间域乘积的傅里叶变换 <==> 傅里叶变换在频率域的卷积 $$f(t)h(t)<==>H(\mu)\star F(\mu)$$

采样定理

• 如果以超过函数最高频率的两倍采样率来获得样本, 连续的带限函数可以完美地从它的样本集来恢复。
• 带限函数$f(t)$: 傅里叶变换后非零频率属于$[-\mu_\max,\mu_\max]$.

• $f(t)$原函数, $\tilde F(\mu)$: 采样后函数$\tilde f(t)$的傅里叶变换. $F(\mu)$: $f(t)$的傅里叶变换. 即

  $$\tilde f(t)=f(t)s_{\Delta T}(t)=\sum_{n=-\infty}^\infty f(t)\delta(t-n\Delta T)\\ \tilde F(\mu)=F(\mu)\star S(\mu)\\ S(\mu)=\frac{1}{\Delta T}\sum_{n=-\infty}^{\infty}\delta (\mu-\frac{n}{\Delta T})\\ \text{采样值} f_k=f(k\Delta T)$$

• 如果

  $$\frac{1}{2\Delta T}>\mu_{\max}$$

  就可以从$\tilde F(\mu)$中分离出$F(\mu)$. 注意等号不可以. $2\mu_\max$称为奈奎斯特频率。

  

• 二维采样定理:在两个维度上都要满足一维采样定理

混淆

• 采样是有限的,所以实际中难以避免混淆。
• 一个带限函数一定是从$-\infty$扩展到$\infty$, 没有有限持续时间的函数是带限的。有限⻓度的采样,混淆是不可避免的。
• 抗混淆:
  • 事先防止或减轻混淆
  • 平滑输入函数,减少高频分量

有限⻓度采样

• 采样时间限制在$[0,T]$,

  $$h(t)=\begin{cases}1&0\le t\le T\\ 0&\text{otherwise}\end{cases}$$

• 函数已经发生变换

  $$f(t)==>f(t)h(t)$$
• $f(t)h(t)$通常是无限带宽 $$f(t)h(t)<==>H(\mu)F(\mu)$$
  • $H(\mu)$有无限频率

ch07 离散傅里叶变换

离散傅里叶变换

• 对$\tilde F(\mu)$的一个周期$[0,1/\Delta T]$采样(周期不是$[-\frac{1}{2\Delta T}, \frac{1}{2\Delta T}]$)

  $$\mu=\frac{m}{M\Delta T}\qquad m=0,1,2,\cdots,M-1$$

• 考虑$M$个样本构造的$\tilde F(\mu)$

  $$\tilde F(\mu)=\sum_{n=0}^{M-1}f_ne^{-j2\pi \mu \Delta T}$$

• 离散傅里叶变换

  $$F_m=\sum_{n=0}^{M-1}f_ne^{-j2\pi mn/M}\qquad m=0,1,2,\cdots,M-1$$

离散傅里叶变换对

• 离散傅里叶变换 $$F(u)=\sum_{n=0}^{M-1}f(x)e^{-j2\pi ux/M}\qquad u=0,1,2,\cdots,M-1$$
• 离散傅里叶逆变换 $$f(x)=\frac{1}{M}\sum_{n=0}^{M-1}F(u) e^{j2\pi ux/M}\qquad x=0,1,2,\cdots,M-1$$
  • 表达式不依赖采样间隔、频率间隔
  • 适用于任何均匀取样的有限离散样本集
• 无限周期, 周期为$M$ $$F(u)=F(u+kM)\\ f(x)=f(x+kM)$$
• 离散卷积 $$f(x)\star h(x)=\sum_{m=0}^{M-1}f(m)h(x-m)$$
  • $x=0,1,2,\cdots,M-1$
  • 周期函数, 也称为循环卷积
  • 与之前的卷积不一样,主要区别是$x$.
  • 卷积定理依然成立

二维傅里叶变换

• 二维连续傅里叶变换对
  • 二维傅里叶变换 $$F(\mu,\nu)=\int_{-\infty}^\infty\int_{-\infty}^\infty f(t,z)e^{-j2\pi (\mu t+\nu z)}dtdz$$
  • 二维傅里叶反变换 $$f(t,z)=\int_{-\infty}^\infty\int_{-\infty}^\infty F(\mu,\nu)e^{j2\pi (\mu t+\nu z)}d\mu d\nu$$

二维采样定理

• 带限函数$f(t,z)$
  • 区间$[-\mu_\max,\mu_\max]$和$[-\nu_\max,\nu_\max]$之外的频率分量为0 $$F(\mu,\nu)=0\text{ for }|\mu|\ge \mu_\max\text{ or }|\nu|\ge \nu_\max$$
• 如果采样间隔满足 $$\Delta T<\frac{1}{2\mu_\max}\qquad \Delta Z<\frac{1}{2\nu_\max}$$ 则连续带限函数可以由一组样本完美恢复

混淆

• 空间混淆
  • 欠采样
  • 锯齿、伪高光、虚假模式(例如棋盘模式, 摩尔模式)
• 时间混淆
  • 图像系列中的时间间隔有关
  • 例如电影中车轮倒转

    二维离散傅里叶变换

• 二维离散傅里叶变换对
  • 二维离散傅里叶变换 $$F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)e^{-j2\pi (ux/M+vy/N)}$$
  • 二维离散傅里叶反变换 $$f(x,y)=\frac{1}{MN}\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)e^{j2\pi (ux/M+vy/N)}$$
    • $x=0,1,\cdots,M-1, y=0,1,\cdots,N-1$

• 基本性质

  • 对连续函数$f(t,z)$采样

    • $t$方向上以$\Delta T$为间隔采N个样本
    • $z$方向上以$\Delta Z$为间隔采M个样本
    • 两个方向上的总时间$T=M\Delta T$, $Z=N\Delta Z$
    • 离散频域中的间隔$\Delta u=\frac{1}{M\Delta T}$, $\Delta v=\frac{1}{N\Delta Z}$
    • 离散频域范围$\frac{1}{\Delta T}, \frac{1}{\Delta Z}$

  • 平移性: 平移不影响幅值

  • 旋转性: $f(x,y)$旋转 ,则$F(u,v)$旋转相同的角度
  • 周期性: 在2个方向上是无限周期的 $$F(u,v)=F(u+k_1M,v+k_2N)\\ f(x,y)=f(x+k_1M,y+k_2N)$$
  • 对称性: 任意函数$w(x,y)$分成奇部分$w_e$和偶部分$w_o$ $$w_e(x,y)=w_e(M-x,N-y)\\ w_o(x,y)=-w_o(M-x,N-y)$$
  • 实函数$f(x,y)$的傅里叶变换是共轭对称 $$F^*(u,v)=F(-u,-v)$$
  • 虚函数$f(x,y)$的傅里叶变换是共轭反对称 $$F^*(-u,-v)=-F(u,v)$$
• 二维DFT的极坐标 $$F(u,v)=|F(u,v)|e^{j\phi(u,v)}$$
• 幅度(傅里叶谱) $|F(u,v)|$
• 相角$[-\pi,\pi]$ $$\phi(u,v)=\arctan [\frac{I(u,v)}{R(u,v)}]$$
• 功率谱: 傅里叶谱的平方
• 实函数$f(x,y)$的傅里叶变换是共轭对称
  • 傅里叶谱关于原点偶对称
  • 相角关于原点奇对称
• $F(0,0)$通常为谱的最大分量, 称为直流分量(频率为0), 是变化最慢的分量,与平均灰度成正比
• 低频对应于图像中缓慢变化的灰度(墙)
• 高频对应于图像中剧烈变化的灰度(边缘)
• $f(x,y)(-1)^{x+y}$<==>$F(u-M/2,v-N/2)$
• 平移不改变傅里叶谱
• 图像旋转, 谱图旋转同样的角度
• 相角差异巨大,可视信息少
• 傅里叶谱决定了正弦波的幅度,表示灰度
• 相角表示正弦波的位移,携带了定位信息

二维卷积定理

$$f(x,y)\star h(x,y)<=>F(u,v)H(u,v)\\ f(x,y)h(x,y)<=>F(u,v)\star H(u,v)$$

ch08 频率域滤波、平滑图像

考点: 频域滤波的一般流程, 三种低通滤波器

频域滤波的一般流程

三种低通滤波器

衰减高频而通过低频,模糊图像; 低频对应于图像中缓慢变换的灰度

理想低通滤波器

• 数学定义

  $$H(u,v)=\begin{cases}1&\text{if }D(u,v)\le D_0\\0&\text{if }D(u,v)> D_0 \end{cases}$$
  • $D_0$是常数, $D(u,v)$为到中心的距离
  • 理想: 低频完全保留, 高频完全抑制
  • 硬件无法实现
  • 会出现振铃( ringing )现象: 一圈一圈
    • 半径越大越清晰

  

巴特沃斯低通滤波器

$n$阶巴特沃斯低通滤波器

$$H(u,v)=\frac{1}{1+[D(u,v)]^{2n}}$$

• $D(u,v)$为到中心距离, $D_0$截止频率($H(u,v)$下降到某个百分比)
• 没有振铃

高斯低通滤波器

• 数学定义 $$H(u,v)=e^{-D^2(u,v)/2\sigma^2}$$
• 令$\sigma=D_0$ 截止频率.
• $D(u,v)=D_0$时, $H(u,v)=0.607$
• 没有振铃

• 巴特沃斯低通滤波器更模糊
• 应用
  • 字符识别: 字符不清晰、断裂,低通滤波器修复
  • 印刷, 图片美容
  • 卫星图片

ch09 锐化图像、选择性滤波、实现

考点: 三种高通滤波器, 拉普拉斯算子

高通滤波器

• 用于锐化图像, 衰减低频而通过高频,强化细节
• 高频对应于图像中剧烈变化的灰度
• 从低通构造高通: $$H_{HP}(u,v)=1-H_{LP}(u,v)$$

理想高通滤波器

• 数学定义 $$H(u,v)=\begin{cases}0&\text{if }D(u,v)\le D_0\\1&\text{if }D(u,v)> D_0 \end{cases}$$
  • 低频完全抑制, 高频完全保留
• 多峰导致振铃现象

巴特沃斯高通滤波器

• $n$阶巴特沃斯(Butterworth)高通滤波器 $$H(u,v)=\frac{1}{1+[D_0/D(u,v)]^{2n}}$$
• 轻微振铃

高斯高通滤波器

• $$H(u,v)=1-e^{-D^2(u,v)/2\sigma^2}$$
• 高斯滤波的结果更清晰一些

高通滤波器对比

应用:

• 指纹增强: 去掉斑点、增强纹路

拉普拉斯算子

• 频率域的拉普拉斯算子:
  • 拉普拉斯算子 $$\nabla^2f=\frac{\partial^2 f}{\partial x^2}+\frac{\partial^2 f}{\partial y^2}$$
  • 傅里叶变换 $$\nabla^2 f(t,z)<=>-4\pi^2(\mu^2+\nu^2)F(\mu,\nu)$$
  • 频域滤波器 $$H(u,v)=-4\pi^2(u^2+v^2)$$
  • 频域滤波器(中心化) $$H(u,v)=-4\pi^2 D^2(u,v)$$
• 拉普拉斯图像 $$\nabla^2f(x,y)=\mathscr F^{-1}\{H(u,v)F(u,v)\}$$
• 图像锐化: $$g(x,y)=f(x,y)+c\nabla^2f(x,y)$$
  • $c=-1$
  • $f(x,y)$归一化到$[0,1]$, 再计算DFT
  • $\nabla^2 f(x,y)$归一化到$[-1,1]$
• 频率域写法 $$g(x,y)=\mathscr F^{-1}\{F(u,v)-H(u,v)F(u,v)\}=\mathscr F^{-1}\{[1+4\pi^2D^2(u,v)]F(u,v)\}$$
  • 简洁、但同样存在量纲的问题

ch10 图像复原

考点: 图像复原vs图像增强. 噪声模型, 统计排序滤波器

图像复原vs图像增强

• 图像复原
  • 以预先制定的目标改善图像,客观
  • 对模糊图像去模糊
  • 利用退化现象的先验知识来恢复图像
• 图像增强
  • 由人的主观感受来评判,主观
  • 对比度拉伸、增强
• 图像退化/复原建模: 目标$f(x,y)=\hat f(x,y)$
  • 输入$f(x,y)$
  • 退化函数$H$
  • 加性噪声$\eta(x,y)$
  • 复原滤波器
  • 输出$\hat f(x,y)$

噪声模型

• 噪声来源
  • 图像获取:环境条件、传感器质量
  • 图像传输:无线信号被干扰
• 刻画噪声
  • 空间域和频率域特点
    • 白噪声:傅里叶变换后为常数
  • 噪声是否和图像相关
• 高斯噪声, 瑞利噪声, 爱尔兰(伽马)噪声, 指数噪声, 均匀噪声
• 脉冲(椒盐)噪声: 盐: 白色; 胡椒: 黑色

• 周期噪声:
  • 通常由电力或机电干扰产生
  • 噪声与空间位置有关
  • 可以通过频域率滤波复原
• 噪声参数估计
  • 周期噪声: 通过检查傅里叶谱、图像本身(简单情况)
  • 一般噪声的PDF:
    • 查看传感器说明书
    • 主动成像去估计参数,如拍摄纯色的物体
    • 从图像的局部稳定区域来估计噪声 $$\overline z=\sum_{i=0}^{L-1}z_ip_S(z_i)\\ \sigma^2=\sum_{i=0}^{L-1}(z_i-\overline z)^2p_S(z_i)$$
  • 根据形状识别PDF的类型
  • 根据均值和方差来计算具体参数
  • 脉冲噪声则直接估计概率

统计排序滤波器

• 中值滤波器: $$\hat f(x,y)=\text{median}_{(s,t)\in S_{xy}}\{g(s,t)\}$$
  • $(x,y)$处的像素值也参与计算
  • 良好的去噪能力, 并且模糊少
• 尤其适合用于单极或双极的脉冲信号
• 最大值滤波器 $$\hat f(x,y)=\max_{(s,t)\in S_{xy}}\{g(s,t)\}$$
  • 寻找图像中的亮点
  • 降低胡椒噪声
• 最小值滤波器
  • 寻找暗点, 降低盐粒噪声
• 中点滤波器:
  • 最大值和最小值的中点
  • 结合了统计排序和求平均
  • 适用于随机噪声: 高斯噪声, 均匀噪声
• $\alpha$截断的均值滤波
  • 去掉$S_{xy}$中灰度最低的$d/2$个像素
  • 去掉$S_{xy}$中灰度最高的$d/2$个像素
  • 求平均
  • 适用于多种噪声存在的情况: 高斯椒盐噪声混合
  • $d=0$为算数均值滤波器, $d=mn-1$为中值滤波器

ch11, ch12 彩色图像处理

考点: 三种彩色模型

RGB彩色模型

• 笛卡尔坐标系
  • 红绿蓝在三个角
  • 黑色在原点
  • 白色在最远的角
  • 中间虚线为灰色
  • 正则化 属于$[0,1]$

• 3 幅分量图像
  • 每种主颜色对应一幅图像
  • 叠加在一起合成一幅彩色图像
• 像素深度:表示每个像素的比特数
• 全彩色图像: 24 比特的 RGB 图像,颜色数目$2^{24}$
• 高端设备支持 24 比特的 RGB 图像,低端设备通常只能显示 256 种彩色
• 稳定 RGB 色:真实展现、与硬件无关,通常包括$6^3=216$种. 如互联网:稳定Web色

CMY颜色模型

• 青色C, 洋红M, 黄色Y
  • 彩色打印机
• 转换公式 $$\left[\begin{matrix}C\\M\\Y\end{matrix}\right]=\left[\begin{matrix}1\\1\\1\end{matrix}\right]-\left[\begin{matrix}R\\G\\B\end{matrix}\right]$$
• CMYK颜色模型:
  • CMY的混合产生的黑色不纯
  • 添加了黑色(K) (而且降低了打印成本)

HSI颜色模型

• RGB/CMY颜色模型不够直观: 人不会直接用这些数字来描述颜色
• HSI模型将亮度和颜色相关的信息解耦合
  • 颜色相关的信息:色调、饱和度
  • 对人而言更直观

• 色调 H:
  • 即柱坐标中与红色轴的夹角$\theta$
• 饱和度 S
  • 柱坐标中的半径$r$
  • 强度轴(黑白)上的饱和度为0
• 强度 I
  • 平行面与强度轴的交点
  • 即柱坐标中的高度$z$
• 会出现色调的不连续现象(因为色调以红色轴为基准)

ch13, ch14 图像分割

考点: 基本边缘检测, Marr-Hidreth边缘检测器, Canny边缘检测器

基本边缘检测

• 利用梯度的大小
• 举例:

• 梯度算子:
  • 1维模板: $g_x=f(x+1,y)-f(x,y)$, $g_y=f(x,y+1)-f(x,y)$
  • 罗伯特交叉算子(见前面), prewitt算子(上图), sobel算子
• 阈值化
• 初始图像平滑处理
• 没有考虑边缘的性质
• 没有考虑噪声模型

Marr-Hidreth边缘检测器

• 灰度变化和图像尺度有关: 需要使用不同尺寸的算子
• 灰度变化会影响导数
  • 一阶导数出现波峰或波谷
  • 二阶导数出现零交叉

• 理想的检测器具备如下功能

  • 能够近似1阶或2阶导数
  • 能够被调整以在不同尺寸上起作用:
    • 大的算子检测模糊边缘、小的算子检测细节

• 滤波器$\nabla^2 G$

  • $\nabla^2$为拉普拉斯算子
  • $G$是2维高斯函数
  • 满足前面两个条件的最佳算子
• 高斯的拉普拉斯

• 说像是高通滤波器, 是因为高通滤波器对应的空间域滤波器和这个类似
• 生成LoG的两种方式:

• 优势:
  • 高斯会模糊图像, 去掉尺寸小于$\sigma$的细节(如噪声)
  • 二阶导数各向同性, 对任何方向的变化有相同的相应; 且符合人的视觉系统

• 产生闭环, “意大利空心粉”效应:
  • 解决方法: 零交叉时设阈值
• 也可以用高斯差分DOG来近似LoG

Canny边缘检测器

• 目标:
  • 低错误率: 所有边缘都被找到,并且没有伪响应
  • 边缘点应被很好地定位: 已定位的边缘必须尽可能接近真实边缘
  • 单一的边缘点响应: 对每个真实边缘点,检测器仅返回1个点

ch15 图像压缩

考点: 相对冗余, 压缩比, 灰度图像的三种冗余, 霍夫曼编码

相对冗余和压缩比

• 数据压缩
  • 减少表示给定信息所需的数据量
  • 数据是传输信息所用的手段
• 冗余数据
  • 包含不相关或重复信息的表示
• $b$和$b’$为两种不同表示方式的比特数
• 用$b$比特表示的相对数据冗余$R=1-\frac{1}{C}$
• 压缩比$C=\frac{b}{b’}$
  • $C=10$意味着有90%的冗余

灰度图像的三种冗余

• 编码冗余
  • 编码:表示信息的符号系统(字母、比特)
  • 码字:符号序列
  • 灰度图像的8位编码往往是冗余的
  • 解决方法: 采用变长编码, 原因:灰度直方图不是均匀分布
• 空间和时间冗余
  • 图像中紧邻点是空间相关的
  • 视频中连续帧是时间相关的
  • 解决方法:
    • 行程对: 用灰度值和该灰度连续出现的次数表示
    • 更加高效但是视觉不可见的表示:
      • 行程+相邻像素的灰度差(灰度差值具有规律性)
  • 映射:可逆 / 不可逆
• 不相关的信息
  • 被视觉系统忽略的信息
  • 与图像用途无关的信息
  • 解决时会丢失一部分信息, 是不可逆映射

霍夫曼编码

• 单独对信源符号编码
  • 霍夫曼编码是最短的编码
  • 对于固定的$n$, 该编码是最优的

构造构造霍夫曼编码

• 第一步: 简化信源
  • 对符号的概率进行排序,合并低概率符号
  • 重复该过程,直到剩余两个符号
    
• 第二步: 对简化后的信息源编码
  • 从最小信源开始,返回到原信源
  • 为每一个分支分配符号
    
    上图中的熵为2.14
• 霍夫曼编码的实现
  • 构造霍夫曼编码
  • 查表法: 编码和解码
  • 瞬时性: 每个编码独立解码
  • 唯一可解码: 序列的解码方式唯一
    • 上个例子中, 编码010100111100解码为$a_3a_1a_2a_2a_6$

ch16 形态学处理

考点: 腐蚀, 膨胀, 开操作, 闭操作

腐蚀和膨胀

腐蚀

• 集合$B$对集合$A$的腐蚀: $A\ominus B=\{z|(B)_z\subseteq A\}$
  • $(B)_z$表示把$B$的原点平移到坐标$z$
  • 通常假设$B$为结构元
  • 等价定义: $A\ominus B=\{z|(B)_z\cap A^c=\empty\}$, $A^c$为$A$的补集
  • $B$在$A$内部移动, $B$的中心所能到达的所有位置
  • 腐蚀,可以被理解为形态学滤波

膨胀

• 集合$B$对集合$A$的膨胀: $A\oplus B=\{z|(\hat B)_z\cap A\ne \emptyset\}$
  • $\hat B$表示集合$B$的反射, $(\hat B)_z$表示把集合$B$的中心平移到坐标$z$. 反射即旋转180°
  • 通常假设$B$为结构元
  • 等价定义: $A\oplus B=\cup_{b\in B}(A)_b$, $A^c$为$A$的补集
  • $B$旋转180°后, 在和$A$相交的条件下移动, $B$的中心所能到达的所有位置
    
    
• 比低通滤波器更简单、直接

对偶性

$$(A\ominus B)^c=A^c\oplus \hat B\\ (A\oplus B)^c=A^c\ominus \hat B$$

开操作和闭操作

开操作

• 定义: 结构元B对集合A的开操作 $$A\circ B=(A\ominus B)\oplus B$$ 先用B腐蚀A, 然后再用B对结果进行膨胀
  • 即在A的边界内侧滚动B,B的最远点决定了轮廓

• 作用

  • 平滑物体的轮廓
  • 断开窄的连接
  • 消除细的突出

• 例子:
  
  

闭操作

• 定义: 结构元B对集合A的闭操作 $$A\bullet B=(A\oplus B) \ominus B$$ 先用B膨胀A, 然后再用B对结果进行腐蚀
  • 在A的边界外侧滚动B, B的最近点决定了轮廓
• 作用
  • 平滑物体的轮廓
  • 断开窄的连接
  • 消除细的突出
• 例子:
  

性质

• 对偶性 $$(A\bullet B)^c=(A^c\circ \hat B)\\ (A \circ B)^c=(A^c\bullet \hat B)$$
• 开操作:
  • $A\circ B$是$A$的子集
  • 如果C是D的子集,那么$C\circ B$是$D\circ B$的子集
  • $(A\circ B)\circ B=A\circ B$
• 闭操作:
  • $A$是$A\bullet B$的子集
  • 如果C是D的子集,那么$C\bullet B$是$D\bullet B$的子集
  • $(A\bullet B)\bullet B=A\bullet B$
• 可以用于去噪: 使用开操作的闭操作

ch17 目标识别

考点: 最小距离分类器, 最佳统计分类器

最小距离分类器

• 把原型定义为每个类的平均向量 $$m_j=\frac{1}{N_j}\sum_{x_j\in w_j}x_j, j=1,2,\cdots,W$$
  • $N_j$是类别$w_j$包含的模式数量
• 利用欧氏距离判断远近 $$D_j(x)=\Vert x-m_j\Vert, j=1,2,\cdots,W$$
  • $\Vert a\Vert =(a^Ta)^{1/2}$
  • 如果$D_i(x)$是最短距离, 则$x\in w_i$
• 等价计算方式 $$d_j(x)=x^Tm_j-\frac{1}{2}m_j^T m_j, j=1,2,\cdots,W$$
  • 如果$d_i(x)$是最大值, 则$x\in w_i$
• $w_i$和$w_j$之间的决策边界 $$d_{ij}(x)=d_i(x)-d_j(x)=x^T(m_i-m_j)-\frac{1}{2}(m_i-m_j)^T(m_i+m_j)=0$$
  • 连接$m_i$和$m_j$线段的垂直平分线
  • $n=2$对应直线, $n=3$对应平面, $n>3$对应超平面
• 最小距离分类器的适用场景
  • 类别均值之间的间距大
  • 类内之间的分散程度小
• 实际未必满足, 所以需要:
  • 对数据进行预处理:
    • 特征选择、特征抽取
  • 控制数据的产生过程:
    • 美国银行字符, 差异很大

最佳统计分类器

• 贝叶斯分类器
  • 预测$x\in w_j$的条件平均风险为$r_j=\frac{1}{p(x)}\sum_{k=1}^WL_{kj}~p(x|w_k)p(w_k)$
  • 贝叶斯分类器能够最小化平均损失, 即最小化上面的项
  • 如果是01损失函数, 则最大化$p(x|w_i)p(w_i)$
  • 前提条件: 已知$p(w_j)$和$p(x|w_j)$

针对高斯模式类的贝叶斯分类器

• 假设密度函数$p(x|w_j)$为高斯函数

• 考虑1维空间内的2分类问题

  • 决策函数为 $$\begin{aligned} d_j(x)&=p(x|w_j)p(w_j)\\ &=\frac{1}{\sqrt{2\pi}\sigma_j}e^{-\frac{(x-m_j)^2}{2\sigma^2}}p(w_j) && j=1,2 \end{aligned}$$
  • 

• $n$维空间的$W$分类问题