自适应信号处理(第六章一些改进的自适应算法)

发布于:2021-09-25 01:51:18

第六章 改进的自适应LMS算法
? 6.1 LMS牛顿算法 ? 6.2 归一化LMS算法 ? 6.3 变换域LMS算法 ? 6.4 频域LMS算法 ? 6.5 简介其它LMS算法自适应滤波器

6.1

LMS牛顿算法

当滤波器的输入信号为有色随机过程时,特别是 输入信号为高度相关的情况,大多数自适应滤波算法 的收敛速度都要下降,对于典型的LMS算法,此问题 更加突出。LMS牛顿算法可以很好地解决这个问题。 它不仅可以提高收敛速度也不会太增加计算复杂度. LMS牛顿算法公式推导:
自适应横向滤波器的滤波系数矢量的二次方函 数所构成的均方误差曲面,可由其均方误差ξ(n+1) 描述滤波特性,
2 ? (n ? 1) ? ? d ? 2 w H (n ? 1) P ? w H (n ? 1) Rw(n ? 1) (6-1-1)

将(6-1-1)式和相应的ξ(n)关系式相减,可以得到

? (n ? 1) ? ? (n) ? ? H (n)[ w(n ? 1) ? w(n)]
H

? [ w(n ? 1) ? w(n)] R[ w(n ? 1) ? w(n)] 式中,▽(n)=-2P+2Rw(n) 是均方误差MSE曲面上

(6-1-2)

相当于滤波系数w(n)点的梯度矢量。而ξ(n)表示自适 应滤波系数w(n)点的均方误差值 。

由于滤波器的均方误差可以写成:

? (n) ?? min? ?w (n) R?w(n)
H

两边分别对w(n+1)的瞬时(n+1)值求偏导数,并令其等于 零,经整理后,得到

w(n ? 1) ? w(n) ? 1 / 2 R ?1?(n)

(6-1-3)

这就是牛顿方法迭代计算公式。在理想情况下,R和▽(n) 精确已知,此算法可达最佳滤波结果,且在一次简单迭代运 算后就得最佳解,即:

w( n ? 1) ? R P ? w0

?1

(6-1-4)

实际应用中,仅有效地估计自相关矩阵R和梯度 矢量,这也适应LMS算法的基本思想和原则,所以 ? ( n) ? ? 把 和 的估计值用到类似牛顿方法迭代计算公 R 式中,如下式

? ?1 ( n)? ? (6-1-5) w( n ? 1) ? w( n) ? ?R ( n)
这里,0<μ<1,应用收敛因子μ是为了保证R与 ▽(n)的噪化估计也能使算法收敛.

当输入信号为*稳随机过程时,R的无偏估计值等于
n 1 T ? ( n) ? R x ( i ) x (i ) ? n ? 1 i ?0 n ? 1 ? R ( n ? 1) ? x ( n) x T ( n) n ?1 n ?1

(6-1-6)

因为估值的数学期望为
? (n)] ? (1 / n ? 1)? E[ x(i ) xT (i )] ? R E[ R
i ?0 n

因此是无偏的。当然,还有其他相关矩阵估计方法, 这里不再赘述了.

为了避免求 演引理公式:

? (的逆,我们可以利用下列矩阵反 R n)

[ A ? BCD]?1 ? A?1 ? A?1 B[ DA?1 B ? C ?1 ]?1 DA?1

(6-1-7)

其中,A和C为非奇异矩阵. ? (n ? 1), B ? DT ? x(n), , 如果我们选用 A ? (1 ? ? ) R 可以导 C ?? 出 的计算公式: ? ?1 (n) R
?1 ?1 T ?1 ? ? ? R (n ? 1) ? R (n ? 1) x(n) x (n) R (n ? 1) ?1 ? R (n) ? (1 / 1 ? ? )[ ] T ? 1 ? (n ? 1) x(n) (1 ? ? / ? ) ? x (n) R (6-1-8)

从每次迭代运算所需乘法来看,上式计 ? (n)的 ? ?1 (n) 的运算量为O(Ν 2 ),低于直计算R 算 R 逆的运算量O( Ν 3 ). 如果在式(6-1-5)中用LMS算法来估计梯度矢量, 则LMS牛顿算法的滤波权系数更新公式将如下式:
?1 ? w(n ? 1) ? w(n) ? ?e(n) R (n) x(n)

(6-1-9)

e(n) ? d (n) ? x (n) w(n)
H

(6-1-10)

初始条件选取为:
R ?1 ( ?1) ? ?I

δ为小的正数 (6-1-11)

w(0) ? x( ?1) ? [0...0]T

式(6-1-8)~(6-1-11)组成了LMS牛顿算法。

小结:LMS梯度方向趋向于理想梯度方向, 类似地,由 R ? ?1 (n) 相乘所生成的矢量的方向接* 于牛顿的方向,所以LMS牛顿算法朝均方误差曲 面最小点方向的路径收敛。而且算法的收敛特性 表明与相关矩阵R的特征值扩张无关.

一种快速LMS牛顿算法

? ?1 (n) x来实现 直接计算式(6-1-9)中的 R LMS牛顿算法。 ( n) 算法的基本思想是用自回归(AR)模型来做输入信号矢量
的建模,即用阶为0到M-1的预测器的反向预测误差把矢量 X(n)换成新矢量 ,即有
b(n) ? [b0 (n) b1 (n) ?bM ?1 (n))]T
X (n) ? [ x(n) x(n ? 1) ? x(n ? M ? 1)]T

b(n)=Lx(n)

(6-1-12)

式中,L为下三角矩阵,它由预测器系数 ai , j 表示其元素,这里 ai , j 为第i阶预测器的第j个系 数,三角矩阵L的形式是
? 1 ? a ? 1,1 L ? ? a2 , 2 ? ? ? ?aM ?1, M ?1 ? 0 1 a2,1 ? aM ?1, M ? 2 0 0 1 ? aM ?1, M ?3 ... ... ... ? 0 0 0 ? 0? 0? ? 0? ? ?? 1? ?

(6-1-13)

... aM ?1,1

我们可以认为, b0 (n), b1 (n),...bM ?1 (n) 都是互不 相关的,这意味着它们的相关矩阵 Rbb是一个对角 线矩阵,所以求它的逆矩阵比较容易,即

? ?1 ( n) X ( n) ? LT R ?1b( n) R bb
可得到 Rbb ? E[b(n)bT (n)] ? E[ LX (n){LX (n)}T ]

(6-1-14)

? E[ LX (n) X T (n) LT ] ? LR (n) LT
这是一种快速LMS牛顿算法.

6.2 归一化LMS

基本思路:不希望用与估计输入信号矢量有 关的相关的矩阵来加快LMS算法的收敛速度,可 用变步长方法来缩短其自适应收敛过程,变步长 μ(n)的更新公式写成

w(n ? 1) ? w(n) ? ? (n)e(n) x(n) ? w(n) ? ?w (n)

(6-2-1)

?w (n) ? ? (n)e(n) x(n) 表示滤波权矢 式中, 量迭代更新的调整量。为了达到快速收敛的目 的,必须合适地选择变步长μ(n)的值,一个可能 的策略是尽可能多地减小瞬时*方误差,即用 瞬时*方误差作为均方误差MSE的简单估计, 这也是LMS算法的基本思想。瞬时*方误差可 以写成

e 2 ( n) ? [ d ( n) ? x T ( n) w( n)]2 ? d 2 ( n) ? wT ( n) x( n) x T ( n) w( n) ? 2d ( n) wT ( n) x( n)
(6-2-2)

w ( n) 如果滤波权矢量的变化量 w?(n) ? w(n) ? ?, 则对 应的*方误差 可以由上式得到 e 2 ( n)

e ( n) ? e ( n)
2 2

? 2?w (n) x(n) x (n) w(n)
T T

? ?w (n) x(n) x (n)?w (n)
T T

? 2d (n)?w (n) x(n)
T

(6-2-3)

2 ? e ( n) 在此情况下,瞬时*方误差的变化量 定义为

?e 2 (n) ? e 2 (n) ? e 2 (n) ? ?2?w (n) x(n)e(n)
T

?

? ?w (n) x(n) x (n)?w (n)
T T

(6-2-4)

n) 把 ?w (n) ? ? (n)e(n) x( 的关系式代入式 (6-2-4)中,得到

?e (n) ? ?2 ? (n)e (n) x (n) x(n)
2 2 T

? ? (n)e (n)[ x (n) x(n)]
2 2 T

2

(6-2-5)

为了增加收敛速度,合适地选取μ(n)使*方 误差最小化,故将式(6-2-5) 对变系数μ(n)求偏导 数,并令其等于零,求得:

1 ? ( n) ? T x ( n) x ( n)

(6-2-6)

这个步长值 μ(n)导致 e 2 (n)出现负的值,这对应 于 ?e 2 (n)的最小点,相当于*方误差 ?e 2 (n) 等于 零。

为了控制失调量,考虑到基于瞬时*方误差的 导数不等于均方误差MSE求导数值,所以以LMS算法 的更新迭代公式作如下修正:

w(n ? 1) ? w(n) ?

?e(n) x(n) ? ? x ( n) x ( n)
T

(6-2-7)

式中,μ为控制失调的固定收敛因子,γ参数是 为避免x(n) xT (n)过小导致步长值太大而设置的。 通常称式(6-2-7)为归一化LMS算法的迭代公式. 为了保证自适应滤波器的工作稳定,固定 收敛因子μ的选取应满足一定的数值范围。现 在我们来讨论这个问题。首先考虑到下列关系:

E[ x T (n) x(n)] ? tr[ R ] e( n ) x ( n ) E[e(n) x(n)] E[ T ]? ? x ( n) x ( n) E[ x T (n) x(n)]

(6-2-8)

然后对收敛因子的*均值应用更新LMS的方向 e(n)x(n)是μ/2tr[R] ,最后,将归一化LMS算法的 更新公式与经典LMS算法更新公式相比较,可以 得到收敛因子μ的上界不等式条件,如下: 0< μ(n)= μ /2tr[R]<1/ /2tr[R] 或 0< μ<2 显然,由式(6-2-7)与(6-2-9)可构成归一化LMS算 法,其中 0≤ γ ≤1,选择不同的γ 值可以得到 不同的算法. (6-2-9)

当γ=0时,由式(6-2-7)可以写成
w(n ? 1) ? w(n) ?

? (d (n) ? wT (n) x(n)) x(n)
x ( n)
2

(6-2-10)

这种算法是NLMS算法的泛化形式,其中随机 梯度估计是除以输入信号矢量元*椒街汀 所以步长变化范围比较大,可有较好的收敛性 能。

在此情况下,算法的归一化均方误差NMSE 可由式(6-2-10)得到

?? d (n) ? w(n) x(n) ? 2 ? ? ? ? ?(n) ? E ?? ? ? x ( n ) ?? ?(6-2-11) ?? ? 最佳滤波权矢量可由 对w(n)求偏导数,并 ? ?(n) 令其等于零,即由式
T ' ? ?? d (n) ? x (n) w0 ? x(n) E ?? ? x ( n ) ? ? ? ? x ( n) ??

? ? ??0 ? ?

得到最佳滤波权系数:

w ?R P
' 0

' ?1

'

(6-2-12)

式中,
? x ( n) x T ( n) ? R? ? E ? ? 2 x ( n) ? ? ? ? ? d ( n) x ( n) ? P? ? E ? ? 2 ? ? ? x ( n) ?

(6-2-13)

上式可知,自相关矩阵和互相关量都含有归 一化因子,在稳定状态x(n)和d(n)时,假定自相 关矩阵R’存在可逆性。同时,由式(6-2-11)可看出, 当且仅当 时,归一化 LMS算法的均方 T , d ( n) ? x (n) w0 误差可等于零。这需要对d(n)用输入信号矢量线 性组合进行精确地建模。此时,最佳滤波权矢量 变成合宜的线性权系数矢量。 , w0 当γ =1时,NLMS算法更新公式可以写成

w(n ? 1) ? w(n) ?

?e(n) x(n)
1 ? x ( n) x ( n)
T

(6-2-14)

由此可得到NLMS算法的特殊形式:
w(n ? 1) ? w(n) ? [d (n) ? wT (n) x(n)]x(n)

? ? x ( n)
?1

2

(6-2-15)

?[d (n) ? wT (n) x(n)]x(n) w(n ? 1) ? w(n) ? 2 1 ? ? x ( n)



(6-2-16) 此式表明等效步长是输入信号的非线性变 量,它使变步长由大逐步变小,加速了收敛 过程,计算量较之LMS算法稍有增加.

两个改进型LMS算法,均属变步长的LMS算法: 6.2.1 时域正交LMS(TDO-LMS)算法 此算法是基于对*方误差时间上的*均,即对下式取 最小值,
2 e ? ( n) n ?0 m

E[e 2 (n)] ? ?
m

m ?1
(6-2-17)

?

T 2 [ d ( n ) ? w ( n ) x ( n )] ? n ?0

m ?1

按上式对权系数矢取偏导数,并令其为零,得 到时域正交准则下序列x(n)对d(n)进行线性估计 的最佳权系数矢量w0,即:
T [ d ( n ) ? w ? 0 x ( n )] x ( n ) n ?0 m

m ?1
T [ w ? 0 x(n) ? d (n)]x(n) n ?0 m

?0

m ?1

?0

(6-2-18)

这意味着用时域正交LMS算法的权矢量更新运 算公式,可对线性估计的权矢量作自适应调整, 使其趋于最佳。

Huffman的TDO-LMS更新公式:
xT (m) x(m) w(m) w(m ? 1) ? T ? x (m ? 1) x(m ? 1) ?? m ? 2 ? ? T ? ?? ? d ( m) ? w ( m) x ( m) ? x ( m) ?? m ? 1 ? ? xT (m ? 1) x(m ? 1) m=0,1,2,…n… (6-2-19)

当m取足够大时,上式可*似写成

w(m ? 1) ? w(m) ?

?[d (n) ? wT (n) x(n)]x(n)
x ( m) x ( n)
T

(6-2-20)

与上面讨论的归一化LMS算法权矢量更新公 式类似。

6.2.2 修正LMS(MLMS)算法 MLMS算法是在LMS算法中权矢量的较正量和梯 度估计之间人为地引入一个时延,利用现时刻的梯 度估计代替前一刻的梯度估计,即:

w(n ? 1) ? w(n) ?

? (n ? 1) ?? 2

(6-2-21)

因为 ? 是w(n+1)的函数,而且可解。式(6-2-21) ?(n ? 1) 用瞬时梯度信息可表示为:

w(n+1)=w(n)+? e(n+1)x(n+1)

(6-2-22)

将 e(n ? 1) ? d (n ? 1) ? x (n ? 1) w(n ? 1)
T

w(n ? 1) ? w(n) ? ?[d (n ? 1) ? xT (n ? 1) w(n ? 1)]x(n ? 1)
代入式(6-2-22)得:

?[d (n ? 1) ? w(n) xT (n ? 1)]x(n ? 1) w(n ? 1) ? w(n) ? 1 ? ?xT (n ? 1) x(n ? 1) ? w(n) ? ? M (n ? 1)eM (n ? 1) x(n ? 1)
(6 ? 2 ? 23)

整理后得:
eM (n ? 1) ? d (n ? 1) ? w (n) x(n ? 1)
T

? ? M (n ? 1) ? 1 ? ?xT (n ? 1) x(n ? 1)

(6 ? 2 ? 24)

自适应步长? M (n ? 1) 是可变收敛因子,它随着 信号输入功率 xT (n ? 1) x(n ? 1) 变化可加快收敛 速度, 从而使用MLMS算法的性能有了很大的 改进,特别是步长因子的值较大时。

小结

归一化 LMS 算法,时域正交 LMS 算法及修正 LMS 算法都是以输入信号功率控制变步长的 LMS 算法, 利用梯度信息调整滤波器权系数使其达到最佳值这 一点完全相同。但它们的自适应过程较快,性能有 了很大改进。

6.3 变换域LMS算法

1 、适用条件:当输入信号具有高度的相关性时, 采用变换域算法可以增加LMS算法的收敛速度。
2 、基本思路:先对输入信号进行一次正交变换 以去其相关性或衰减其相关性,然后将变换后的 信号加到自适应滤波器实现滤波处理,从而改善 了相关矩阵的条件数。

3、变换域LMS(TRLMS)算法框图
x(n) Z-1 x(n)

d(n)

X 1 ( n) X 2 ( n)

?1 ( n ) ? ? 2 ( n) ?
y(n)

Z-1

x(n-1)



?

?

e(n)

x(n-2)



? 3 ( n) ? X 3 ( n)

换 Z-1

? M ( n) ? X M ( n)
自适应算法

x(n-M+1)

4、TRLMS算法公式推导:

X(n)=Tx(n)

(6-3-1)

其中TTH=I,T*TH =I,T为变换阵,I为单位阵;“*” 表示共轭。 已知LMS自适应滤波器的均方误差MSE是:

? ( n) ? ? min ? ?W ( n) R?W ( n)
H

(6-3-2)

式中:△w(n)=w(n)- w0, 在变换域情况下, TRLMS算法的均方误差MSE变为:

? (n) H E[ X (n) X H (n)]?W ? ( n) ? (n) ? ? min ? ?W ? (n) H TRT H ?W ? ( n) ? ? min ? ?W
(6-3-3)

? (n) 代表变换域自适应滤波器的权系数矢 式中,W 量。 变换域自适应滤波器的自相关矩阵RTR可由 式(6-2-3)写成:

RTR ? TRT

H

(6-3-4)

如果滤波器中信号分量之间没有相关性,则 矩阵 RTR 是一对角线矩阵,此时变换矩阵 T H 的列 将含有R的正交特征矢量.

用归一化LMS算法来更新变换域算法的系 n) 数。变换后信号分量Xi(n)用其功率 ? i2 (实现归一 化,权系数的更新公式可写成:
? (n ? 1) ? W ? (n) ? ?eTR (n) X i (n) ; i ? 1,2,...M (6 ? 3 ? 5) W i i ? ? ? i2 (n) ? T (n) X (n) ? d (n) ? X T (n)W ? ( n) e ( n) ? d ( n) ? W
TR

? i2 (n) ? ?? i2 (n ? 1) ? (1 ? ? ) X i2 (n) 1 ? i ? M (6 ? 3 ? 6)

其中 ?为控制估计精度和跟踪能力的*滑系数, 0 ? ? ?1

式(6-3-5)的矩阵形式表示为:

? ( n ? 1) ? W ? ( n) ? ?e ( n)? ?2 ( n) X ( n) W TR

(6-3-7) 式中 ? (n) 是一个对角线矩阵,其元素是变换后信号 分量功率估值加上常数γ的逆。当μ取的合适时,TRLMS的权系数收敛到下列最佳:
?2

? ? R ?1 P W 0 TR TR ? RTR ? TRT H , PTR ? TP ? ? (TRT H ) ?1TP ? T ?1 R ?1 P ? T ?1W ? TW ?W 0 0 0

(6 ? 3 ? 8) (6 ? 3 ? 9)

其是W0为自适应滤波器权系数的最佳维 纳解。

6.4 频域LMS自适应滤波器

前面我们学*的都是时域LMS自适应滤波器,本 节讨论频域自适应滤波器算法。 1、基本思路:本算法在自适应滤波前把输入信 号变换到频域,然后在频域上实现自适应滤波 处理,仍用梯度下降法调整权系数。

2、算法优点: (1)和时域相比,处理数据量减少。因为 频域变换都有快速算法,利用变换相乘代 替了卷积运算,加快了收敛过程。 (2)与前述经典梯度下降法相比,自适应 过程的收敛性有所改善。 (3)频域法容易进行信号分块处理。

3、频域自适应滤波器原理框图
输入信 号x(n)

变换

X(k) 时变滤波器 W(k)

Y(k)

逆变换

输出 y(n)

自适应算法

E(k)

计算误差
D(k)

期望响 应d(n)

变换

输入信号x(n)和期望响应d(n)分别形N点数 据块,然后做N点快速傅里叶变换(FFT),每个 FFT变换输出组成N个复数点X(k)和D(k),具有 权系数矢量W(k)输出为Y(k),它等于 Y(k)=X(k)W(k) (6-4-1)

4、算法公式推导 上式表明时域内卷积等于其变换的乘积。其中 第k个数据块的频域权系数矢量W(k)和输入信号 FFT系数的对角线矩阵X(k)分别定义如下:
W T (k ) ? [ w1 (k ) w2 (k ) ... wN (k )] ? X 1 (k ) ? 0 ? X (k ) ? ? 0 ? ? ? ? ? 0 0 0 ? 0 ? ? ? ? X 2 (k ) ? ? 0 ? ? ? ? ? ? ? X N (k )? ? 0 (6 ? 4 ? 2)

(6 ? 4 ? 3)

从图上可看出,计算误差E(k)等于是 E(k)=D(k)-Y(k) (6-4-4) 频域LMS自适应滤波权系数的更新公式为:
W ( k ? 1) ? W ( k ) ? ?X * ( k ) E ( k )

(6-4-5)

将式(6-4-1)和(6-4-4)代入上式得到:
W (k ? 1) ? W (k ) ? ?[ X * (k ) D(k ) ? X * (k ) X (k )W (k )]

(6-4-6)

仿照时域LMS算法的处理和运算方法,频域 LMS算法的权矢量最佳解Wo是由计算误差E(k)的均 方值最小求得,即由E(k)的*方的数学期望最小化 求得。

ξ ( D(k ) ? Y (k ))* ( D(k ) ? Y (k )) ?ξ?D (k ) D(k )?? R
* * xd *

?

?

W ? W Rxd ? W RxxW
*

(6 ? 4 ? 7 )

上式中频域自相关与互相关分别是

Rxx ?ξ [ X * ( k ) X ( k )] Rxd ?ξ [ X * ( k ) D ( k )]
?1 W0 ? Rxx Rxd

(6 ? 4 ? 8) (6 ? 4 ? 9)

(6 ? 4 ? 10)

符号“*”表示共轭复数。这里自相关阵为对角线 矩阵,它的第个对角线元素对应等于,互相关矩 阵的第个元素则由给出。对W求偏导并令其等于零, 得到最佳频域权系数:

6.5 其它LMS算法自适应滤波算法

1、分块LMS自适应滤波器 Clark 与 Mitra 等学者于 1981 年提出的一种 快速 LMS 计算的分块 LMS 算法,在本质上,它 是以频域来实现时域分块LMS算法的,即将时域 数据分组构成有N点的数据块,在每块上滤波权 系数保持不变。 2、快速截断数据LMS算法 快速截断数据(Fast Clipped-Data)LMS算 法可以为自适应滤波器提供高的收敛速度,特别 是在大数据量和长延迟线抽头的LMS横向自适应 滤波器中,它比一般的线性LMS算法有明显的优 点。

3、最小高阶均方(LMK)算法 自适应滤波的一种新的最陡下降算法,是 对滤波权系数矢量更新公式中的误差因子用四 次方和六次方等高阶偶矩进行最小化。这是 Widrow 和 Walch 提出的一种 LMS 算法的改进算 法,简称LMK算法。

4、QR分解LMS算法 由前面讨论可知,利用非线性变步长和截断 数据等办法,能使 LMS 算法收敛过程缩短。特别 是在横向延迟线抽头数比较小的情况,利用最佳 非线性修正方法 (ONM) 更使算法性能提高。此算 法称为 ONM-LMS 算法,它的性能优于一般 LMS 和归一化 LMS 算法。如果采用正交化矩阵和三角 化矩阵的 QR 分解法,称为 QR-LMS 算法。这种方 法大大减少了ONM-LMS算法的条件数,且算法稳 定性也高于ONM-LMS算法。同时,允许较大的步 长,因而具有快速跟踪时变系统的功能。


相关推荐

最新更新

猜你喜欢