| « | October 2025 | » | | 日 | 一 | 二 | 三 | 四 | 五 | 六 | | | | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | | |
|
| 公告 |
|
My blog is about my major : network security.the most papers are talk about it ,I like my major ,i wish you could find what's you need in it. |
| 统计 |
blog名称:我的IT人生
日志总数:78
评论数量:185
留言数量:-1
访问次数:527706
建立时间:2006年4月5日 |
| 
|
本站首页 管理页面 写新日志 退出
 [math]连续信源的熵与最大熵定理 |
连续信源的熵与最大熵定理
一、连续信源的熵
二、最大熵定理
一、 连续信源的熵
前面所介绍的是取值为有限或可数的离散信源，它们输出的状态（或消息、符号）是属于时间离散、取值有限或可数的随机序列，其统计特性可用联合概率分布来描述。而实际一些信源的输出常常是时间和取值都是连续的信息，即可能出现的状态是不可能的无限值。500)this.width=500'>
例如语言信号x(t)，电视信号x(x0,y0,t)等，都是时间的连续函数。而且任一时刻，它们的取值也是连续的，这时可用连续随机变量来描述这些状态，这种信源称为连续信源。
在机械工程中，许多实际信源的输出，诸如力、位移、加速度、温度等常常是时间的函数。如图2-13，它表示了机床工作状态的监视系统。机床各部件的运动状态及切削过程构成了信息源，表明机床是否正常工作的各种物理现象是信源的输出。这些物理量携带着机床工作状态的信息，它们都是时间的连续函数。
连续信源的数学模型为连续的概率空间，即:
500)this.width=500'>
其中，R或(a,b)表示数集区间，而p(x)是随机变量X的概率密度函数。如图2-14:
500)this.width=500'>
它表示了一般工程测试信号的时域和幅值域图形，
图中(a)表示信号x(t)的时域波形，其幅值（纵坐标）分布区间为(a,b)；
图中(b)表示该信号的概率密度函数，其幅值区间(a,b)在横坐标上。
连续信源的信息测度可以用离散信源的信息测度来逼近。
假定随机变量X的概率密度函数如图2-14(b)所示，将取值区间(a,b)分成n个小区间，任一区间的概率为500)this.width=500'>
这时离散信源的熵
500)this.width=500'>
当 △x→0，n→∞时，若极限存在，即得到连续信源的熵
500)this.width=500'>
一般情况下，上式的第一项是定值，而当△x→0时，第二项趋于无限大。所以避开第二项，定义连续信源的熵为
500)this.width=500'>
这样定义的连续信源的熵，在形式上与离散信源的熵相识，但不是实际信源的绝对熵，因为忽略一个无限大项，这样定义的熵具有相对性，所以有时称为相对熵或差熵。
二、最大熵定理
以上分析表明，熵h(x)是概率密度函数p(x)的函数。在信息处理过程中，常常希望求得最大熵，即找出p(x)是什么样的函数时能使连续信源的熵具有最大值。
在离散信源中，已经证明，当信源的输出状态是等概率分布时，信源的熵取最大值；在连续信源中，当各约束条件不同时，信源的最大相对熵值不同，有两种情况。
1、 峰值功率受限条件下信源的最大熵500)this.width=500'>
当信源输出信号的峰值功率受限，即信号的取值区间被限定在某一范围(a,b)之内时，则在限定的范围内；当输出信号的概率密度是均匀分布时，信源具有最大相对值。如图2-15:
输出幅值限为(a,b)，概率密度:
500)this.width=500'>
此式表明，熵是幅值区间(a,b)的函数，即在峰值功率受限条件下，幅值区间越大，则幅值越大，这也说明，信号的波动范围越窄，则系统的不定性程度越大。
2、平均功率受限条件下信源的最大熵
若一个信源输出信号的平均功率有限，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵。
一维随机变量X的概率密度分布为：
500)this.width=500'>
其中m是X的均值，σ2是X的方差。这个连续信源的熵500)this.width=500'>
可见，正态分布的连续信源的熵与数学期望m无关，只与其方差σ2有关。当m=0时，X的方差s2就等于信源输出的平均功率。显然，这一条件下的平均功率受限，就是方差σ2受限。可证明，当连续信源的方差s2受限时，任意概率密度分布的信源的熵，都小于正态概率分布信源的熵。
这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声的统计特性一样时，才会有最大的熵值。从物理意义上解释是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。
此外，为什么在平均功率受限的条件下正态分布信源的熵最大，亦可作如下解释：
当限制平方平均值时，由于大的幅值x平方后变得更大，因此出现的次数不可能太多，所以x值越增大，出现的概率就越小，而且对于x的正负值是对称的。
若x较小，则概率尽可能相同时，熵变大，在接近x=0时，变得接近于平均的均匀分布，故有正态分布形式。
|
阅读全文(4965) | 回复(0) | 编辑 | 精华 |
|
