青島農業大學

　本

　科

　生

　課

　程

　論

　文

　論 文 題 目

　 信息熵及其性質與應用

　學生專業班級

　信息與計算科學 09 級 2 班

　學生學號姓名

　 20093992

　指 導 教 師

　吳

　 慧

　完 成 時 間

　 2012 年 06 月 25 日

　 2012 年

　06 月

　25 日 課

　程

　論

　文

　任

　務

　書

　學生姓名

　 指導教師

　 吳慧

　論文題目

　 信息熵及其性質與應用

　 論文內容(需明確列出研究的問題):研究信息熵的目的就就是為了更深入的了解信息熵,更好的了解信息熵的作用,更好地使用它解決現實生活中的問題。文中介紹了信息熵的定義與性質及其應用。使我們對信息熵有跟深入的了解 。

　 資料、數據、技術水平等方面的要求:論文要符合一般學術論文的寫作規范,具備學術性、科學性與一定的創造性。文字要流暢、語言要準確、論點要清楚、論據要準確、論證要完整、嚴密,有獨立的觀點與見解。內容要理論聯系實際,計算數據要求準確,涉及到她人的觀點、統計數據或計算公式等要標明出處,結論要寫的概括簡短。參考文獻的書寫按論文中引用的先后順序連續編碼。

　 發出任務書日期

　 06 月 15 日

　 完成論文日期

　 06 月 25 日

　 教研室意見(簽字)

　院長意見(簽字)

　信息熵及其性質與應用

　信息與計算科學專業

　 指導教師

　 吳慧 摘要 : : 信息熵就是隨機變量不確定性的度量,文中從信息熵的定義出發,結合信息熵的性質,介紹了目前信息熵在具體問題中的應用。信息就是一個十分通俗而又廣泛的名詞,它就是人類認識世界、改造世界的知識源泉。人類社會發展的速度,在一定程度上取決于人類對信息利用的水平,所以對信息的度量就很有必要。香農提出信息的一種度量,熵的定義形式,它就是隨機變量不確定性的度量,文中主要介紹熵的性質及其應用。

　關鍵詞; ;信息熵

　 性質

　 應用

　Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty

　dongqiang Tutor

　 WuHui Abstract : information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application of、Information is a very popular and

　wi dely noun, it is human understanding of the world, transforming the world knowledge source 、 The human society development speed, depend on on certain level the human make use of information level,

　so the measurement information is necessary、Shannon put forward the informa-tion a kind of measurement, the definition of entropy form,

　it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application、 Key words:information entropy

　properties

　application 引言:作為一種通俗的解釋,熵就是一種不規則性的測量尺度.這一種解釋起源于香農在通訊理論的研究中,為確定信息量而提出的一種熵測度.對于離散概率分布p=(p 1 ,p…,p n ),香農熵定義為H(X)=E[I(ix )]= ??ip logip 在p 1 +p 2 +p 3 +…p k =1的條件下,為使H(X)最大,顯然就是p i ＝1/k(i=1,2,…,k),即在等概率分布情況下H(X)達到最大值,換句話說,熵的值與不規則度(如果以等概率分布作為不規則性的極端表現)就是一致的.這就是熵作為一個概率測度的理論基礎.物理學的發展為熵理論提供了更為現實的應用背景,熱力學的第二法則既就是所謂熵增大的法則,對孤立的系統,系統的熱力學狀態只能假定在熵增大的方向上起變化,Boltzmann原理把熵引入了熱力學的研究領域,她所提供的著名關系式S=klogw(ｗ就是系統狀態的概率)就是后來Planck的量變論及愛因斯坦的光量子理論開展的基礎.人們對熵的認識與應用很長一段時間內都局限于理論物理領域,直到本世紀中葉,一些人開始注意到熵對系統不確定性度量的一般性,試圖在行為科學與社會科學中更廣泛地引用熵,對一些復雜現象加以刻劃。

　信息熵 (entropy ) 的概念

　設一個離散型隨機變量與它的概率分布為 任意隨機事件的自信息量定義為該事件發生概率的對數的負值,即I(ix ) ?????? ? ??????????????111 2 11 2 11

　 , 1 0

　 ) (nii in nn np pp p p px x x xx pX??

　=-logip 。自信息量I(ix )就是指某一信源X 發出某一消息信號ix 所含有的信息量,發出的消息不同,它們所含的信息量也就不同,因此自信息量就是一個隨機變量,它不能用來作為整個信源的信息測度。香農將平均自信息量定義為信息熵,簡稱為熵。即H(X)=E[I(ix )]= ??ip logip 。

　二、信息熵的性質

　1、對稱性: :

　設某一概率系統中 n 個事件的概率分布為np p , ,1? ,當對事件位置的順序進行任意置換后,得到新的概率分布為/ /1, ,np p ? ,并有以下關系成立: H(np p , ,1? )=H (/ /1, ,np p ? )它表示概率系統中事件的順序雖不同,但概率系統的熵值就是不變的,即概率系統的熵與事件的順序無關。

　2、非負性: : 因為每個 p<1,所以它們的以不小于 1 的數為底的對數就是不大于零的。

　3、確定性: 設信息系統中,任一事件產生的概率為 1,則其她事件產生的概率為 0。這就是一 種 確 定 的 系 統 , 對 于 這 樣 的 系 統 有 :H(1,0)=H(1,0,0)=H(1,0,0,0)= … =H (1,0,0,…,0)=0若信源中只要有一個事件就是必然事件,則其余事件為不可能事件。

　此時,信源中每個事件對熵的貢獻都為 0,因而熵總為零。

　4、擴展性: 若集合 X 有 n 個事件,另一集合 Y 中有 n+1 個事件,但集合 X 與 Y 的差別只就是多了一個概率近于零的事件,則兩個集合的熵值就是一樣的。即一個事件的概率與集合中其它事件相比很小時,它對于集合的熵值的貢獻就可以忽略不計。式子表達如下:

　? ? ? ?n n n np p p H p p p H Lim , , , , . , ,2 1 2 1 10? ? ?? ?????

　 5、可加性與強可加性: (涉及到了兩個變量！) H(XY)為兩個隨機變量的聯合熵。

　可加性:H(XY)等于 X 的無條件熵,加上已知 X 時

　Y 的條件概率的熵的平均值,即條件熵

　 對于 X 與 Y 獨立的情況有:

　(強可加性)

　6 6、 、遞增性: :(子集再劃分,第 n 個分為 m 個)

　按照定義證明:

　0 ) , , (2 1?qp p p H ?) | ( ) ( ) ( X Y H X H XY H ? ?? ?? ??qii ji jqjix y px y p x p X Y H1 1) | (1log ) | ( ) ( ) | () ( ) ( ) ( Y H X H XY H ? ?y x xp p x y P x P xy P ? ? ? ) | ( ) ( ) (; 0 1 ; 0 1) , , ( ) , , (log ) ( ) (loglog loglog ) ( log ) ( ) (1 112 1 2 1,.,.,.,.? ? ? ?? ?? ? ?? ? ?? ? ? ?? ??? ? ? ?? ?? ?? ??ijmjij iniiniim i i m i n nniij ijmjinimjj i im nj iij ij im nj ii ij im nj iij i ij im nj ij i j i nmp p p pp p p H p p p p Hp p p y x p pp p p p p pp p p p y x p y x p XY H? ?? ?? ?? ? ? ?? ? ??mjn jniinmn nm nn n n m n m np q ppqpqpqH pp p p p H q q q p p p H1 12 11 2 1 2 1 1 2 1 1, 1 ), , , , () , , , , ( ) , , , , , (?? ? ?m n nmin n i ninnnniiimiiim niniiiii m nH p Hp p q pqpppppqqpppp p H? ?? ? ? ?? ? ?? ?? ? ?? ??? ????? ?1 11111111/1log1log1log1log1log1log ) (?

　例題:計算

　7、極值性:

　可利用兩個引理證明;(以后再利用 Jensen 證明。)

　引理 1 :對于 x > 0 引理 2 : 其中:

　8、上凸性:

　就是 P 的上凸函數 即對于

　 與兩個概率矢量

　,有:

　函數 f 的圖象

　幾何解釋:

　 f(EP)總在 Ef(P) 上邊 9 9、 、1 1

　證明離散平穩信源有 ? ? ? ?1 2 2 1 3X X H X X X H ? ,試說明等式成立的條件。

　解: ? ? ? ? ? ?2 1 3 321 2 1 3log x x x P x x x P X X X H???? ?

　 ? ? ? ? ? ?2 1 3 2 1 3 2 1log3 1 2x x x P x x x P x x Px x x? ??? ?

　 ? ? ? ? ? ?2 3 2 1 3 2 1log3 1 2x x P x x x P x x Px x x? ??? ?

　 = ? ?2 3X X H

　根據信源的平穩性,有 ? ?2 3X X H = ? ?1 2X X H ,因此有 ? ? ? ?1 2 2 1 3X X H X X X H ?

　等式成立的條件就是 ? ? ?2 1 3x x x P ? ?2 3x x P

　9 9、 、2 2

　證明離散信源有 ? ? ? ? ? ? ? ? ? ?N NX H X H X H X H X X X H ? ? ? ? ? ?3 2 1 2 1,并說明等式成立 的條件。

　證明 ? ? ? ? ? ? ? ? ? ?1 2 1 2 1 3 2 2 1 2 1 ?? ? ? ?N N NX X X X H X X X H X X H X H X X X H ? ?

　而 ? ?1 2 1 ? N NX X X X H

　 ? ? ? ?1 2 1 2 1log1 2? ? ? ?? ?N NXNX Xx x x x P x x x PN? ? ?

　? ? ? ? ? ?1 2 1 1 2 1 1 2 1log1 1 2? ? ? ? ? ? ??? ?N NXN NXNX Xx x x x P X X X X P x x x PN N? ? ? ?

　)61,61,31,31( H) / ( 918 . 1 )21,21( )32,31()21,21(2132)21,21(32)32,31()41,41,21(32)32,31( )61,61,31,31(symbol bit H HH H HH H? ? ?? ? ? ?? ?qq q qH p p p Hqlog )1,1,1( ) , , (2 1? ? ? ?1 ln11 ? ? ? ? x xxi iqiqq p p p p H log ) , , (12 1 ??? ? ? ??? ?iiiiq p 1 ; 1) ( ) , , (2 1P H p p p Hq? ?, 1 0 ? ? ?2 1 ,PP? ?) P ( H ) 1 ( ) P ( H ) P ) 1 ( P ( H2 1 2 1? ? ? ?θ θ θ θ ? ? ? ? ?

　? ? ? ? ? ?NXN NXNX Xx P X X X X P x x x PN Nlog1 2 1 1 2 11 1 2? ? ? ? ? ??? ? ? ? ?

　= ? ?NX H

　即

　? ? ? ?2 1 2x H x x H ?

　? ? ? ?? ?3 2 1 3x H x x x H ? 代入上述不等式,有 ? ? ? ? ? ? ? ? ? ?N NX H X H X H X H X X X H ? ? ? ? ? ?3 2 1 2 1 等號成立的條件就是: ? ? ? ?N N Nx p x x x x p ??1 2 1?

　? ? ? ?? ??1 2 2 1 1 ? ? ??N N Nx p x x x x p ? ? ? ?2 1 2x p x x p ?

　9 9 、 3

　 在連續信源中,根據差熵、條件差熵與聯合差熵的定義,證明 (1)h(X | Y) ??h(X ),當且僅當X 與Y 統計獨立時等號成立; (2) ? ? ? ? ? ? ? ?N NX h X h X h X X X h ? ? ? ? ?2 1 2 1當且僅當X 1 X 2 ?NX

　彼此統計 獨立時等式成立。

　證明: (1)

　 ? ? ? ? ? ? ? ? dx y x p y x p dy y p XY h log? ?? ?

　? ? ? ? ? ? dx x p y x p dy y p log? ?? ? ? ? ? ?? ? X hdxdy x p y x p?? ? log , 等號成立當且僅當p(x | y) ??p(x),即p(x, y) ??p(x) p(y),因此僅當X 與Y 統計 獨立時等號成立。

　(2)根據條件概率密度的相關公式,有 ? ? ? ? ? ? ? ? ? ?1 2 1 2 1 3 2 2 1 2 1 ?? ? ? ?N N NX X X X h X X X h X X h X h X X X h ? ?

　根據(1)的結論,條件差熵小于差熵,因此有 ? ? ? ? ? ? ? ? ? ?N NX h X h X h X h X X X h ? ? ? ? ? ?3 2 1 2 1 等號成立當且僅當 ? ? ? ?2 1 2x p x x p ?

　? ? ? ?? ?3 2 1 3x p x x x p ? ? ? ? ?N N Nx p x x x x p ??1 2 1?

　即 ? ? ? ? ? ?2 1 2 1x p x p x x p ?

　? ? ? ? ? ? ? ?? ?3 2 1 3 2 1x p x p x p x x x p ? ? ? ? ? ? ? ? ?N Nx p x p x p x x x p ? ?2 1 2 1?

　9 9、 、4 4

　 N 維連續型隨機序列NX X X ?2 1,有概率密度以及 ) (2 1 NX X X p ? 以及 ? ? ? ?2i i im X E ? ? ? 。

　證明:當隨機序列的分量各自達到正態分布并彼此統計獨立時熵最大。最大熵為 ? ?NNeN 12 22212 log2? ? ? ? ?

　證明: ? ? ? ? ? ? ? ? ? ?N NX h X h X h X h X X X h ? ? ? ? ? ?3 2 1 2 1 等號成立當且僅當各分量統計獨立。

　而對于任何一個分量而言,當 ? ? ? ?2i i im X E ? ? ? 時,高斯分布的差熵最大,為 ? ?22 log21i ie X h ? ? ? 因此原序列差熵的最大值為: ? ? ?NX X X h ?2 1212 log21? ? e + ? ??222 log21? ? e22 log21Ne ? ?

　 = ] ) ( 2 log[212 2221NNeN? ? ? ? ?

　9 9 、 5

　 N 維連續型隨機序列NX X X ?2 1,其各分量幅度分別受限為 ? ?i ib a , 。

　證

　明:當隨機序列的分量各自達到均勻分布并彼此統計獨立時熵最大。最大熵為? ?i iNia b ? ??1log

　證明: ? ? ? ? ? ? ? ? ? ?N NX h X h X h X h X X X h ? ? ? ? ? ?3 2 1 2 1 等號成立當且僅當各分量統計獨立。

　而對于任何一個分量而言,當幅度分別受限為[ , ] i i a b 時,均勻分布的差熵最大, 為 ? ? ?iX h ? ?i ia b ? log

　因此原序列差熵的最大值為: ? ?NX X X h ?2 1= ? ? ? ?1 1log a b ? ? ? ? ? ?2 2log a b ? ?N Na b ? log

　= ? ?i iNia b ? ??1log

　三、熵的應用

　熵就是信息理論中一個非常重要的概念,它就是衡量一個隨機變量取值的不確定性程度。而就數據集合而言,熵可以作為數據集合的不規則程度的量度,所謂的不規則程度指的就是集合中前后數據元素之間時序依賴關系的強弱。對一個具體的系統來說,如果這個系統隨機性很大、非?；靵y、毫無秩序,則此系統的信息熵就一定很大。反之,如果一個系統就是確定的、具有一定的規則、服從一定的秩序,則此系統的信息熵就一定小。因此,可以把信息熵引申應用到對事物集合中一些相互對立性質的量度,判斷事物集合中的有序與無序、確定性與隨機性、組織性與散漫性、規則性與雜亂性、簡并性與多樣性,并對其相互對立的概念進行量度。結合信息熵的性質,它的應用十分廣泛,在各個學科中都有它的影子。

　目前文獻中信息熵在具體問題中的應用有信息熵在教學質量分析中的應用,信息熵在學生評教結果分析中的應用探析,信息熵在數據集分割中的應用,信息熵方法及其在教育信息處理中的應用,信息熵在缺陷漏磁信號量化中的應用,信息熵在電子數據取證領域中的應用,信息熵在圖書分類決策中的應用,信息熵在網絡流量矩陣估算中的應用,信息熵在粗糙集信息檢索模型中的應用,信息熵在導航傳感器故障診斷中的應用研究,信息熵在工程造價風險分析中的應用研究,信息熵缺陷漏磁信號量化中的應用,信息熵在電子數據取證領域中的應用,信息熵在圖書分類決策中的應用,信息熵在網絡流量矩陣估算中的應用,信息熵在粗糙集信息檢索模型中的應用,信息熵在導航傳感器故障診斷中的應用研究,信息熵在工程造價風險分析中的應用研究,信息熵在設計風險管理中的應用研究,信息熵在大型水利水電工程網絡管理系統信息集成中的應用,信息熵在體育綜合服務質量模糊評價中的應用,信息熵在水污染物總量區域公平分配中的應用,信息熵在項目溝通管理中的應用,信息熵在競爭情報計量分析中的應用,信息熵在體繪制視圖選取中的應用,信息熵在基因調控網絡構建中的應用,信息熵在入侵檢測中的應用,信熵在建設工程評標中的應用,信息熵在農業技術擴散中的應用研

　究,信息熵在電子測量誤差分析中的應用,信息熵在臨床定量診斷分析中的應用,信息熵在建筑工程管理中的應用,信息熵在粗糙集理論中的應用,信息熵在優化問題中的應用,信息熵方法在胃癌診斷中的應用,信息熵在泥沙研究中的應用,信息熵在煤田勘探中的應用,信息熵理論在安全系統中的應用,信息熵在臨床醫學中的應用,信息熵在水系統中的應用研究,信息熵在現代生物醫學中的應用,信息熵理論在煤炭企業經濟效益評價中的應用等。

　四、結束語

　信息熵的性質與應用還遠遠不止文中列出的具體應用,這需要更多的人去學習信息熵的相關知識,利用信息熵這個有力的工具去研究或解決自己學科中的相關問題,所以我們相信信息熵的應用前景十分廣闊。

　參考文獻

　[1]

　曹雪虹,張宗橙、信息論與編碼［M ］、北京:清華大學出版社,2004、 [2] 沈世鎰,吳忠華、信息論基礎與應用［M ］、北京:高等教育出版社,2004、 [3] 周蔭清、信息理論基礎［M ］、北京:北京航空航天大學出版社,2006、 [4] 張少艷、信息熵在教學質量分析中的應用［J］、紅河學院學報, 2007 年第 5 卷第 2 期:77- 79、 [5] 傅祖蕓 編著《信息論－基礎理論與應用》,電子工業出版社,2006,第二版、 課

　程

　論

　文

　成

　績

　評

　定

　表

　學生姓名 董強 專業班級 信息與計算科學 2009 級 02 班 論文題目 信息熵及其性質與應用 指導教師評語及意見: 指導教師評閱成績:

　 指導教師簽字

　年

　 月

　 日 評閱人評語及意見: 評閱人評閱成績:

　 評閱人簽字

　 年

　月

　 日 總評成績(以百分記):

　年

　月

　日

推薦訪問： 性質 信息