《信息論基礎》答案

　一、填空題（共 15 分，每空 1 分) １、若一連續消息通過某放大器，該放大器輸出得最大瞬時電壓為 b,最小瞬時電壓為a.若消息從放大器中輸出，則該信源得絕對熵就是

　 無窮大

　;其能在每個自由度熵得最大熵就是 。

　2、高斯白噪聲信道就是指

　信道噪聲服從正態分布,且功率譜為常數

　 。

　3、若連續信源得平均功率為５ W，則最大熵為,達到最大值得條件就是

　高斯信道

　。

　４、離散信源存在剩余度得原因就是

　信源有記憶（或輸出符號之間存在相關性)

　與

　不等概

　. 5、離散無記憶信源在進行無失真變長信源編碼時，編碼效率最大可以達到

　1

　。

　6、離散無記憶信源在進行無失真變長信源編碼時,碼字長度就是變化得。根據信源符號得統計特性,對概率大得符號用

　短

　碼,對概率小得符號用

　長

　碼，這樣平均碼長就可以降低，從而提高編碼效率。

　7、八進制信源得最小熵為

　０

　，最大熵為 。

　８、一個事件發生概率為 0、125，則自信息量為 。

　9、在下面空格中選擇填入數字符號“”或“〈”

　=

　二、判斷題（正確打√,錯誤打×）（共 5 分,每小題 1 分）

　1) 離 散 無 記 憶 等 概 信 源 得 剩 余 度 為 0 。

　（ √ ）

　2) 離 散 無 記 憶 信 源 N 次 擴 展 源 得 熵 就 是 原 信 息 熵 得 N 倍

　 （ √ ）

　3) 互 信 息 可 正 、 可 負 、 可 為 零 。

　 （ √ ）

　4) 信源得真正功率永遠不會大于熵功率,即

　（ × ）

　5) 信 道 容 量 與 信 源 輸 出 符 號 得 概 率 分 布 有 關 。

　( × ) 三、（５分）已知信源得概率密度函數如下圖所示,求信源得相對熵

　四、（15 分)設一個離散無記憶信源得概率空間為

　它們通過干擾信道,信道輸出端得接收信號集為,已知信道出書概率如下圖所示。

　試計算：

　（1）

　信源中事件得自信息量；（3 分) （2）

　信源得信息熵；（３分) （3）

　共熵;(3 分）

　（4）

　噪聲熵;（3 分）

　（5）

　收到信息后獲得得關于信源得平均信息量。（３分)

　(1）

　(2) （3) (４）

　（5) 五、（10 分）一個平均功率受限得連續信道，信道帶寬為 10ＭHｚ，信道噪聲為高斯白噪聲。)１(

　.量蓉道信得道信該算計，３6 為值比率功均平得聲噪與號信得上道信知已? （2)如果信道帶寬降為２MHz，要達到相同得信道容量,信道上得信號與噪聲得平均功率比值應為多少？

　（1) （2）

　六、（10 分)已知信源共 7 個符號信息，其概率空間為

　（1）

　試用霍夫曼編碼法編成二進制變長碼。（7 分) （2）

　計算信源熵,平均碼長與編碼效率。（9 分) （1）

　1s2s3s4s5s6s7s0.20.20.20.10.10.10.10000001111110.40.60.20.20.40.1123456700010011100101110111sssssss???????(７分）

　（2）

　分）

　 （3 分）

　七、（１0 分)設給定兩隨機變量與,它們得聯合概率密度為

　求隨機變量得概率密度函數，并計算變量得熵。

　已知得

　 （2 分) 則

　（２分）

　所以與獨立，所以 y 為高斯分布 因為

　所以

　（２分) 所以

　（２分）

　所以

　(2) 八、(10 分）設某信道得傳遞矩陣為

　計算該信道得信道容量,并說明達到信道容量得最佳輸入概率分布。

　解:s=４

　(2 分)

　(2 分) 最佳概率分布當輸入概率

　（2 分) 九、(1４分）設有一個馬爾可夫信源,如果為時，為、、得概率為 1／3;如果為時,為、、得概率為１/3；如果為時,為、得概率為 1/2。而且后面發得概率只與有關，又。

　（1)寫出轉移概率矩陣 (2）計算達到穩定后狀態得極限概率. (3)該馬爾可夫信源得極限熵 解 （1）

　(4 分) (２）

　 （3 分) （３）

推薦訪問： 信息論 答案 基礎