1. 信息论基础

1.1 信息、信号、消息

信息是一个既广泛又抽象的哲学概念。物质、能量和信息是世界的三大基本构成，信息既不是物质，也不是能量，但又离不开物质与能量，它是人类认识客观世界的更高层次。掌握信息，不仅能充分利用物质与能量，还能创造新的物质与能量形式。

在通信中，可从两个不同的层次(侧面)来描述与刻画信息：

• 物理表达层：该层次的代表是信号。信号是一个物理量，可描述、可测量、可显示。通信中待传送的信息就是以信号参量形式载荷在信号上，这些参量是信号的振幅、频率、相位乃至参量的有无。从物理表达层来看，信息是信号所载荷的内容与含义。
• 逻辑表达层：该层次的代表是消息(或符号)，它将抽象待传送的信息在从数学实质上分为：离散型，即数字信源，用相应的随机序列来描述；连续型，即模拟信源，用相应的随机过程来描述。从数学表达层（逻辑上）来看，信息是消息(或符号)所描述和度量的对象。

信息、信号、消息之间是辩证统一：

• 信息是信号、消息的内涵，即消息所要描述和度量的内容、信号所要载荷的内容;
• 信号、消息分别是信息在物理层、逻辑层的外延，即信号与消息是信息在物理与逻辑两个不同方面的表达形式。

1.2 信息的度量

熵的概念首先在热力学中引入，用于度量一个热力学系统的无序程度。

（1）信息熵

1948年，C.E. Shannon 在《A Mathematical Theory of Communication》第一次提出了信息熵。

• 信息熵（Entropy）是信息的不确定性（Uncertainty）的度量，不确定性越大，信息熵越大。
• 信息****用来消除事件的不确定性，即消除熵=获取信息。消除熵可以通过调整事件概率、排除干扰或直接确定来消除。

一条信息消除的事件的不确定性越大（熵减越大），它蕴含的信息量越大。

因此，信息的量度应该依赖于事件的概率分布$p(x)$，定义如下：
$$H=-\sum _{x}p(x)\log p(x)$$其中，$p(x)$为随机变量$X$的概率密度函数。使用以2为底的对数函数单位为bit。

对于离散型随机变量：
$$H=-\sum _{i=1}^{n}P(x_i)\log P(x_i)$$$0\le H(X)\le {\log }_{2}N$，$N$是系统$S$中的事件总数，当且仅当$X$均匀分布（$p_1=p_2=...=p_N$），系统的熵达到最大值${\log }_{2}N$（不确定性最大）。

如对于两点分布，$H=-p\log p-(1-p)\log (1-p)$，当$p=0.5$时，$H$取得最大值1bit。

e.g.1

• 随机抛掷1枚硬币1次，有2种可能结果：$H=-\sum _{i=1}^2\frac{1}{2}{\log }_2\frac{1}{2}=1bit$
• 抛掷3次，有8中可能结果：$H=-\sum _{i=1}^8\frac{1}{8}{\log }_2\frac{1}{8}=3bit$

e.g.2

A/B/C/D 四个选项：

• 无法确定是哪个选项为正确选项，此时的熵：$H=-\sum _{i=1}^4\frac{1}{4}{\log }_2\frac{1}{4}=2bit$
• 知道A不是正确选项后的熵：$H_A=-\sum _{i=1}^3\frac{1}{3}{\log }_2\frac{1}{3}=1.585bit$
• A不是正确选项提供的信息量：$H-H_A=0.415bit$

（2） 联合熵（Joint Entropy）

联合熵表示$X,Y$同时发生的不确定性，定义如下：
$$\begin{gathered} H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y) \\ =H(X)+H(Y\mid X) \\ =H(Y)+H(X\mid Y) \end{gathered}$$

$H(X,Y)\le H(X)+H(Y)$，当且仅当$X,Y$相互独立时等号成立。

推广：$H(X_1,X_2,...,X_n)\le {\sum }_{i=1}^{n}H(X_i)$，当且仅当随机变量$X_i$相互独立时等号成立。

（3） 条件熵（Conditional Entropy）

条件熵表示一个随机变量在给定另外一个随机变量的条件下的熵，定义如下：$$\begin{gathered} H(X\mid Y)=-\sum _{x,y}p(x,y)\log p(x\mid y) \\ =H(X,Y)-H(Y) \end{gathered}$$同理，$$\begin{gathered} H(Y\mid X)=-\sum _{x,y}p(x,y)\log p(y\mid x) \\ =H(X,Y)-H(X) \end{gathered}$$$H(X\mid Y)\le H(X),H(Y\mid X)\le H(Y)$，当且仅当$X,Y$相互独立时等号成立。

两个条件的条件熵定义如下：$$H(X\mid Y,Z)=-\sum _{x,y,z}p(x,y,z)\log p(x\mid y,z)$$（4） 互信息（Mutual Information）

互信息表示由另一随机变量导致的原随机变量不确定度的缩减量，定义如下：
$$\begin{gathered} I(X;Y)=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)} \\ =H(X)-H(X|Y) \\ =H(Y)-H(Y|X) \\ =H(X)+H(Y)-H(X,Y) \end{gathered}$$互信息关于$X$和$Y$对称，为非负值。可度量两个随机变量之间的独立程度，当且仅当$X$和$Y$相互独立时等于零。

2. 通信系统

通信就是互通信息。

2.1 仙农通信系统模型

1948年，C.E. Shannon 在《A Mathematical Theory of Communication》提出了仙农通信系统模型。

• 信源：信息的发出主体
• 信宿：信息的接收主体
• 信道：传送信息的通道，如光缆信道、无线信道等
• 发送设备：把信源输出变换成适合信道传送的信号
• 接收设备：从信道上接收信号并恢复出信息发给信宿

信源和信宿决定了通信系统的业务性质；信道容量决定了通信系统能能传送多少信息；发送设备和接收设备决定了通信系统的性能。

信息论回答了通信理论中的两个基本问题：

• 临界数据压缩的值（熵H）
• 临界通信传输速率的值（信道容量C）

2.2 数字通信系统

数字通信系统(DCS)的信号处理过程如下：

• 发送端：格式化（Format）、信源编码（Source encoding）、加密（Encryption）、信道编码（Channel encoding）、多路复用（Multiplex）、脉冲成形（Pulse Modulation）、带通调制（Bandpass Modulation）、频率扩展（Frequency spread）、多址接人（Multiple access）
• 接收端：多址接人（Multiple access）、频率解扩（Frequency despread）、多路分离（Demultiplex）、信号解调（Demodulate）、采样判决（Sample&Judgment）、信道译码（Channel decoding）、解密（Decryption）、信源译码（Source decoding）、格式化（Format）

• 格式化：将输入源信息转化为0/1比特流。
• 信源编码：通过压缩编码去除消息冗余，提升系统有效性。
• 加密：对消息进行加密，确保系统的保密性。
• 信道编码：通过增加冗余进行纠错处理，提升系统可靠性。
• 脉冲调制：将0/1二进制比特序列转化为基带波形，脉冲调制通常包含使传输带宽最小化的滤波器。
• 带通调制：将基带波形调制为适合信道传输的带通波形，一般为高频载波信号。
• 多路复用和多址接入把不同特性或不同信源的信号进行合合成，以便共享通信资源(如频谱、时间)。

总结：

上述信号处理流程是一种典型结构，但这些流程也会有不同顺序，如多路复用可以先于信道编码或先于调制。

（1）关于格式化与信源编码

格式化是目的是使消息(源信号)适合于数字处理，尤其是将模拟信号数字化，由于模拟信号在A/D转换的过程中通常涉及编码问题，因此认为格式化是信源编码的特例。

（2）关于脉冲调制
脉冲调制之前的信息是比特流的形式，调制过程将消息码元或信道码元转换成与传输信道特性匹配的波形。

既然代表二进制1和0的不同电平，可以看做每个脉冲占用一个比特时间的冲激或理想矩形脉冲，为什么还要脉冲调制？

如信息“HOW”用7比特的ASCII码表示，比特流可以用二电平脉冲图形表示。这里的脉冲序列由理想矩形形状的脉冲组成，两个相邻的脉冲之间存在间隔。但实际系统中的脉冲不可能与图中所绘的相同，因为这种间隔没有任何用处。对于给定的比特速率，脉冲间隔会增加所需的传输带宽;对于给定的带宽，脉冲间隔会增加获得信息的时延。

这些电压电平和用于调制的基带波形之间有两个重要区别:

• 脉冲调制适用于各种二进制和M进制脉冲波形
• 脉冲调制中的滤波器产生持续时间大于1比特时间的脉冲，称为脉冲成形，把传输带宽限制在给定的频谱范围内。

2.3 信号

（1）模拟信号与数字信号

• 连续时间信号（模拟信号）：信号在连续的时间范围内定义，如语音信号。
• 离散时间信号（数字信号）：信号仅在离散的时间点上定义，如数字音频信号。

• 模拟信号-> 模拟信号：放大或调制（AM幅度调制、FM频率调制、PM相位调制）
• 模拟信号-> 数字信号：采样、量化、编码（PCM编码）
• 数字信号-> 模拟信号：调制（ASK幅移键控，FSK频移键控，PSK相移键控，QAM正交振幅调制）
• 数字信号-> 数字信号：脉冲调制，一般用于将电平信号调制为基带信号。

（2）其他的信号分类

• 根据信号的周期性分类

  • 周期信号：信号按照固定的时间间隔重复，如正弦波信号。
  • 非周期信号：信号不具有重复性。

• 根据信号的能量和功率分类

  • 能量信号：信号的能量有限，但平均功率为零，如脉冲信号。
  • 功率信号：信号的平均功率有限，且非零，如周期性的正弦波信号。

• 根据信号的确定性分类

  • 确定信号：信号在任何时间的值都是确定已知的，如正弦波信号。
  • 随机信号：信号的值无法预测，具有随机性，如噪声信号。

• 根据信号是否调制分类

  • 基带信号：信源中直接获取并反映其信息特征的原始信号，通常是低频信号。基带信号可以是数字信号（将 1 或 0 直接用两种不同的电压来表示），也可以是模拟信号（如语音信号）。
  • 频带信号，也称为带通信号、宽带信号，是对基带信号进行调制处理后得到的信号。调制过程将基带信号的频谱搬移到较高的频率范围，使其能够在更远的距离上进行传输，并有效抵抗外界干扰。频带信号包含了基带信号的全部信息，但在形式上发生了改变。

2.4 消息、字符、比特、码元、数字波形

• 消息( message)：包含文本、语音、图片、视频各种类型。以文本消息为例，是由文字和数字组成的字符序列。
• 字符(character )：指某个字母表或符号集中的一个。字符通过字符编码可以映射成一个二进制数字序列。字符编码包括美国信息交换标准码(American Standard Code for lnformation Interchange，ASCII)、扩展二-十进制交换码(Extended Binary Coded Decimal Interchange Code，EBCDIC)、霍尔瑞斯码(Hollerith)、博多码(Baudot)、默里码(Murray)、莫尔斯码(Morse)。
• 比特流( bit stream)：二进制0/1序列，脉冲调制之前的比特流都用电压电平表示。
• 码元(symbol)：一个码元由$k$比特组成，表示来自有限码元集中的消息码元$m_i(i=1，\dots ，M)$，有限码元集集的大小为$M=2^k$。
• 数字波形( digital waveform )：即信号波形，指用于表示数字符号的电压或电流波形(基带传输的脉冲或带通传输的正弦波)。波形参数(脉冲的幅度、宽度、位置或正弦波的幅度、频率、相位)使其可用于表示有限符号集中的任意符号。
  • 对于基带传输，每个码元$m_i$用基带脉冲波形 g i ( t ) ∈ { g 1 ( t ) , g 2 ( t ) , … , g m ( t ) } g_i(t) \in \{g_1(t), g_2(t),…, g_m(t)\} gi​(t)∈{g1​(t),g2​(t),…,gm​(t)}表示。
  • 对于带通传输，每个脉冲$g_i(t)$都由带通波形 s i ( t ) ∈ { s 1 ( t ) , s 2 ( t ) , … , s m ( t ) } s_i(t) \in \{s_1(t), s_2(t),…, s_m(t)\} si​(t)∈{s1​(t),s2​(t),…,sm​(t)}表示。

2.5 信息速率与码元速率

（1）信息速率

二进制数字通信系统中每秒传送的二进制符号数可用每秒传送的最大信息量来表征，单位为比特/秒(bit/s)，称为信息传输速率，又称信息速率或比特率。

信息速率用$R_b(bit/s)$表示，若二进制符号间隔为$T_b(s)$，则$R_b=1/T_b(bit/s)$。

e.g. 信息速率$R_b=2400bit/s$表示每秒传送2400个二进制符号，二进制符号间隔$$T_b=\frac{1}{R_b}=\frac{1}{R_b}0.416ms$$

（2）码元速率

M进制数字通信系统中，每秒传送的M进制符号数被称为码元传输速率或符号速率,单位为波特(Baud),可用“B”表示。
码元速率(或符号速率)用 $R_s(B)$表示，若M进制符号间隔为$T_s(s)$，则 $R_s=1/T_s(B)$。

（3）码元速率与信息速率之间的关系

在M进制数字通信系统中，若$M=2^K$，它表示每$K$个二进制符号与$M$进制符号之一相对应，则$M$进制码元速率$R_s(B)$与二进制信息速率$R_b(bit/s)$之间的转换关系为
$$R_s=\frac{R_b}{{\log }_{2}M}=\frac{R_b}{K}Baud$$或$$R_b=R_s{\log }_{2}M=R_{s}Kbit/s$$它表示每秒传送$R_s$个$M$进制符号，等效为每秒传送$(R_s{\dot{\log }}_{2}M)$个二进制符号。

3. 信源编码与信道编码

通信系统的性能主要是从数量与质量两方面来度量：

• 数量指标用有效性度量，取决于信源的统计特性
• 质量指标用可靠性度量，取决于信道的统计特性

通信系统是信源与信道相配合的统一体，通信系统的优化应是寻求信源与信道之间最佳的统计匹配，达到达到既有效又可靠。

3.1 信源编码

信源编码的任务是在分析信源统计特性的基础上，通过信源的压缩编码去掉这些统计多余成分。

通过对数据源频繁出现的结果分配较短描述，对不常出现的结果分配较长描述，可以达到数据压缩的目的。

对于模拟信号，通过模/数转换将模拟信号数字化，再进行压缩编码。

（1）模/数转换

模拟信号数字化要经过下列三个基本步骤：

• 采样：模拟信号时间轴的离散化
• 量化：模拟信号取值域的离散化
• 编码：将离散化数值编应0,1序列的码组

按逐个独立样点进行取样、量化与编码的整个过程和方法称为脉冲编码调制(PCM，Pulse Code Modulation)，这是当前最常用的模拟语音数字化的编码方法。

奈奎斯特采样定理（Nyquist Sampling Theorem）

为了确保可以从采样信号中恢复出原始的模拟信号，采样频率$f_s$必须大于模拟信号最高频率$f_{max}$的2倍$$f_s>f_{max}$$

以电话语音信号为例，其最高频率为3400Hz，要通过采样信号重建语音信号，采样频率须大于$3400\times 2=6800Hz$。一般PCM编码的采样频率为8kHz，满足采样定理。

（2）音频编码

• G.711 PCM

  • 音频信号频率范围：300~3400Hz
  • 采样频率：8kHz
  • 量化：非均匀量化，256个量化电平。
  • 编码：编码字长为8bit。
  • 压缩：无
  • 码率：$8kHz\times 8bit=64kbps$

• GSM RPE-LPT

  • 音频信号频率范围：300~3400Hz
  • 采样频率：8kHz
  • 量化：均匀量化，8192个量化电平
  • 编码：编码字长为 13bit
  • 压缩：压缩率为8:1
  • 码率：原始音频编码码率为$8kHz\times 13bit=104kbps$；压缩后的码率为$104/8=13kbps$.

• 4G VoLTE AMR-WB

  • 音频信号频率范围：50~7000Hz
  • 采样频率：16kHz
  • 量化：均匀量化，65536个量化电平
  • 编码：编码字长:16 bit
  • 压缩：根据信道条件自适应调整压缩比
  • 码率：
    • 原始音频编码码率为$16kHz\times 16bit=256kbps$
    • 压缩后的码率为$6.60/8.85/12.65/14.25/15.85/18.25/19.85/23.05/23.85$，最高码率达到$23.85kbps$

3.2 信道编码

信道编码的任务是以最小冗余代价换取最大抗干扰性能，解决信道造成导致的误码问题，保证传输的可靠性。

（1）ARQ/FEC

• ARQ：接收端在发现误码后，请求发送端对错误数据进行重传，称为后向纠错（ARQ，Automatic Repeat reQuest）。
• FEC：发送端在发送数据时加入一定的冗余信息，以便在出现误码时接收端可以直接进行纠错，称为前向纠错（FEC，Forward Error Correction）。常用编码包括：汉明码（Hamming Code）、RS码（Reed-Solomon Code）、BCH码（Bose-Chaudhuri-Hocquenghem Code）等。

（2）交织

一般的信道译码只能纠正零星的误码，对于连续的误码无能为力。

为了解决连续误码问题，需要将信道编码之后的数据顺序按照一定规律打乱，这就是交织。

接收端在信道译码之前先将数据顺序复原，这就是去交织，这样连续的误码到了接收端就变成了零星的误码。

4. 数字信号传输

4.1 基带传输

（1）数字基带信号

0/1二进制序列通过数字调制器映射为数字波形在信道中进行传输。

数字调制器包括：

• 二进制数字调制器：将二进制符号0/1分别映射为波形$s_0$与$s_1$
• M进制数字调制器：将每$K$个二进制符号0/1映射为$M=2^K$个不同波形$s_i(t),i=0,1,2,...,M-1$中的一个。

一般以周期性的脉冲序列为载波，用数字序列调制脉冲载波的某些参数，将数字序列映射为相应的信号波形。输出信号的功率谱密度是低通型的，称为数字基带信号。

数字脉冲调制有三种基本方法：

• 脉冲幅度调制(PAM)信号：用数字序列调制脉冲载波的幅度
• 脉冲位置调制(PPM)信号：用数字序列调制脉冲载波的位置
• 脉冲宽度调制(PDM)信号：用数字序列调制脉冲载波的宽度

由于脉冲幅度调制的频带利用率高，一般使用数字PAM信号在限带基带信道中传输。

数字基带信号通过基带信道（双绞线等有限信道）传输的系统称为数字基带传输系统。

（2）基带源码

基带原码(Baseband Source Code)是由数字信号源输出的原始脉冲信号序列，它是数字通信系统中的最基础、未经处理的码型。

• 单极性不归零码（Unipolar Non-Return-to-Zero, NRZ）：无电压表示“0”，恒定正电压表示“1”。每个码元时间的中间点是采样时间，判决门限为半幅电平。
• 双极性不归零码（Bipolar Non-Return-to-Zero, NRZ）：“1”码和“0”码都有电流，“1”为正电流，“0”为负电流，正和负的幅度相等，判决门限为零电平。
• 单极性归零码（Unipolar Return-to-Zero, RZ）：每一码元时间间隔内，有一半的时间发出正电流表示“1”，另一半时间则不发出电流表示“0”。
• 双极性归零码（Bipolar Return-to-Zero, RZ）：在每一码元时间间隔内，当发“1”时，发出正向窄脉冲；当发“0”时，则发出负向窄脉冲。

（3）线路码

基带原码含有直流和丰富的低频成分，以及0码和1码出现概率不均衡等缺点，数字基带传输系统中，需要将基带原码转换成适合在线路上传输的线路码（Line Code），又称调制码、传输码，使其适应在基带信道中的传输要求。

线路码的设计原则：

• 功率频谱密度与基带信道的频率特性相匹配
• 不应含有离散的直流分量，并尽量减少低频分量及高频分量，可节省传输带宽、减少码间干扰
• “1”和“0”的出现概率相同，
• 含有定时信息
• 含有检错和纠错信息

常用线路码：

线路编码与信道编码

信息传输过程中，一般先进行线路编码，后进行信道编码。

• 线路编码是对原始二进制序列进行处理，使其更适合在特定的传输介质中传输。
• 信道编码则是在线路编码的基础上，通过增加冗余信息来提高传输的可靠性。

如光纤通信系统中，先对信号进行线路编码以适应光纤信道的特性，再对编码后的信号进行信道编码以提高传输的可靠性。

线路码的主要是使信号更适合于信道传输，便于定时提取和误码检测，可以看做广义层面的信道编码。

4.2 频带传输

无线通信和光通信的信道是带通型的，其频带远离$f=0$的频率，需要将数字基带信号经正弦型载波调制，将低通型频谱搬移到载频上，成为带通信号进行传输，此类传输系统称为数字频带传输系统。

使用数字基带信号去控制正弦型载波的某参量：

• 振幅键控(ASK)信号：控制载波的幅度
• 频率键控(FSK)信号：控制载波的频率
• 相位键控(PSK)信号：控制载波的相位
• 正交幅度调制(QAM)信号：联合控制载波的幅度及相位两个参量

数字调制包括二进制及M进制(M>2)：

• 二进制数字调制：将二进制符号0/1分别映射为波形$s_0$与$s_1$，包括2ASK/OOK（载波的振幅不同）、2FSK（载波的频率不同）、2PSK/BPSK（载波的相位不同）
• M进制$(M>2)$数字调制：将每$K$个二进制符号0/1映射为$M=2^K$个不同波形$s_i(t),i=0,1,2,...,M-1$中的一个。如8PSK中，每3个二进制比特对应于1个八进制符号，每个八进制符号映射为有8个离散相位状态之一的正弦载波信号波形。

5. 信道容量

信道容量指该信道单位时间内能够传送的最大信息量，等于信道输入于输出互信息的最大值。

限制码元在信道上传输速率的因素：

• 信道的频率范围
• 信道的信噪比

5.1 高斯信道

高斯信道，通常指的是加权高斯白噪声（AWGN, Additive White Gaussian Noise）信道。

高斯信道的主要特征是，在整个信道带宽下，噪声的功率谱密度（PSD）为常数，且噪声的振幅符合高斯（或正态）概率分布。即高斯信道中的噪声是一种随机、无记忆且均匀分布于整个频带内的白噪声，其强度符合高斯分布。

5.2 离散高斯信道的信道容量

离散高斯信道是一个时间离散信道，在时刻$i$，输出信号$Y_i$是输入信号$X_i$和$Z_i$之和，其中$Z_i$为独立同分布切分布序列服从方差为$N$的高斯分布。
$$Y_i=X_i+Z_i,Z_i\sim \mathcal{N}(0,N)$$功率限制为$S$的离散高斯信道的信道容量$$C=\underset{E{X}^2\le S}{\max }I(X;Y)$$可以证明$$C=\frac{1}{2}{\log }_2(1+\frac{S}{N})$$且最大值在$X_i\sim \mathcal{N}(0,N)$时达到。

5.3 连续高斯信道的信道容量

通用信道模型是带宽有限的高斯信道，即限频、限功率的高斯信道，这是一种时间连续信道。

该信道的输出$$Y(t)=(X(t)+Z(t))\ast h(t)$$其中，输入信号$X(t)$是平稳随机过程，且功率受限：$$E[X^2(t)\le S]$$$Z(t)$是加性高斯白噪声

$h(t)$是一个理想低通滤波器的冲击相应，可将大于$B$(Hz)的所有频率过滤掉，即信道的频率特性是理想限带的：$$H(f)=\{\begin{array}{ll}1,f<B& \\ 0,f>B& \end{array}$$

由于以$2B$的采样频率对理想限带信号进行采样，可从样本中重构信号。应用离散时间高斯信道理论，可得出：$$C=B\log (1+\frac{S}{N_{0}B})$$信道道容量$C$的单位为bit/s，这就是Shannon公式。

通过Shannon公式可以看出：

• 信号功率$S\to \infty$时，信道容量$C\to \infty$
• 信道带宽$B\to \infty$时，信道容量趋于定值：$$\underset{B\to \infty }{\lim }C=\frac{S}{N_0}{\log }_{2}e\approx 1.44\frac{S}{N_0}$$

Shannon定理揭示了信源信息速率与信道容量的关系：

• 如果信源的信息速率(即每秒钟发出的信息量)小于信道容量，则存在一种编码方式可保证通过该信道传送信源信息的差错率任意小；
• 反之，如果信源的信息速率大于信道容量，则不可能存在这种编码，传送信息的差错率将很大。

通常称达到Shannon公式信道容量的通信系统为理想通信系统。理想通信系统一般只能作为实际通信系统的理论界限。Shannon证明了理想系统的存在性，但没有指出实现理想系统的方法。实际通信系统的信息传输速率不可能大于理想系统的信道容量。