由于在实际的通信系统中，消息往往是指发送的某些符号。这些符号到底能携带多少信息量，与这些符号发生的概率有关，而对于任何接收端来说，这些符号发生的概率是一定的，不会说对这个接收机是这个概率，对那个接收机是那个概率。比如有一串符号221234，这串符号由1，2，3，4四个符号组成，假设四个符号出现的概率都是1/4，那么在这串符号中，2出现了3次，所以2所携带的信息量是-3×log2(1/4)=6bit。我们需要明白，通信系统中传送的符号，就相当于我们现在谈论的消息。由于在实际的通信系统中，消息往往是指发送的某些符号。这些符号到底能携带多少信息量，与这些符号发生的概率有关，而对于任何接收端来说，这些符号发生的概率是一定的，不会说对这个接收机是这个概率，对那个接收机是那个概率。比如有一串符号221234，这串符号由1，2，3，4四个符号组成，假设四个符号出现的概率都是1/4，那么在这串符号中，2出现了3次，所以2所携带的信息量是-3×log2(1/4)=6bit。我们需要明白，通信系统中传送的符号，就相当于我们现在谈论的消息。