信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。 香农提出：信息的传播过程是“信源”（信息的发送者）把要提供的信息经过“信道”传递给“信宿”（信息的接收者），信宿接收这些经过“译码”（即解释符号）的信息符号的过程。 信源→编码 →信道→译码→信宿
设X为一离散随机变量，在集合中取值，其概率分布为
在公式中，对数的底数从理论上而言可以取任何数。当底数为2时，信息的计量单位为比特（bit），即二进制单位。 信息熵是从整个信息源的统计特性来考虑的，它从平均的意义上来表示信息源的总体信息测度，它表示信息源 X 在没有发出消息以前，信宿对信息源 X 存在着平均不确定性。香农的信息度量公式排除了对信息主观上的含意。根据上述公式，同样一个消息对任何一个收信者来说，所得到的信息量都是一样的。
小结
熵就是描写不肯定性大小的量 熵越大不确定性就越大
香农信息论的局限性
首先，香农对信息的定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一个模型还值得探讨。
其次，这个定义和度量不考虑收信者的主观特性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起后果等因素。这与实际情况不完全一致。
? 问题分析
香农信息论存在的问题，主要是由于狭义信息论没有解决信息的语义问题和有效性问题。 语义信息是指当认知主体在获得信息时，不仅要知道“是什么形式”，而且还要理解“是什么意思”。也就是说，信息的具体含义是什么。香农定义并没有解决语义信息的度量问题。这样，它的适用范围就受到严重的限制。
? 广义信息论：广义信息论超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。
广义信息论，包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横向学科。 广义信息论，人们也称它为信息科学。
? 数据、消息、信号与信息的区别
1，数据：是对客观实体的一种描述形式，是信息的载体。 数据（原材料木头）与信息（加工以形成的结构）的关系 。从这个意义上，信息和数据的区别可以理解为：数据是未加工的信息，而信息是数据经过加工以后的能为某个目的使用的数据，信息是数据的内容或诠释。将数据加工为信息的过程称为信息加工或处理。 数据可分为模拟数据和数字数据两种形式。模拟数据是在某个区间内连续的值。
2，消息：信息是包含在消息中的抽象量，消息是具体的，其中蕴含着信息。 按照香农理论，在通信过程中，信息总是经过编码(符号化)成为消息以后，才能经由媒介传播的，而信息的接收者收到消息后，总是要经过译码(解读)才获取其中的信息的。
3， 信号：把消息变换成适合信道传输的物理量，这种物理量称为信号。信号携带着消息，它是消息的运载工具。信号是数据的电磁或光脉冲编码。 信号可以分为模拟信号和数字信号。 模拟信号是一种随时间而连续变化的信号。 数字信号则是在时间上的一种离散信号。 ? 信息的特点
? 信息的不灭性。信息产生后，其载体可以变换，如一本书、一张光盘，但信息本身并没有被消灭。 ? 信息的复制性。信息可以廉价复制，可以广泛传播。
? 信息的时效性。某些信息的价值具有很强烈的时效性。如金融信息，战时信息。 信息的基本作用
1， 人类认识世界及其发展规律的基础
2， 客观世界与人类社会发展进程中不可缺少的资源要素（物质、能源与信息是客观世界的三大要素） 4， 5， 6， 7，
3，科学技术转化为生产力的桥梁与工具 管理和决策的主要参考依据
经济建设和发展的保证（信息可以创造财富） 1.2 信息科学 “