信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。 香农提出：信息的传播过程是“信源”（信息的发送者）把要提供的信息经过“信道”传递给“信宿”（信息的接收者），信宿接收这些经过“译码”（即解释符号）的信息符号的过程。 信源→编码 →信道→译码→信宿
设X为一离散随机变量，在集合中取值，其概率分布为
在公式中，对数的底数从理论上而言可以取任何数。当底数为2时，信息的计量单位为比特（bit），即二进制单位。 信息熵是从整个信息源的统计特性来考虑的，它从平均的意义上来表示信息源的总体信息测度，它表示信息源 X 在没有发出消息以前，信宿对信息源 X 存在着平均不确定性。香农的信息度量公式排除了对信息主观上的含意。根据上述公式，同样一个消息对任何一个收信者来说，所得到的信息量都是一样的。
小结
熵就是描写不肯定性大小的量 熵越大不确定性就越大
香农信息论的局限性
首先，香农对信息的定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一个模型还值得探讨。
其次，这个定义和度量不考虑收信者的主观特性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起后果等因素。这与实际情况不完全一致。
? 问题分析
香农信息论存在的问题，主要是由于狭义信息论没有解决信息的语义问题和有效性问题。 语义信息是指当认知主体在获得信息时，不仅要知道“是什么形式”，而且还要理解“是什么意思”。也就是说，信息的具体含义是什么。香农定义并没有解决语义信息的度量问题。这样，它的适用范围就受到严重的限制。
? 广义信息论：广义信息论超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。
广义信息论，包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横向学科。 广义信息论，人们也称它为信息科学。
? 数据、消息、信号与信息的区别
1，数据：是对客观实体的一种描述形式，是信息的载体。 数据（原材料木头）与信息（加工以形成的结构）的关系 。从这个意义上，信息和数据的区别可以理解为：数据是未加工的信息，而信息是数据经过加工以后的能为某个目的使用的数据，信息是数据的内容或诠释。将数据加工为信息的过程称为信息加工或处理。 数据可分为模拟数据和数字数据两种形式。模拟数据是在某个区间内连续的值。
2，消息：信息是包含在消息中的抽象量，消息是具体的，其中蕴含着信息。 按照香农理论，在通信过程中，信息总是经过编码(符号化)成为消息以后，才能经由媒介传播的，而信息的接收者收到消息后，总是要经过译码(解读)才获取其中的信息的。
3， 信号：把消息变换成适合信道传输的物理量，这种物理量称为信号。信号携带着消息，它是消息的运载工具。信号是数据的电磁或光脉冲编码。 信号可以分为模拟信号和数字信号。 模拟信号是一种随时间而连续变化的信号。 数字信号则是在时间上的一种离散信号。 ? 信息的特点
? 信息的不灭性。信息产生后，其载体可以变换，如一本书、一张光盘，但信息本身并没有被消灭。 ? 信息的复制性。信息可以廉价复制，可以广泛传播。
? 信息的时效性。某些信息的价值具有很强烈的时效性。如金融信息，战时信息。 信息的基本作用
1， 人类认识世界及其发展规律的基础
2， 客观世界与人类社会发展进程中不可缺少的资源要素（物质、能源与信息是客观世界的三大要素） 4， 5， 6， 7，
3，科学技术转化为生产力的桥梁与工具 管理和决策的主要参考依据
经济建设和发展的保证（信息可以创造财富） 1.2 信息科学 “科学”的定义
科学就是整理事实，从中发现规律，做出结论。 科学要发现人所未知的事实，并以此为依据，实事求是，而不是脱离现实的纯思维的空想。
规律，是指客观事物之间内在的本质的必然联系。 因此，科学是建立在实践基础上，经过实践检验和严密逻辑论证的，关于客观世界各种事物的本质及运动规律的知识体系。
科学产生技术，技术推动科学二者相互促进，密切相关
? 科学、技术与工程的界定
“科学”是指探知事物的本质、特征、内在规律以及与其他事物的联系, 是关于自然、社会和思维的发展与变化规律的知识体系。科学理论内容必须符合客观实际，要逻辑严谨，没有矛盾，能够指导实践。它由已知的观测和实验事实总结而来，又必须具有预测的能力，能够在其适用的范围内预测可能发生的新现象，并通过科学实验验证其预测。预测与验证是确立一个新理论和其适用范围时必须采用的方法。
“技术” ：技术是在科学的指导下，通过总结实践的经验而得到，在生产过程和其他实践过程中广泛应用的，从设计、装备、方法、规范到管理等各方面的系统知识。 在生产实践活动中，人类对技术，也就是“怎么做?”不断积累了经验。几千年前，在农业、医疗、建筑、陶瓷、金属冶炼等方面就已经发展了高度的技能。 技术直接指导生产、服务生产，是现实的生产力，也是一种商品。简言之，一切能够在市场上有竞争力，获得市场承认，推动市场发展的知识都可以称为技术。
“工程” ：工程是人类有组织地综合运用多门科学技术进行的大规模改造世界的活动，它除了要考虑技术的先进性和可行性，还要考虑成本和质量，做到经济、实用、美观，要考虑对环境的影响，以避免污染。它的成功有赖于多种科学技术的综合集成和科学的管理。
信息科学：信息和控制是信息科学的基础和核心。
1， 定义1：
信息科学是研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的科学，是一门结合了数学、物理、天文、生物和人文等基础学科的新兴与综合性学科”。 2，定义2：
以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。
? 信息科学的研究内容与体系，可将信息科学研究的基本内容归纳为五个方面： 1， 探讨信息的基本概念和本质。
2， 研究信息的数值度量方法。
3， 阐明信息感知、识别、变换、传递、存储、检索、处理、再 生、表示、施效(控制)等过程的一般规律。 4， 揭示利用信息来描述系统和优化系统的方法和原理 5， 寻求通过加工信息来生成智能的机制和途径。
信息科学的基本科学体系，从信息科学研究内容分为三个层次：
? 信息科学的哲学层次，其中包括信息的哲学本质、智能的哲学本质、信息与反映的关系、信息与认识的关
系、人工智能与人类智能的关系等等。
? 信息科学的基础理论层次，它的主要任务是研究信息的一般理论。
? 信息科学的技术应用层次，主要研究如何应用信息科学理论在技术上拓展人类的信息功能（特别是其中的
智力功能）的问题。
信息技术：信息技术的定义(人们对信息技术的定义，因其使用的目的、范围、层次不同而有不同的表述）： 定义1：信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等的技术。
定义2：现代信息技术“以计算机技术、微电子技术和通信技术为特征”。
定义3：信息技术是指在计算机和通信技术支持下用以获取、加工、存储、变换、显示和传输文字、数值、图像以
及声音信息，包括提供设备和提供信息服务两大方面的方法与设备的总称。
定义4：信息技术指“应用在信息加工和处理中的科学，技术与工程的训练方法和管理技巧；上述方法和技巧的应用；计算机及其与人、机的相互作用，与人相应的社会、经济和文化等诸种事物。”
定义5：信息技术包括信息传递过程中的各个方面，即信息的产生、收集、交换、存储、传输、显示、识别、提取、控制、加工和利用等技术。
定义6：从技术的本质意义上讲，信息技术就是能够扩展人的信息器官功能的一类技术。 扩展人类的信息器官功能的信息技术
? 人的信息器官主要包括以下四类
? 感觉器官，包括视觉器官、听觉器官、嗅觉器官、味觉器官、触觉器官和平衡感觉器官等；
? 传导神经网络；它又可以分为导入神经网络利导出神经网络等； ? 思维器官，包括记忆系统、联想系统、分析推理和决策系统等；
? 效应器官，包括操作器官(手)、行走器官(脚)和语言器官(口)等。
? 信息技术的“四基元”，根据上面给出的信息技术的定义和相应的分析，我们可以明确信息技术的四项基本
内容，这就是“信息技术四基元”，即： (1) 感测技术——感觉器官功能的延长。 (2) 通信技术——传导神经网络功能的延长。
(3) 计算机和智能技术——思维器官功能的延长。
(4) 控制技术——效应器官功能的延长。
由信息技术的定义6可以引出两个比较具体的定义，即：
? 信息技术是指能够完成信息的获取、传递、加工、再生和施用等功能的—类技术； ? 信息技术是指感测、通信、计算机和智能以及控制等技术的整体。
信息技术的发展
? 迄今为止，人类社会发生过四次信息技术革命
? 第一次革命是人类创造了语言和文字，接着现出了文献。
? 第二次革命是造纸和印刷术的出现。
? 第三次革命是电报、电话、电视及其他通讯技术的发明和应用。 ? 第四次革命是电子计算机和现代通讯技术在信息工作中的应用。
? 信息技术的核心及支撑技术，信息技术的核心技术就是它的“四基元”：计算机与智能技术、通信技术、感
测技术及控制技术。 计算机与智能技术
.通信技术：现代通信技术主要包括数字通信、卫星通信、微波通信、光纤通信等。 传感技术
控制技术：智能控制技术当前主要包括以下几个方面： ?模糊控制技术 。专家控制技术。机器学习技术 信息技术主要支撑技术-微电子技术
信息技术的发展必须具备两个基本的条件：
? 一是快速，即短时间里可收集或传输大量信息；
? 二是体积小，携带起来方便，在任何场合都能使用。
1.4 信息科学（技术）与相关学科的关系
? 计算科学
计算科学（或计算机科学）是对描述和变换信息的算法过程,包括其理论、分析、设计、效率分析、实现和应用的系统的研究。
系统科学
? 信息哲学：信息与哲学的联姻 ? 认知科学与认知心理学
? 第二章 计算与计算科学
? 2.1 计算的本质
? 计算就是符号串的变换。从一个已知的符号串开始，按照一定的规则，一步一步地改变符号串，经过有限
?
步骤，最后得到一个满足预先规定的符号串，这种变换过程就是计算。 算法是求解某类问题的通用法则或方法，即符号串变换的规则。
? 如果我们把一切都看作是信息，那么更精确的讲，计算就是对信息的变换！ ? 图灵机是一种抽象计算模型（如图），1用来精确定义可计算函数。图灵机由一个控制器，一条可以无限延伸的带子和一个在带子上左右移动的读写头组成。
? 图灵最大的贡献：把算法这样一个基本的、深刻的概念用他的图灵机模型讲清楚了。
? 人们称图灵为：计算机理论之父。正是因为图灵奠定的理论基础，人们才有可能发明20世纪以来甚至是人类有史以来最伟大的发明：计算机。
? 计算学科的定义：计算学科是对描述和变换信息的算法过程进行的系统研究，包括理论、分析、设计、实
现和应用等。 计算学科包括对计算过程的分析以及计算机的设计和使用。 ? 什么是人工智能
人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，也就是研究如何应用计算机的软硬件来模拟 人类某些智能行为的基本理论、方法和技术。
? 有趣的图灵测验 图灵提出一个假想：一个人在不知情的条件下，通过一种特殊的方式，和一台机器进行问答，如果在相当长时间内，他分辨不出与他交流的对象是人还是机器，那么，这台机器就可以认为是能思维的。这就是“图灵测试”（Turing Test）
? 计算机学科逐渐形成了在“计算机科学与技术”一个专业之下分为计算机科学、计算机工程、软件工程、
信息技术等四个专业方向的新格局。
? 计算机科学(Computer Science-CS)
? 计算机工程(Computer Engineering-CE) ? 软件工程(Software Engineering-SE) ? 信息技术(Information Technology-IT) ? 计算机科学（Computer Science ，简称CS） ? 信息系统（Information System，简称IS） ? 软件工程（Software Engineering，简称SE） ? 计算机工程（Computer Engineering，简称CE） ? 信息技术（Information Technology ，简称IT）
? 计算机科学学科与知识领域
? 计算机科学(CS)学科涉及很宽的范围，包括了计算的理论、算法和实现，以及机器人技术、计算机视觉、智能系统、生物信息学和其他新兴的有前途的领域。
? 计算机科学是计算各学科的基础，计算机科学专业培养的学生，更关注计算的理论基础和算法，并能从事软件开发及其相关的理论研究。 ? CS知识领域
01. 离散结构(Discrete Structures)
02. 程序设计基础(Programming Fundamentals) 03. 算法和复杂性(Algorithms & Complexity)
04. 程序设计语言(Programming Languages)
05. 计算机结构与组织 (Computer Architecture & Organization) 06. 操作系统(Operating Systems)
07. 人-机交互(Human-Computer Interaction)
08. 图形学与可视计算 (Graphics & Visual Computing) 09. 智能系统(Intelligent Systems) 10. 信息管理(Information Management) 11. 网络计算(Network Computing) 12. 软件工程(Software Engineering)
13. 数值计算科学(Computational Science)
14.社会和职业问题 (Social & Professional Issues)
? 计算机工程学科与知识领域，计算机工程(CE)学科是对现代计算系统和由计算机控制的有关设备上的软件与
硬件的设计、构造、实施和维护进行研究的学科。