害我，在虫面前谈信息熵，不是班门弄斧吗？
熵这个东西被各路人马争相误读，逮着哪儿都贴一付膏药。虫的问题是非常准确。要弄清熵，要从物理上着手。而物理这种传统课，动不动就三学分，折腾人一学期。
话说很多年以前，一帮人闲得无聊。热力学里，可观测的直观的宏观量无非就是热量，压力，体积、温度。玩来玩去，实际的玩差不多了。蒸气机内燃机什么的都转起来了，人们就开始玩虚的，进行理想实验。把这些变量加减乘除、排列组合，只要单位合适，别苹果加桔子就行了。结果出了造出很多参数，除了熵S之外，还有自由能F，吉布斯能G、焓H、exergy等等。这些参数，只有熵和焓在热工上有点用。
又过了十来年，统计物理横行，哥儿几个推导一算，乖乖隆里东，不得了，这熵跟系统的所有状态数是亲戚，而且是相当的直系。log(所有状态数)
回扣一下问题，物理里的信息可以说就是状态。假设绝对零度(当然这是不可能的)，基态，万籁俱寂，系统里的所有东西只有一个状态，这时熵是零log(1)。
随着条件的变化，系统里的状态越来越多，信息量就越来越大。以至无法收拾，只能用代表统计特性的宏观量描述，例如温度。
由于它的统计解释的直观性，后来人们把熵推广至很多行业，用熵代表系统的混乱程度。
回到八卦行业，在信息源，只有一个状态，传来传去，或添油加醋，或去重择轻，几度相关之后，信息量激增，任其自由传播，说法(状态)只能越来越多，以至无法收拾，只能用“演义”来描述了。
关于信息熵，这又是一个理想实验，假如一群猴子相互交流只有一个音节“阿”，那不管怎么怎么传递，这个信息是不会变的，因为只有一个状态，熵永远为零。而另一群猴子有两音节“阿唷”，则“阿唷”有可能变成“唷阿”“阿阿” “唷唷”。所有状态为4，熵是log(4)。猴子交流的方式越多，这熵就越大。如果一群猴子没有任何交流(包括动作，气味，。。。。)，零信息，这群猴子的信息熵是负无穷log(0)。这是物理熵没有对应的，但是没有信息，谈信息熵还有意义吗？后面会谈到，是有的。
Shannon的定义跟我的略有不同，但本质是一致的，我的理想实验更直观。上面这些现象有一个条件就是这是一个自由的状态，没有约束，没有干涉，没有交流，物理上就是一个孤立体系，没有能量的交换。
如果有能量输入，有约束和干涉，那么这个混乱程度是可以减小的。如
八卦的行业，杀人灭口，舆论控制，保密制度等等，可以使很多信息的形态还保持在信息源的状态，或者是使之干脆消失(例如江青的回忆录)，实现零状态，就是捅出一个无穷大的负熵。在数学上，负无穷和正无穷是一回事。无穷大的负熵窟窿实际上也是无穷大的正熵。混乱程度无穷高的信息跟没有信息是一样的。江青的回忆录的消失，等同于传出来无穷多的乱信息，随你怎么编，怎么想象。
在信息上，有一支魔手，
就是时间，会不断地消灭掉信息，捅出一个个无穷大的负熵窟窿，给人以无穷大的正熵的想象空间驰骋。这就是我说的浪漫主义优于现实主义的道理。例如，周朝某年，资治通鉴就一句话，“赵伐魏”。编赵国魏国的事情受局限了，而齐国鲁国当时干什么就随我们浪漫地编了，你说外星人在齐国横行霸道强奸民女都没有关系。反过来看，在自由情况下，无约束和干涉的情况下，信息是怎么消失的？这也是一个背反律。信息是因为信息太多了而消失的(记得早年上政治经济学，资本主义篇，说资本主义经济危机，工人家没钱买煤，因为煤太多了，一个意思)。当信息太多，混乱度增加，信息熵成为无穷大，无穷多状态，无穷多得说法，那就跟负无穷大(没有信息)是一样的。周朝某年，“赵伐魏”，信息少，值得记。而齐国鲁国吃喝玩乐，花花世界，事情多多，版本多多，罢了，不记也罢。
熵在物理里真的很无聊，也就是一个“热力学第二定律”。而跑到花花绿绿的大千世界历来，这膏药贴哪儿哪灵。
–BG
不光 