最新 信息熵是信息论中最核心的概念，用于量化信息的不确定性或随机性。它由克劳德·香农于1948年提出，是通信、数据压缩、密码学、机器学习等领域的理论基础

基本定义对于一个离散随机变量 (X ，其可能的取值为 (x_1, x_2, \dots, x_n ，对应的概率分布为 (P(X=x_i =p_i （满足 (pi \geq 0 且 (\sum{i=1...

星博讯 2026-04-09 1 #信息熵 #信息论