一个信源输出的符号前后有相关性时，信号输出的熵将减少，这就是一种形式的剩余。

信源的剩余度，也称为多余度，与熵的减少有关。因此，香农用熵的降低量来定义剩余度。剩余度是信源信息率的多余程度，也称冗余度或冗长度。通常用一个相对值表示。信源的剩余度越大，信源的数据压缩潜力就越大，信源信息处理也就越必要。工程上采用的信源编码、数据压缩、频带压缩均基于这一事实。