对于离散信源，当已知信源符号的概率分布时可以计算信源的熵，用它可以表示每个信源符号平均承载的信息量。信源编码定理表明必然存在一种编码方法，使得代码的平均长度可以任意接近但不能低于信源的熵，而且还阐明为了达到这一目标，应该使得概率与码长匹配。

从无失真信源编码定理出发，1948年香农在论文中提出并给出了一种简单的编码方法，即香农编码。1952年，R.M.Fano提出了费诺码。同年，D.A.Huffman提出了一种编码方法并证明了它是最佳码，称为霍夫曼码。霍夫曼码是有限长度的块码中最好的码，其代码总长度最短。但是，霍夫曼码在实际应用中存在一些块码和变长码所具有的缺点：首先，信源的概率分布必须精确地测量，如果略有变化，就需要更换码表；其次，对于二进制信源，常需要多个符号合起来编码才能取得好的效果。

针对霍夫曼码在实用中的局限，出现了一种称为算术码的非块码，它是从整个序列的概率匹配角度来进行编码的。这种概念也是由香农首先提出的，后经许多学者改进逐渐进入实用阶段。1968年前后，P.Elias发展了香农—费诺码，提出了算术编码的初步思想。1976年，J.J.Rissanen给出和发展了算术编码，1982年他和G.G.Langdon一起将算术编码系统化，省去了乘法运算，使其更为简单，从而易于实现。

如果离散信源符号的概率分布未知，或是对于不确知的信源进行有效编码时，上述方法就无能为力了，因此人们希望能有一种适用于各类概率特性信源的编码方法。通用编码就是在信源统计特性未知时可以进行编码且编码效率很高的一种码。1977年，A.Lempel和J.Ziv提出了一种语法解析码，称为LZ码。1978年，他们又提出了改进算法LZ77和LZ78。1984年，T.A.Welch以LZ编码中的LZ78算法为基础设计了一种实用的算法，称为LZW算法。LZW算法保留了LZ78算法的自适应性能，压缩效果大致相同，并且逻辑性更强，易于硬件实现，价格低廉，运算速度快，目前作为一种通用压缩方法广泛应用于二进制数据的压缩。