无失真信源编码只适用于离散信源，对输出模拟信号的连续信源并不适用。因为连续信源输出信号的每个样值所载荷的信息量是无限大的，所以用有限长度的信息序列进行编码时必然导致失真。不过，作为信宿的人或机器都存在一定的灵敏度和分辨力，超过灵敏度和分辨力所传送的信息是毫无价值的，也是完全没有必要的，故而当失真在某一限度以下时是不影响正常通信的。例如，语音信源当量化分层超过256级时人耳就很难分辨，所以没有必要在量化时超过256级。对图像信源亦是如此，人们看电影时，可以充分利用人眼的视觉暂留效应，当放映速度达24张/秒时，人眼就能将离散的照片在人脑内反映成连续画面，因此大大超过24张/秒的放映速度是没有意义的。

限失真信源编码的研究相对于信道编码和无失真信源编码落后约十年左右。1948年，香农的论文已体现了关于率失真函数的思想。1959年，他发表了《保真度准则下的离散信源编码定理》，首先提出了率失真函数及率失真信源编码定理。1971年，T.Berger的《信息率失真理论》是一本较全面的论述有关率失真理论的专著。率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础，直到今天它仍是信息论研究的课题。

连续信源的信号编成代码后就不能无失真地再恢复成原来的连续值，此时只能根据率失真理论进行限失真编码，因此限失真编码实际上就是最佳量化问题。最佳标量量化常不能达到率失真函数所规定的 R （ D ）值，因此人们后来又提出了向量量化的概念，将多个信源符号合成一个向量并对它进行编码。从理论上讲，某些条件下用向量量化来编码可以达到上述的 R （ D ）值，但在实现上还是非常困难的，有待进一步改进。1955年，P.Elias提出了预测编码方法，利用前几个符号来预测后一个符号的值，然后将预测值与实际值之差即预测误差作为待编码的符号，这样得到的符号间的相关性就大为减弱，从而可提高压缩比。另一种限失真信源编码方式是变换编码，该方法通过样值空间的变换，例如从时域变到频域，在某些情况下可以减弱符号间的相关性，从而取得良好的压缩比。