离散平稳信源分为有记忆和无记忆两种类型。
(1)离散有记忆信源
一般情况下,信源先后发出的符号之间是互相关联的,也就是说信源输出的平稳离散随机序列 X 中,各随机变量之间是有依赖的,例如,在中文字母组成的中文消息中,前后文字之间是有关联的,称这种信源为离散有记忆信源。故在 N 维随机向量的联合概率分布中,引入条件概率分布来描述它们之间的关联。
(2)离散无记忆信源
离散无记忆信源是最简单的离散信源,可以用完备的离散型概率空间来描述,其主要特点是离散和无记忆。离散指的是信源可能输出的消息的种类是有限的或者是可数的,消息的样本空间 R 是一个离散集合。由于信源的每一次输出都是按照消息发生的概率输出 R 中的一种消息,因此信源输出的消息可以用离散随机变量 X 表示。无记忆是指不同的信源输出消息之间相互独立。