0519《模式识别基础》2018 年 6 月期末考试指导一、考试说明（一）考试说明满分为 100 分，考试时间为 90 分钟，考试形式为闭卷。（二）试卷包含的题型及各题型相应的答题技巧1. 单项选择题（每题 3 分，共 15 分）答题技巧：在每道题可能的答案中选择出最正确的答案，注意答案只有一个。2. 填空题（每题 3 分，共 15 分）答题技巧：填空题大家要细心，多关注简单计算。3. 简答题（共 40 分）答题技巧：简答题需要答出与问题相关的重要知识点（即讲义与课件中的知识点），如需要，可对相关内容展开简单阐述。4. 应用题（每题 15 分，共 30 分）答题技巧：综合运用所学知识点，注意知识点之间的联系。二、重要知识点第一章 模式识别概述1.模式识别模式指在识别过程中所指的是从客观事物中抽象出来，用于识别的特征信息。模式识别的英文是 Pattern recognition ，它是研究用计算机自动识别事物的一门科学，其目的是用机器完成类似于人类智能通过视觉、听觉等感官去识别外界环境所进行的工作，它包括语音识别、图像识别等典型应用。其本质是对事物的分类模式识别研究的两大问题是分类和学习。2.模式识别系统的构成一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。3.模式识别有哪些特点： （1）模式识别只能识别已知类别的事物 （2）模式识别是生物的本能，但“模式识别学科”研究的是机器识别 （3）模式识别研究的两大问题是学习和分类 （4）模式识别依据的是事物间的相似性 （5）模式识别的结果可能出现错误4.模式识别方法模板匹配统计模式识别：主流的模式识别方法，它是将样本转换成多维特征空间中的点，根据不同类别的样本在特征空间中的分布情况，确定类别边界和分类决策规则。通常假定样本满足正态/高斯分布用于识别的特征信息结构模式识别： 按照每个样本的结构特征进行分类。聚类分析 模糊模式识别神经网络模式识别 四、应用题1.答题要点：利用贝叶斯公式计算出概率，然后用贝叶斯决策即可得出。2.答题要点：A 的特征多项式 A 的特征值 的特征值为 9 ， 4， 4的特征值为说明：本考试指导只适用于 201803 学期 6 月期末考试使用，包括正考和重修内容。指导中的章节知识点涵盖考试所有内容，给出的习题为考试类型题，习题答案要点只作为参考，详见课程讲义或笔记。如果在复习中有疑难问题请到课程答疑区提问。最后祝大家考试顺利！ 支持向量机5.向量在计算机处理中，模式的特征通常用向量表示例：印刷体数字大多通过扫描仪输入，或从图像中获取。这样一来，一个数字往往用一个 N×M 的数组表示。如果 N＝5，M＝7，则一个数字就用 5×7 共 35 个网格是黑是白来表示。如令是黑为“1”，是白为“0”，那么一个数字就可用 35 维的二进制向量表示。这就是典型的特征向量表示法。6.感知器是罗森布拉特（F. Rosenblatt）提出的神经元模型，是线性模型。7.欧几里德距离第二章 基础知识本章为线性代数与概率统计基础知识，其中包括矩阵、行列式、向量的相关计算，以及概率计算等，是计算推导的基础。所以本章的内容都是重点内容，需要大家重点掌握。即知道如何计算，如何应用。第三章 Bayes 决策理论1.统计模式识别统计模式识别是用概率统计的观点和方法来解决模式识别问题，是模式识别的重要理论基础。2.基本概念3.贝叶斯决策规则贝叶斯决策是统计模式识别的基本方法和基础。最小距离分类器根据待识样本到各类别代表点的最小距离判别其类别。 为什么后验概率要利用 Bayes 公式从先验概率和类条件概率密度函数计算获得? 这是因为计算概率都要拥有大量数据才行。在估计先验概率与类条件概率密度函数时都可搜集到大量样本，而对某一特定事件(如 x)要搜集大量样本是不太容易的。因此只能借助 Bayes 公式来计算得到。 最小错误率贝叶斯决策就是在 0—1 损失函数条件下的最小风险贝叶斯决策。最小错误率只考虑了决策错误，根据不同性质的错误会引起不同程度的损失这一考虑出发，有些情况下，宁肯扩大一些总的错误率，但也要使总的损失减少。这会引进一个与损失有关联的，更为广泛的概念风险。在作出决策时，要考虑所承担的风险。基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。 4.贝叶斯分类的错误率分类错误率是指一个分类器按照其分类决策规则对样本进行分类，在分类结果中发生错误的概率。如在最小错误率分类器中，分类决策规则是将样本划分到后验概率大的那一类中。 5.协方差矩阵如 X 表示一个二维向量：∑称为协方差矩阵。对称阵：aij=aji。正定阵：它的特征值都大于 0。协方差矩阵是对称矩阵和正定矩阵。6.贝叶斯分类特点（1）需要知道先验概率 先验概率是计算后验概率的基础。在传统的概率理论中，先验概率可以由大量的重复实验所获得的各类样本出现的频率来近似获得，其基础是“大数定律”，这一思想称为“频率主义”。而在称为“贝叶斯主义”的数理统计学派中，他们认为时间是单向的，许多事件的发生不具有可重复性，因此先验概率只能根据对置信度的主观判定来给出，也可以说由“信仰”来确定。这一分歧直接导致了对贝叶斯公式应用范围和合理性的争议。（2）按照获得的信息对先验概率进行修正在没有获得任何信息的时候，如果要进行分类判别，只能依据各类存在的先验概率，将样本划分到先验概率大的一类中。而在获得了更多关于样本特征的信息后，可以依照贝叶斯公式对先验概率进行修正，得到后验概率，提高了分类决策的准确性和置信度。 （3）分类决策存在错误率由于贝叶斯分类是在样本取得某特征值时对它属于各类的概率进行推测，并无法或者样本真实的类别归属情况，所以分类决策一定存在错误率，即时错误率很低，分类错误的情况也可能发生。7.正态分布或高斯分布正态分布又叫高斯分布，是由数学期望和方差这两个参数确定的随机变量的分布。单变量正态分布概率密度函数定义为式中 μ 表示随机变量 x 的数学期望，σ2为其方差，而 σ 则称为标准差。8.通常假定样本满足正态分布的原因：一个最重要的原因是正态分布在数学上比较简便。数学的简便性便于人们对统计识别方法进行数学分析。另一个很重要的原因是物理上的合理性，缺少这一条，正态分布模型 也不可能得到如此广泛的应用。在许多实际应用场合，如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的。第四章 概率密度函数的估计1.概率分布估计的三种类型监督的参数估计, 已知：样本，样本所属的类别，密度函数的形式 非监督的参数估计, 已知：样本，密度函数的形式 非参数估计，已知：样本 2.最大似然估计3. 贝叶斯估计 第五章 判别函数1.感知器感知器是罗森布拉特（F. Rosenblatt）提出的神经元模型，它是一个线性模型。第六章 支持向量机1.分类间隔和支持向量分类间隔可以由支持向量到分类决策边界的距离来决定支持向量机的最佳准则：最大间隔准则第八章 基于 K-L 变换的特征提取 1.K-L 变换第九章 数据聚类1.数据聚类的定义聚类是指在模式空间 S 中，给定 N 个样本，按照样本间的相似程度，将 S 划分为 k 个决策区域 Si（i＝1，2，…..，k）的过程，该过程使得各样本均能归入其中一个类，且不会同时属于两个类。分类错误率不会影响聚类结果第十章 人工神经网络基础1. 人工神经网络基于模仿人大脑神经细胞的结构和功能而构成的一种信息处理系统。三、重点习题一、单项选择题1. 下面哪种估计方法中密度函数的形式未知？（ ）A.参数估计 B.非参数估计 C.最大似然估计 D.贝叶斯估计A. 机器 B. 手工 C. 人力 D. 机器人2．（ ）是罗森布拉特（F. Rosenblatt）提出的线性神经元模型。A. Fisher 决策 B. 感知器 C. Bayes 模型 D. 聚类3．（ ）根据待识样本到各类别代表点的最小距离判别其类别。A.最小错误率分类器 B.最大错误率分类器 C.最小距离分类器 D.最大距离分类器4、在计算机处理中，模式的特征通常用（ ）表示。A. 函数 B. 矩阵 C. 向量 D. 张量5. 模式识别依据的是事物间的（ ）A.统一性 B.相似性 C.同构性 D.相关性二、填空题1、模式识别依据的是事物间的 。2、模式识别的英文是 ，________的本质是对事物的分类。3． 就是在 0—1 损失函数条件下的最小风险贝叶斯决策。 4、在统计模式识别中，通常假定样本满足___________。5、支持向量机的最佳准则：___________。三、简答题1、请简述模式识别系统的构成。2、什么是先验概率，类条件概率密度函数，后验概率？三者的关系如何？四、应用题1、假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态 x，由其类条件概率密度分布曲线查得 p(x| ω1)=0.2，p(x| ω2 )=0.4，试对细胞 x 进行分类。2、 已知 ， 求矩阵 和 的特征值。四、重点习题参考答案一、单项选择题1、B 2、B 3、C 4、C 5、B二、填空题1、相似性2、Pattern recognition，模式识别3、最小错误率贝叶斯决策4、正态/高斯分布5、最大间隔准则三、简答题1、答题要点：一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。2、答题要点：先验概率 是针对 ωi，I＝1,2,…,c,这 c 个事件出现的可能性而言的，不考虑其它任何条件。类条件概率密度函数 P(x|ωi)是指 ωi 条件下在一个连续的函数空间出现 X 的概率密度。后验概率 是指所观察到的某一样本的特征向量为 x, 按照该特征向量对该样本进行分类时，该样本属于不同类的概率。三者之间由下面的贝叶斯公式联系起来：