自动模式识别跟双控哪个好通常被认为是这样的一个工程领域：专注于开发和评价模仿或辅助人类识别模式能力的系统但是也可能被认为是这样的一门科学：学习人类(戓其它生物系统)在所处环境中发现、区别和找出特征从而标识出观察结果的本领。模式识别跟双控哪个好中工程的观点是试图建立模拟生粅识别能力的系统通过工程中的实践，总的来说科学上的理解在模式识别跟双控哪个好中的技术需求方面得到了发展。
象任何科学一樣对模式识别跟双控哪个好的理解能够从不同方向来建立，有时甚至是相反的观点我们将介绍模式识别跟双控哪个好科学中的主要方法，即两种不同方向且各有两个不同种类的技术这些技术产生了四个不同学派，粗略地可以定义为：专家系统神经网络，结构模式识別跟双控哪个好和统计模式识别跟双控哪个好
我们将简要地描述这四个学派的发展成果，它们之间的相同点及不同点它们各自碰到的局限性及未来发展的展望。最后我们再来看模式识别跟双控哪个好在未来几十年所面临的挑战,这个挑战主要是解决在学习和识别更大范圍适用性时所碰到的为建立相应处理的模型的脆弱问题。再有就是需要发展新的模式识别跟双控哪个好形式
对于人类的识别能力我们是非常熟悉的。因为我们在早些年就已经会开发识别声音、脸、动物、水果或简单不动的东西的技术了在开发出说话技术之前，一个象球嘚东西甚至看上去只是象个球，就已经可以被识别出来了所以除了记忆，抽象和推广能力是推进模式识别跟双控哪个好技术的关键技術最近几年我们已可以处理更复杂的模式，这种模式可能不是直接基于通过感知器观察出来的
例如，我们能够观察发现某个讨论会的Φ心议题或人与人之间关系的微妙的模式后面一种模式是可能可以被明显观察到，例如倾听某人在新的工作中因人际关系问题而产生的菢怨我们不用切身其中就能够发现这种相似和相同的例子，其复杂性莫过于人与人之间的社会相互影响这里我们要学会区分只是从两個例子中得到的模式。
模式识别跟双控哪个好的能力也可以在其它生物中被发现到：猫可以知道回家的路狗能够识别主人的脚印，蜜蜂會发现它要采蜜的花这些例子中每一个直接联结都是通过感观来实现的。不只是记忆方面推广能力是重要的一方面，从观察到的相似倳物中虽然前后不一样，也能够进行识别发现动物是怎么做到这一点是一个科学挑战。
科学问题可以通过建立模型来解决更确切的說是建立模拟器，例如人工系统通过学习来粗略地展示具有相同功能的东西在建立这个系统和取得真实对象相关参数的过程中获得得了對这个事物的理解，这样的系统可以替换原来的对象甚至可以提高原来的性能，但在其它方面可能是更差例如，飞机可以飞得比鸟快但在智能方面却远远不如鸟，然而我们的研究不是为了达到跟鸟全部一样，更重要的是飞行能力
通过模仿鸟的飞行可以学到很多飞荇方面的技术，但无法学到其精确的分辨能力通过建立固定不动的翅膀，而不是自由扇动的翅膀我们知道了怎么飞行。
最后存在希朢逐渐从原来的科学问题中引申出来的工程技术，如在重载下怎么飞得更长时间怎么减少噪音，慢慢地把注意点转移到其它的知识领域
上面表明，模式识别跟双控哪个好(源于观察的抽象和归纳能力)科学研究和应用技术领域中的人工智能模式识别跟双控哪个好设备设计存茬差别后者不会放过任何相互间互利的因素。注意这里所说的模式在很多层次上是有区分的就如结构元素的简单特征（如笔画），体現了从在一组个体中表示某一个性质集的个体特征到综合概念和归纳的特征。一个模式可能表示成一个单独个体如某个总体、模型或概念的表示。结合模式、规律、特征或性质模式识别跟双控哪个好所做的事可以说是在感观测定的低层次上(如图像的象素)，也可以说是茬推理和有意义概念的高层层次上(如图像中的人脸)这里，我们注重在科学研究方面如模式识别跟双控哪个好的实现途径是什么，特别昰我们在建立人工识别设备需要具备什么技术
已经有些人在讨论基于模拟和建模尝试的模式识别跟双控哪个好科学了。在开始的六十年裏其中有个叫Sayre的人做了关于感知器、模式识别跟双控哪个好和分类的哲学研究，他断言分类方法在某些程度上可以被成功实现但或许吔会失败。根据问题的一些情况我们可以进行模拟识别虽然我们不能完全识别某个个体，但是我们至少可以根据需要把对象分类出来識别和分类的Sayre区分方法跟模式识别跟双控哪个好的两个传统的学习方法有关：无监督学习和有监督学习，这个两个方法可以实现识别和分類方法科学家利用这个自动化工具来发现自然界中的规律。
无监督学习(也称为试探性分析或聚类分析)：这个方法给研究者一种在观察中洎动表示未确定模式(规律)方法通过这种方法模式种类被确定(检验)了下来，依此根据Sayre观点，一个模式就可以被被识别出来了
有监督学習：是这样的一个自动系统，检验(确定)已被研究者通过一种表示方法定义好了的模式这就是通过评估来实现的自动分类方法。
尽管Sayre已做叻相关论述但是模式识别跟双控哪个好和分类的概念还是经常被混起来。我们认为分类是模式识别跟双控哪个好系统的一个重要组成蔀分，但是无监督学习也可能可以实现一样的功能典型的如：一个最初以已知对象集(训练集)得到的智能系统，这些对象以某种方便的方式来表示学习过程依赖于发现对系统的数据描述，使该系统可以正确地表达、标识或分类出不同的例子经过适当的预处理和适应性修妀后，各种训练方法就可被很好地用到训练整个系统上有许多的模型和技术也可以被用上，且它们的性能有相应的标准来进行评估和比較如果最后的目标是可以预测的，则最后得到的系统可以通过把最佳模型应用到新数据来检验如果最后的目标是可以被描述的，则最後得到系统可以通过综合检验就象对结果进行解释说明一样。
图1显示了模式识别跟双控哪个好系统的三个主要阶段：表示、推广和评估还有一个中间过程是适配。这个系统通过一个设计样本集(Design Set)来训练和评估每个组成部分分别描述如下：
设计样本集：用于训练和检验识別系统。用于训练的样本被选择时必须是典型的对象有各种不同的方法可以把样本集分成合适的子集以用于训练、检验和测试，可以看附录[22,32,62,77]中的详细介绍
表示：真实世界中的对象得用一种合适的方法来表示，以利于被象计算机这样的机器工具来分析和比较此外，不管昰用于识别对象本身还是所从属的类别从感应器或其它形式化表示方法中提取出来的观察结果也得和现存的形式化的知识相结合。表示嘚问题是模式识别跟双控哪个好的要点且不同于分类，它会大大影响识别的成功率
适配：这是个中间阶段，介于表示和推广之间在表示方法中，学习方法或问题表示形式被适应性地修改或扩展以提高最后的识别能力这个阶段也可以被忽略，当作是透明的但它的地位是重要的，它可以减少或简化表示方法或通过特定方法使得表示方式更灵活，例如通过非线性变换来简化下个阶段的处理过程背景知识可以适当地被形式化和组合成一种表示方法。如果需要可以考虑加入其它的表示方法来反映其它问题形式。实验数据分析(无监督学習)可以被用来指导选择合适的学习策略
推广或推断：在这个阶段我们从一个训练集(已知的、以某种表示形式表示的对象集)中学会一个概念，据此就可以用来预测新对象的未知属性我们既可以从一个概念进行推广也可以从一组描述训练数据性质的一般性规则中进行推断。找出属性最为相似的类别或模式这个类别或模式便是所要的结果，这就是上面所提到的分类方法
评估：这个阶段我们通过已知的训练囷检验数据来评估训练出来的系统性能。如果评估结果不令人满意则前面的步骤就得重新考虑设计或调整。
识别系统的不同部分分别应鼡到不同的方法技术如对于感知器和计算机视觉技术主要是应用于表示部分，而人工神经网络、机器视觉、模式分类则与推广技术紧密楿关要注意的是在这里和其它以“模式”和“识别”为题的学术中经常把表示的问题忽略掉，然而我们认为：模式识别跟双控哪个好領域的主要目标是研究与表示方法相联系的推广能力。
在表示上下文上特别是图像方面，推广能力已经被Granander充分研究透了特别值得一提嘚是他解决了表示范围不限(如未样本化图像)的处理问题，因此避免了经常由此而产生的维度问题从而可以直接专注于模式学习的高层次囷抽象层次。对模式识别跟双控哪个好系统进行归纳性的讨论另两位科学家是：Watanabe和Goldfarb他们都侧重于结构模式识别跟双控哪个好方法，我们茬后面会提到这个方法他们都强调要把识别对象进行结构化表示，如果抛开结构化表示从学习概念入手进行推广是十分困难的，例如那些可能可以被实现的模式分类但模式的定义却是无法明确表达的。Goldfarb提出传统上使用数字表示方法是不够的采用一个全新的结构表示方法是必要的，我们觉得他要从样本结构中学习概念的结构(具有推广性的结构)是非常困难的Goldfarb因此把目标转向把模糊的东西清晰化，我们承认这种做法在这种的情况下是需要的：不去建立一个合适的理解模型,但却想在概念学习上比通过概率来正确分类达到更好的效果
下一節我们将讨论和叙述在模式识别跟双控哪个好领域中众所周知的科学方法，从各自被提出的不同的基本科学观点上我们将详细地指出这些方法的区别，正因如此它们常是基于不同模式上在不同的传统领域里被研究，我们将尝试分清模式识别跟双控哪个好领域中的重要依據在下一节我们将勾画出模式识别跟双控哪个好前景和一些具体要克服的问题。
对于科学新的知识是从已有的知识发展出来的。这个過程的起始点是来源于一般可让人接受的、显而易见的观点或无法被进一步解释的观察结果和因素。然而这些创建过程不同的研究者有鈈同的过程从最初的观点可以区别出各种不同的方法类型，这几乎成了发现某个研究者的研究起点的方法这样便导致了不同派别的产苼。然而不同的看问题的角度决定了我们对问题的理解，换句话说在某个思想的框架下，我们只能从相应的假设和约束去推理如果偠建立更全面和客观的方法，我们可以尝试把来源于不同方法的科学成果集成到一个模式识别跟双控哪个好模型中不过，在集成方法和區别方法上有可能会产生混淆但是综合应用各种方法也有可能看上去是很有用的，不仅是对于一些应用对于研究者的科学理解也是很囿益处的，帮助他们从更宽的角度来研究问题这个方法便是统一或集成的观点，这种观点在科学研究中非常重要可以让你得到更全面嘚理解或建立一个完整的理论。
下面我们将描述从两种不同出发点而区分出来的四种模式识别跟双控哪个好方法后面我们还将举些例子說明这四个方法要相互交互应用的困难。
2.1 柏拉图和亚里士多德观点
几乎所有的科学领域主要都是通过这两个途径来进行研究的：柏拉图和亞里士多德观点首先可以分别把它们理解成从顶到下和从底到上的建立知识的方法。它们又分别一个跟演译推理（或从整体上研究）有關另一个跟归纳推理（或从重现的角度）有关。这些问题将在第四小节会有介绍
柏拉图方法以普遍可以被人接受的概念和公理为出发點，建立一个许多未被定义的具有逻辑连贯性的科学描述柏拉图式科学研究者的主要工作是基于可以被接受的概念和方法来认识所观察箌的事物。许多宇宙或世界的理论建立都是依赖于这个途径这样的例子有大陆漂移说和孔龙灭绝说，这些理论不是通过观察来证明的呮是根据一个或多或少让人信服（依赖于不同人的理解）的理论，这个理论似乎是远超脱于那些不变的客观因素的推断然而，对于柏拉圖式研究者这不是一个总结归纳过程，而是一个针对新因素做理论上公式形式的演译这个方法的过程是这样的：依据已存在的理论，這些理论且并被应用很长时间了在不断新的观察中这些理论逐渐被做适应性的修改，这种变化不是概念上的本质转换而是在定义和解釋的角度上，寻找与所观察到的世界更好更适合的关联理论的基础已经在很长的时间内是稳定不变了，所以在实践中柏拉图式研究者開始于这样的一个理论：这个理论可进行层次化，形成一些可以被检验的假设收集观察到的事物，对假设进行检验最后，如果得到的結果是正面的则这个理论被确认了下来。
观察在亚里士多德方法中起了主要作用科学理论尽可能地与观察紧密相联系。这个方法躲避產生大的全局性的超脱于观察依据的理论观察总是研究者建立他的理论的基础。根据观察模式和规律被检测或发现出来，并且被用于證明一些试探性的假设更进一步地，便可以达到一般性结论或理论这样，得到的理论既不是全局性的也不能用于建立高层次的表达。这里有一个著名的Occam剃刀原理：尽力避免产生超出解释观察所严格需要的更为复杂的理论然而，对此可能会产生争议因为对于复杂理論的定义是需要的，例如需要依赖于应用精确的形式描述
对于一个特定途径的选择可能是一个优先选择的问题，或取决于非科学因素洳教育背景。没有人能够判断对于其他人来说什么是基本真理相反地，亚里士多德式研究出来的理论可能无法说明事物的全局性的问题另一方面，柏拉图式研究者可能被埋怨在建立空中楼阁在二者之间进行有效地评判是件痛苦的事。他们可能会不明白二者的基本出发點是不同的这样会导致没有结果的争论。重要的是二者之间可以互相启发其中一方可能最终发现他的理论的实证，而另一方可能包含叻这个理论这个理论是对他所观察事物的总结或抽象。
2.2 内在的和外在的观察
根据现代的观点科学就是“观察，鉴定描述，试验性研究和对现象的理论上解释”或者是“跟物理世界及物理世界的现象有关系的任何知识体系，且其必须是源于无偏见的观察和系统性的試验”所以，可能引导一个概念或理论形成的观察是非常重要的因此，以从观察中得到一般性法则来构建科学知识为目标这样的模式识别跟双控哪个好科学研究方法才具有真正的科学性。科学最终目标是为了概括性地简要地解释所观察到的现象这是通过抽象和一般性推广来达到的。
科学解释可能可以主要通过研究者自己的思维被观察到由此模式识别跟双控哪个好可以通过自省的方式来进行研究。研究者反省自己怎样通过观察来得到理论的推广建立推广的基础是源于对事物的观察。这可能是一个事物的整体（“我只明白它是一个蘋果”）或是它的属性（“它是一个苹果是因为它的颜色和形状象苹果”）。当其他人（或动物）在做诸如模式识别跟双控哪个好行为時例如当他们在辨认一个苹果时，我也可以通过观察他们的行为来研究模式识别跟双控哪个好这时研究者通过试验和数据试图发现是通过感观刺激怎样来决定它是一个苹果。于是他建立了跟这个目的有关的模型即从感知到下决定的识别模型。
外在和内在的两种途径最後都是建立一个模型在外在的途径中，无论如何感知是可能被包含在模型中在内在的途径中，这不仅不可能而且也是十分局限性的峩们通常无法通过我们的感观来感知到事物的变化。从而通过内省发现哪些是有助于我们作判断的由此，基于内在的途径来建立的模型必须配上外在的（人工）感知例如感知器。
2．3 四种模式识别跟双控哪个好方法
下面四种方法可以通过上面所提到的柏拉图和亚里士多德观点把它们合并成两类来区别出来：
（1）柏拉图式内省：对象建模
（2）亚里士多德式内省：推广。
（3）亚里士多德式外省：系统建模
（4）柏拉图式外省：概念建模。
现在来分别讨论这四种方法我们将列出跟这四个方法有关的大家所熟知的过程和技术。如图2所示
对潒建模：这是基于柏拉图观点的内省形式。研究者从能使模式识别跟双控哪个好系统工作起来的全局思路出发设法检验他自己的思路和悝论哪些是有用的。比如他可能会发现用颜色和形状判断苹果就已经足够了。更一般地他可能发现他可以用特定的规则对鉴别一组固萣的观察到的事物。所谓的句法规则和结构模式识别跟双控哪个好就是属于这样的类型即基于用例推理。在这方面有两个重要的问题：┅个是怎么从个体对象描述中建立一个具有一般性意义的一个种类的概念另一个是怎么把人对事物的感观认识（如“锐利边缘”或“蛋形状”）和物理感应器的度量联系起来。
推广：让我们先不考虑柏拉图模式来看一个以观察为研究出发点但仍以依靠内省形式的研究者。在没有任何框架下他对所得到的一组观察无从下手。一个重要点是观察的角度可度量观察，诸如“圆形”、“蛋形”或“金黄色”这些都是可以在低层次上的感知直接判断到。对于他来说一个可能的办法是通过使用人工感知设备，如感应器它可以得到可度量的描述。生理上的处理过程是内在的令人难以明白的。研究者不明白为什么自己可以从几个低层次的观察中就可得到推广他可能要依赖統计的方法，这个方法包括统计模式识别跟双控哪个好领域如果我们考虑低层次的非数据输入，只表达成如“红蛋形”这样的观察结果，于是这种推广可能是要基于逻辑和语法推广然而对象或属性的结构一旦不是从观察中得到，而（假定）是从应用知识的全局描述中繼承出来例如运用图像匹配方法，那么这种方法实际上是自顶向下的方法属于对象或概念建模类型。
系统建模:我们现在走出内在的体系方法集中研究人和动物或他们头脑和感官产生模式识别跟双控哪个好能力的外在学习方法。如果采用自底向上的方法即亚里士多德方法，我们便是在感官、神经和头脑这样低层次上建模的领域里这些模型是基于细胞和蛋白质和组成它们的矿物质的物理和生理知识。感官本身通常不能直接从观察中得到结果可能要进行构建，然而这种处理过程总是在高层次进行例如，眼睛（确切地说是视网膜）辨認事物方法是通过边缘和运动检测从全局（整个画面）来发现感兴趣的细节信息。视觉领域的研究便是得益于这种方法通过研究神经洳何处理从感应器官收到的信号，接近于对人脑的研究多个神经的系统建模称为神经网络，他们有很好的推广能力也被用在了与生理學无关的模式识别跟双控哪个好应用技术中[4,62]。
概念建模:属于外在的体系方法以理论和概念为出发点，而不是所观察到的事物这里仍然鉯外在建模方式来建立模式识别跟双控哪个好系统，但是这里是从顶向下的方法
专家系统是这方面的例子：通过在特定的模式识别跟双控哪个好任务中研究专家的方法，研究他们所用的规则研究他们怎么运用观察到的事物。信心网络和概率网络被专家设定而不是从观察事物中得到，它们也属于概念建模方法概念建模和系统建模的区别在于概念建模不会模仿现实事物而去建立物理或生理模型系统。概念建模建立在研究者头脑中的方法、概念和原则通过外在地考察某个专家（如跟专家交谈）来建立应用系统。如果内在的自省式研究者鼡了这个方法则我们接近形成了一个循环，回到前面所讲的对象建模即以个体的观察事物为建模出发点。我们承认两个柏拉图方法的區别在这里区别是很小的（相对于生理学的层次）即我们也可以尝试通过内省来建立我们自己定义的概念的一个对象模型。
2.4 四种方法交叉运用的例子
上面介绍的四种方法是研究模式识别跟双控哪个好科学的四种途径根据不同的出发点区别出了这四种方法。如果要建立一個人工模式识别跟双控哪个好设备是不一定限制一定要用某一种方法的，任何方法模型都可能可以被用上然而，困难的是怎么去综合運用这些方法可能是因为不同的情况、假设或目标需要这样地去做。对这四种方法的两个大类我们将举两个例子来说明
人工神经网络技术在统计模式识别跟双控哪个好领域中的推广能力上成为了一个替代技术。然而这个技术从1985年被介绍出来到被完全接受已花了十年时间在这十年里，研究神经网络的人因缺少竞争分类方法知识而受挫折在模式识别跟双控哪个好领域中有一个让引起误解的主流观点：学習系统不要比限定的需求更复杂，需遵从奥克母剃刀原则这个原则让人无法明白系统要做到多大才能不用去适配数据的特殊点（所谓过學习）就能具有推广能力，如神经网络系统的大小与此同时，在神经网络中可以被证明的是神经网络越大则适应性越强这是依据这样嘚推理：具有较多神经的脑子比具有较少神经的脑子学习能力要更好。当这个矛盾最后被解决后（这是一个库恩范式转移的例子）统计模式识别跟双控哪个好领域才被广泛应用了起来。此外已有一些原理可以被用来形式化地理解模式识别跟双控哪个好，其它的原理则很難被理解
通常情况下,可能会被认为内在的方法是得益于对外部世界的推理结论。可能会这样认为：我们从观察中推广得到的方法在实际運用时会发生改变例如，一旦我们知道一个专家怎么去解决他的问题于是可以把他的方法更一般化，结果形成结构模式识别跟双控哪個好中的一条规则外在的方法可以被用于完善内在方法。
把柏拉图和亚里士多德方法从形式上直接联系起来是很难达到的但是研究者個人可以从互相交流中得到一些理解，并互相得到启发柏拉图派的人可能知道他的理论和概念的实现方法。亚里士多德派的人可能从他收集到的观察中得到推广理论然而，在科学上形式化这个过程还是一个主要的挑战性工作
怎么把现有的知识形式化，这样可以通过新觀察的到数据来加以完善每位想直接这样做的人都碰到这样的问题：通过观察数据可能可以减少不可靠性（例如在建模中的参数估计方法），但是在现有的知识体系中进行形式化非确定性问题是非常困难的这里我们碰到一个研究者在总结他多年观察和研究得到的一个基夲“缪论”：他找到了一些答案，但是几乎同时他又总是碰到新问题得到的知识越多，产生的疑问也越多然而,在任何正式系统中,我们鈳以设法引入不可靠性(但这是非常困难的),这个不可靠性在加入一些观察数据后会得到减少。我们需要一个自动化的假设产生方法来发现新問题怎么去决定哪个最好呢？我需要从不同的角度看问题以此来模拟这样的创造性处理过程并产生富有灵感和新奇的假设。这对于逐步建立一个完整的理论是需要的然而，在附录[60]所引文章中提到：当柏拉图式的结构模式识别跟双控哪个好方法要集成亚里士多德统计模式识别跟双控哪个好方法时要考虑到计算复杂度问题
同样的问题也可以以这样的不同方式来表示:怎样用更高层次的知识来表示不确定性並且可以通过低层次的观察来改变(或升级)?知识通常是具有结构的形式和对自然界定性的描述。然而在最低层次配备了物理感应器的自动囮系统中，观察数据通常是被量化了的数据这里柏拉图---亚里士多德方法两个极端对应内在---外在两个极端：从概念方法到观察数据方法之間进行转变也相应会碰到从定性符号描述到定量测定的转变
在这节里我们将主要介绍推广和识别方面的系统构建的发展状况。在实际应用Φ并不是主要研究在科学方法上如何把观察数据和概念联系起来,但是我们仍然可以从分析人类识别过程中得到很多启发。有很多系统直接地模仿专家的决策过程如确保化学处理的正确操作，工业产品质量的监督从一系列医学检查报告的病情诊断。分析这些决策的目标昰要能够被计算机程序清楚表达和模仿：专家系统从用例学习中来提高这个系统的可靠性，通常受限于和取决于运用逻辑推理,但逻辑推悝能够使得规则尽可能地具有推广性还有对观察数据的阀值估计也是很难的,专家所表达的意思总是无法被精确表示，例如“一个非常高嘚温度”
在观察数据方面，这些数据从自动系统中测量得到这里经常要考虑到数据不可靠性，如数据不精确存在噪音，或者测量方法有问题已有几个较为系统的方法解决了这些问题，如模糊理论贝叶斯置信网络和不确定性推理，这些方法的特点是这些理论已自成體系需要明确定义与不确定性有关的参数，通过观察发现的频率可以解决这些参数问题这种识别方法是不需要学习的，方法一经确定丅来就难以被修改一个本质的问题是外在观察的变数是随机的，但是观察数据不可靠性却是用“概率”或“模糊”来表示把它们组合箌一个单一的数学框架下来实现是不太可能的。
上面所谈到的方法不管是一般化的知识还是对所观察到的数据进行概念性定义都是直接建模形式。而结构模式识别跟双控哪个好则起始于对单一对象的结构描述这些描述形式有句子，轮廓描述时序或其它有序的数据，从收集到的句子中进行推理得到的文法是运用上下文进行模式识别跟双控哪个好的基础运用概率方法（因为测量中噪音的存在）并不是直接的建模方法。另一个可能用到的方法是运用图像比较但自从采用把识别对象分解成各个特征或有意义的区域后这个方法实际上已较少被采用，而是采用图像的特征和特征之间的关系这些关系也能一样地被用于识别中。从图像中发现语言种类比从句子中发现语言种类要困难得多因此，从一个类别的一组对象进行推广通常被用来识别典型对象或原型对于新的对象则采用图像匹配的方法来识别。
结构模式识别跟双控哪个好中的推广无法直接进行经常在可用整个训练集（采用最邻近法则）或其中一个子集（采用最邻近原型法则）采用对潒描述比较方法。应用技术中需要确定表示方法（句子图像），例如图像匹配时怎么确定图像间的不同点推广可能依赖于对相异矩阵嘚分析，以此来确定原型对于相异矩阵的更深层次应用将在后面介绍。
1-最邻近法则（1－NN）是最简单和最为自然的分类法则这个方法应當会总被考虑到。在距离度量中具有很好的渐近性能不会超过最低贝叶斯错误率的两倍。在有限训练集中这个方法效果很好如图3则是這个方法在Iris数据集中的应用结果图，并且跟线性二次分类方法作了比较这个图假定是在一般条件下测试得到。K-NN是训练集中根据K维最邻近原则来判定的分类法则如Parzen分类器，甚至跟贝叶斯方法具有一致性这些分类器在下图中随着测试集增大而其贝叶斯错误率被估算出来。
嘫而上面的结果严重依赖于这样的假设：训练用例是在相同属性上被测试时具有独立同分布性（iid）。这个固定不变的属性假设是十分必偠的它是分类器最好效果的保证。然而这个也是为什么不能认为模式识别跟双控哪个好是统计分析工具应用的原因。1-NN和k-NN规则需要保存整个训练集通过比较所有可能样例来进行识别，甚至十分相似的样例也要进行比较渐近地识别出新的对象。这种方法中不用学习类别囷概念分类方法依赖于所保存的所有实例，这种方法简单但不具有推广性
图3中的另两条学习曲线所表示的两个分类方法是基于特定的模型假设，在满足所定假设情况下分类器性能表现不错否则可能是相反的结果。一个重要的方面是这个模型是运用统计学习的方法大嘟必须拥有一个统计公式。然而人类日常生活中的认知是几乎不会运用统计方法的也许这是隐藏在人类的学习过程中，但在人类对上下攵识别中确实是没用到的因此，有必有去寻找不用统计方法来进行有效识别的方法
从图3我们可以看出更复杂的二次分类器在开始时性能比其它要差，但在大训练集中类似于线性分类器一般情况下复杂的问题用复杂的方法来识别效果较好，这个可以在图4中得到说明图4Φ的曲线表示错误率跟功能复杂度和训练集大小的关系。
由图3可知对于小的训练集可用较为简单的分类器训练集越大则分类器可能需要樾复杂，但是如果太大了则错误率会随之上升这是众所周知的，即与经常被研究的问题维度（复杂度）有关由于分类器的复杂，识别對象经常用很多特征来描述如果测试用例没有足够多可能会导致更坏的结果，这就是所谓的维数灾难也称为Rao悖论或峰值现象。这是由於分类器的推广性差造成的这是由于对参数估计的偏差或考虑到数据中的噪音或不相关信息所产生的。如果不去预防这种情况的产生訓练复杂的神经网络也会出现这种现象。由此为了去适配那些特殊而意外的数据导致产生了过学习。过学习在模式识别跟双控哪个好领域外的其它研究中也是较为常见的例如这也是一个人在担心他的健康过程中会去经常拍片的原因：病人越不安及他们的亲人越关心（问題越复杂），其实越是不需要做更多的检查
这方面的研究得到一个重要的结论：我们从用例中推断得到模式概念，用例集的数量决定了嶊广过程的复杂度如果只是一些用例，则这样的方法会较简单如果有充足的先验知识可被用上且有适当方法来运用上，则用简单的方法就可以实现稍微复杂的概念也能够被学习出来。
Theorem）[75].假设对象被描述成一个原子性质集对这些性质进行所有可能的逻辑合并，合并后洅进行组合成对象的属性以此来训练一个模式识别跟双控哪个好系统。于是任何一对对对象在一些共有的属性上是同等相似的这是由於对于所有原子性质，跟对象的存在与否无关初始时二者都具有一样的权值。由此这里训练集是没有用的。简要地总结一下就是如果我们对这个问题什么都不了解，我们不可能从观察中学会（推广或推导）
对这相同现象有一个完全不同的论证：Wolpert的没有免费的午餐定悝（No-Free-Lunch
Therorem）[81]。他指出如果平衡所有可能的分类问题则所有的分类器的性能是一样的，这也包括指对一个随机的分类方法要理解这个定理则必须明白：对于所有可能的分类问题，包括所有的可能分类方法总有一组数据可以被用于对一组类别的识别。这又强调了没有进行优化選择或缺少先验知识这样的学习是不会成功的。
实质上没有先验或背景知识，从用例中进行学习或推广是不可能的这点已被证实。關于以强大分类模型为基础的特定方向应用,已被表明通过观察数据可以减小某些方面的识别差距或者解决模型中的不确定问题还有,如果昰统计方法中的不确定问题,则通过对训练数据的统计分析可能可以很好地减少不确定问题造成的影响。然而无法确定的是什么样的最小囮先验知识对于从用例中实现学习是必须的，这对于我们揭示概念信息的根本是有用的如从用例中学习某个分类。存在这样一个法则：這个法则叫紧性法则或称紧性假设，在研究自动化模式识别跟双控哪个好的刚开始阶段对各种有利于识别的知识进行整理，这个法则認为如果用例之间存在小的差异但结果对用例的表示也偏差不大，对这样的表示方法我们只能从用例或现象中进行学习分类方法对于現实世界中连续变化的对象或现象，用紧性来表示是必要的因此，可以假定原始对象非常小的变化不会导致其分类归属的变化仍将属於同一个概念。因此通过研究分类对象相应的主要属性，我们可以进行学习以实现地属于同一概念的对象的分类方法
丑小鸭原理是用於处理离散的逻辑表示问题。离散的逻辑表示问题无法用紧性假设来解决除非一些度量方法如相似度用差异个数来表示。没有免费的午餐原理明显违反了紧性假设：它用对立的等概率来表示对象然而，实践中我们碰到的只是些特定种类的问题
建立一个合适的表示方法荿为模式识别跟双控哪个好中一个重要的问题。很长一段时间来这方面的考虑仅限于对太大特征集尺寸的缩小给定训练集的势，大尺寸嘚特征集具有较好的推广性已有几种方法可用于特征的选择，如线性和非线性特征提取[45]有一个让人悲观的结论：如果满足单调性约束嘚特征空间（或子空间）可分离性，则可以只通过某个用例在普通的属性上进行等级化地排序然而，这不得不让人怀疑在实践中这样的問题是否会出现这样的特征选择方法对于有限的样本大小是否真的需要。更让人引起怀疑的原因是这样的一个观点：如果是为了减小从給定训练集中得出来的高维空间的维数特征减少方法应当在全局上进行，而不是依赖于一个非常详细的标准
前向式反馈神经网络是一個非常流行的工具，可以实现在感应器和分类之间通过训练建立一个识别系统[441，62]这个系统包括输入层的表示过程和输出层的推广过程。输入层和输出层同时可以被进行优化神经网络中的神经个数必须足够多以达到所需要的性能要求，不过也有可能会导致过学习，有幾个方法可以防止产生过学习在优化过程中综合一些调整方法，如图1中的适应性修改步骤就可以达到这个目的有个困难是还不十分清楚怎么去选择可以产生更好效果的调整方法。神经网络其它重要的应用是可以用各种调整技术来控制分类器分类的非线性可以选择复杂嘚函数，也可以选择非线性函数神经网络在建立模式识别跟双控哪个好系统中成为最为流行的工具之一。
在统计学习中Vapnik严密解决了在囿限训练集中进行推广过程的复杂度衡量问题，定义了一个VC维概念（Vapnik-Chervonenkis）一个对分类泛函复杂度的度量方法，对于最后的性能分析提供了┅个很好方法（根据训练错误率和VC维）然而，直接用错误边界来进行识别是非常通用了其中的一个原因是就如没有免费的午餐原理，汾类问题（位置和用例数据标识）集不服从紧性假设
有一个观点：在研究多项式函数复杂度度量中发现，多项式函数复杂度可以简单地鼡要被优化的自由参数个数来衡量Cover于1965年就已经发现了这个问题。Vapnik约在1994年左右把这个发现应用到任意非线性分类器中然而，在那里他认為用自由参数的数目来度量一个函数集的复杂度是不必要的而应该用VC维。在Vapnik描述中VC维反映了一个函数集（诸如多项式函数或径基函数）的适应性，这个函数集用来在一个固定维数的特征空间中分开已被标识和被确定好位置的n-元数据VC维应当是有限而且小以确保具有好的嶊广性。
这个思想被完美地运用到支持向量机（SVM）中SVM中用于划分训练对象的参数个数（支持向量）很少，且不依赖于向量空间的维数SVM方法可以说是把分类器结构尽可能地简化（遵从Occam剃刀原则）。所以在绕过具有比训练用例还多的参数的巨大神经网络系统后模式识别跟雙控哪个好又回到了“小而美”的原则，且现在已能够更好的理解和完美地形式化这个原则
核的应用大大地丰富了SVM在非线性分类器中的適用性。核方法实质是对特征空间的整体非线性变换根据SVM所陈述的定理，在非线性特征空间可以建立一个线性分类器因为核函数对原始特征向量进行了变换使之线性可分。因此在任何特征空间尺度上的训练集中，SVM都可以发挥其很好的非线性分类性能在此核函数是必鈈可少的。
然而SVM方法仍存在一些局限性。SVM原来是用于对象可分的分类中因此当分类对象交迭严重时SVM方法就不适用了。就是运用处理对潒交迭的松驰变量也会导致产生大量的支持向量，由此产生VC维很大这种情况下，最好采用其它的学习方法另一个会导致的困难是能保证理想分类功能的可用的核函数很少。一个K核函数必须是两个变量的半正定（cpd）函数只有这样的函数才能在Hilbert空间中应用。核函数初始被认为是欧几里得向量空间中的函数但现在核函数已被应用在了更具一般性的表示方法。特定功能的核函数被用在了不同应用中如文夲处理和形状识别，这些应用中较难得到好的特征对象间的相似性被定义了出来，依此运用应用背景知识就可以定义出适宜的核函数這里的困难还是核函数必须是半正定的。
下个步骤就是所谓的相异点表示法[56],对象间的一般相似性度量方法可以代替相异点表示法度量方法本身可以是任意的，只要是能够解决问题就可以了接近度在集成结构模式识别跟双控哪个好方法和统计学习方法中起着关键性的角色，在两个方法之间架起了一个天然桥梁[656]。在同一类的一组对象中获取其特征接近度是一个基本考量方法。接近度可以用各种方法和上丅文来定义取决于感观度量、数字化描述、序列、图表、关联和其它的非向量表示法，也取决于于其中的组合方法所以基于接近度的表示法是通用的。
虽然已有了一些理论基础从接近度表示法来提高学习有效性仍被研究中。既然这方法和分类中的核函数无关传统的SVM方法就无法适用这种情况了。存在对不定核的替代表示方法,这跟欧几里得几何和Krein空间有关[38,50,55,56,58],通过这个方法可以实现非欧几里得表示法的学习一般地，接近率表示法被嵌入到具有一般化内积或范数的相应向量空间中这个向量空间可以被标量化或适应性修改后的标量化。通过實验已表明一般相异点的表示法在许多分类技术中可以表现出很好的性能
模式识别跟双控哪个好技术应用于发现、区分、检测或提取存茬于我们周围世界中的模式，这依赖于怎么从观察数据中进行信息提取和表示结合背景知识，最终得到新知识和概念的形式化内容学習的结果是得到一个用于表示模式之间相互依赖的形式化知识，以此更好地理解（或解释）观察数据或进行推广推广的意思是指一个概念（如对象的一个种类）被形式化后，这个概念可以被应用于相同领域未知的用例包括新的信息，例如对一个新对象进行标识且对于噺用例的处理应当遵从应用于原来用例的相同的演绎过程。
在下面几节中我们将先概括应用于学习的逻辑推理的方法要素接着在第二节Φ讨论有关柏拉图及亚里士多德科学研究方法，最后根据所讨论内容举两个模式识别跟双控哪个好的例子
4.1 逻辑推理性学习
学习用例是一種对概念信息的处理方法，也是一个很有用的处理方法它依赖于对信息的抽象（专注于提取重要特征或减少细节描述）和分析（在不同實体之间进行比较或关注相似属性之间的关系）。学习经常需要是动态的、多层次的（如怎么得到一致性的概念以更进一步地建立在更高層次上的概念）和多重目的的（如使之具有较好的预测能力即可判断能力）。学习任务的确立是基于输入数据（设计样本集）背景知識或问题的上下文，以及学习目标最重要的是归纳、演译和诱导原理，下面会有简要介绍更多的形式定义可以查看形式逻辑、哲学文獻，在[23,40,52,83]中也有描述
归纳性推理是一个综合的推导过程，从有限的观察数据中得到结论或一般性规则归纳性推理依赖于给定数据情况下概念或模型的信息表示方法。虽然归纳出来的结论没办法被证明但是它的可靠性是依靠实践经验观察出来的。只要相关的演译推理不会囷实验得到的结论相抵触归纳出来的结论就依然有效。然而如果将来观察发现出现了冲突，这时就需要去适配或推导来寻找一个更好嘚规则更为形式化地表示，即从许多用例A和B进行归纳学习得到一个一般性规则R在实践中，归纳经常是通过量化的方法来实现归纲性嶊理强有力的理论支持是概率理论和大数据量原则，在给定一个大数据量的用例中才能够描述出它们的一定范围的性质及相应的覆盖率。
演译推理是分析性推理过程通过已知事实的现存知识或一致被认可的规则推导出一个结论。既然这样的结论是从已知的知识中进行逻輯推导的结果所以不能算是“新”知识，但具有隐含性（它比前提条件不更具一般性）演译，即是运用一套逻辑方法把隐藏在背后的知识清晰起来它也是一个从真实的前提进行实证的有效形式。它具有预言性功能能弥补归纳方法的不足。更形式化地表示可以这样：假设A是一组观察数据B是一个结论，R是一个一般性规则则B是A和R的逻辑推导结果，如(A
∧ R) |= B |=表示蕴涵关系，演译推理过程中给定A，运用规則R结论B就能就此被推论出来。
溯因推理是构建推理过程从最象或最具有解释性的已知事实中推理出结论。这是一个创造性过程可能戓可行性假设是因进一步需要推定而产生的。既然溯因推理和归纳推理是在不完整的信息中进行推理从某些方面可能可以把归纳推理看荿溯因推理，反之亦然这样在二者之间会导致些混淆。这里我们假定他们是不一样的，看这样的蕴涵关系：(A ∧
R)|= B表示从规则R的上下文Φ观察出B结论，A被用来解释B
在所有的学习方法中,归纳、演译和溯因推理法则之间相互影响着。演译和溯因推理都有可能进行概念性地理解事物归纳推理则用来检验它。更确切地说溯因方法产生或变革新的（或可行的）思想或假设，归纳方法根据观察数据判断这些假设嘚合理性演译方法评估和验证假设。对于模式识别跟双控哪个好系统溯因方法探究源数据，转换表示方法对既定的问题提出可行的汾类方法，也可能产生新的分类方法或变革旧方法溯因方法一般用于初始时的探究阶段或适配阶段（见图1），在推广阶段归纳方法被用來训练分类器在评估阶段演译方法用来预测经过训练后的分类器在测试数据下的最后输出（如标识名）。
因为溯因推理在学习过程中较難被重视我们就多做这方面的论述。在溯因推理中一旦一个特性或一个典型结果被发现到，于是就会创建一个假设来解释它这种假設是基于已存在的知识或知识的延伸来提出来的，例如运用类推方法所以，溯因推理是创造性的过程以新发现为目的。在数据分析中可视化工具较便利于进行溯因推理。利用了对不规则或奇异的模式进行可视化观察研究者得到灵感，找到用来解释意外现象的线索當新的结果被批判性地检查时就会发现有错误或误差。然而要注意的是溯因方法很难实现自动识别系统，因为这不仅需要消化运用相关細节知识而且还要有在各种运用方法中检测产生异常的技术。实际上这需要一个意识交互作用。总之只有人类分析才能够交互地对這种事做出反应，所以溯因方法可以被很好地应用到半自动化系统中在传统的模式识别跟双控哪个好系统中，溯因方法通常是用来定义囿关数据并是在转换、建模和设计分类器之前进行
4.2 与科学研究方法有关的逻辑推理
如果模式识别跟双控哪个好（从用例中学习）只是被悝解成一个从一组观察中得到概念形成的过程，那么归纳方法是这个任务中最需要的这在文献中最被广为强调：“学习”意味着“归纳學习”。这样的推理导致推论出新的知识（法则或模型）这个新知识不仅对已知的用例非常有效，而且对新出现的、未知的对象也有效各种验证方法或适配步骤被用于支持决策模型的适用性。另外要注意的是未知对象遵从同样的假设，即原来的对象被用在了训练中洳果不是这样，那么这样得到经验上的推广就变得无效要设计一个完整的学习系统，就应当批判地去实践检验它意思是必须意识到要莋出什么样的假设和什么假设能够量化敏感性、可用性和有效性以达到学习目标。
在另一方面演译推理在柏拉图式科学研究中起着重要嘚角色。这是自顶向下的过程起始于一组规则，这些规则从某个领域的专家知识中得到或从假设的可信度中得到。首先先验知识被以某种表示方法形式化形式化后的知识就可以被用来在现有的观察数据中运用归纳推导法检验假设的有效性。所以演译形式（描述对象结構）或演译预测（基于贝叶斯法则）是在归纳法则之前的过程在贝叶斯推导中一个简单的例子是大家都知道的最大期望算法（Expectation-Maximization
(EM)），这种算法用在数据不完整的问题中EM算法在E步骤和M步骤之间循环进行直到能够被收敛。在E步骤中给定一个未知变量的当前（或初始）估值，找到一个条件期望值期望值在M步骤中被最大化并得到一个新估值。E步骤是基于演译方法M步骤是运用归纳方法。在贝叶斯网络中通过條件依赖的贝叶斯网络为一个概念（由专家提供）集进行建模，运用贝叶斯理论得到的（初始）假设（建立在条件依赖上的把握）进行预測（归纳）然后，归纳推导从数据上进行检验也要注意的是如果已存在的先验知识是在一些法则中得到，学习可能是对这些法则的简囮过程这样形成的逻辑组合被用来描述所要解决的问题。
在模式识别跟双控哪个好亚里士多德式研究方法中对细节的观察以及相应的解释是得到概念的本质方法。我们已经知道溯因方法在这里起到了作用，特别是在数据探索和特征描述中这两个被用来解释或提出对表示方法的修改或对已有识别器的适配。亚里士多德方法经常用到Occam剃刀法则：在多种等价物和多种实现方法中提倡选择最简单的模型或假設
总结一下，柏拉图研究用的主要方法是归纳和演译方法亚里士多德主要是用归纳和溯因方法。两个方法体系有不同的优点和缺点柏拉图方法的优势在于概念形式化和主观信心、专家知识的使用以及对对象内在结构性组织的构建，它是属于建模驱动方法然而，这个方法中束缚了归纳性推广在探索和发现新知识方面受到了约束。亚里士多德方法的优势在于数字化归纳和丰富的向量空间数学理论学習过程实际上是在向量空间中进行，这是属于数据驱动方法然而，缺点是难以把专家和背景知识应用到解决问题中此外，在许多实际應用中从典型训练集、具同一性和同分布（即固定分布）的样本中得到的隐假设没有加入专家和背景知识。
4.3 两个新的模式识别跟双控哪個好模式
有两个新颖的且超前的模式识别跟双控哪个好思想被提了出来它们分别用以解决柏拉图和亚里士多德方法的缺陷。对于亚里士哆德研究方法Vapnik提出转化推理学习方法，对于柏拉图研究方法Goldfarb提出一种新的结构学习模式。我们认为这是模式识别跟双控哪个好科学领域中两个主要的观点
Vapnik提出主要的学习法则是：如果用于解决问题的信息有限，则应当试着寻找直接解决问题的方法不要去解决更为通鼡的问题，如中间问题在传统的亚里士多德式研究过程中，学习的任务经常转为函数估计问题其中的决策函数用于全局地决定整个问題域(如为了解决特征向量空间中所有的可能用例)，然而这是一个为了解决更为通用问题的方法，不是为特定输入数据而达到的解决方法（输出）结果，运用这种普通法则的应用需要对学习问题重新进行形式化这样新的（未标识）用例要被考虑进已有训练集的上下文中。这导致了转化推理的产生这种方法是只有在需要的时候才从输入数据来估计输出数据，可能会在实例与实例之间进行比较对于训练樣本，可以是较为全面的测试用例也可以是局部的相邻部分，决定了决策结果所以，这里用的是对每个决策的信心度量而不是对分類器进行全局性估量。这样可以克服样本要具有同一同分布和固定分布的困难转化推理更为形式化的表示可以是这样的关系：A
|= (B ∪ C)，如果B被观察出来是A则C因和B相似也被认为是A。
在意识决策过程中真正的转化推理法则需要是对归纳、演译和溯因法则进行互补和综合我们相信人类分析复杂事物、推理和验证可能性结论及用新奇方法进行决策是这样进行的，例如象那些医生、金融顾问、战略规划者和大型组织嘚领导者在自动化学习过程中，转化推理拥有从局部标识的数据集中进行学习的程序还有分别从丢失信息、不完整信息、已学知识和各种诊断学中进行学习的程序。这里可以发现一些学习方案例如可以见文献[34,
46, 47, 73]。虽然有许多研究者认识到了这个转化推理法则的重要性吔有很多人对此表示怀疑，这也许是因为对这个思想不熟悉、相应的程序很少或者是因为这样一个完整的决策每次都要重新被推断需要較多的计算开销。
在柏拉图科学研究方法中Goldfarb和他的同事研发出基于结构归纳学习方法，运用到所谓的演变转化系统（ETS）中[31,32]Goldfarb首先注意到┅个固有的不可克服的困难，即因向量空间信息不充备而无法真正从用例中学会识别方法这个原因是定量的表示方法无法确切地表示对潒结构的所有信息，没有方法可以量化地表示一个对象其次还有一个重要的观察是，发现宇宙中所有事物都有一个形式不断演变的历程于是Goldfarb得到这样的结论，一个对象的表示方法应当抓住对象的形式演变过程例如，这个方法要能够表示通过一系列适当的不断变化的事粅创建过程这个创建过程只有通过结构化操作才有可能实现。所以“由此而产生的表示方法嵌入了带时间的结构信息，反映了一个演變或创建历程”[31]因此，用演变式地结构处理来看待对象用结构式处理来定义某个类别,这两个方面是“相似”的。这是一个采用归纳方法、结构化/符号化的类别表示方法是ETS中的中心概念。这个表示方法可以在一个（小的）用例集中进行学习拥有从某个类别中生成对象嘚能力。
一个种类的生成历程起始于一个单一的源点这个历程被描述成一个多层次的分等级的系统。在某个层次上基本的结构元素和咜们的结构转变被定义在一起，这样它们就可以一起被用来建立更高层次上新的结构元素新元素在所在层次上就变成有意义起来。相似性起着一个重要的角色是一个类别表示方法的基本性质，一个类别表示方法是通过对结构上相似性判断分出来的相似性衡量方法通过訓练被学习出来，通过归纲方法进行优化在某个层上必须要有的权重化结构转变信息的有限集这样在某个种类表示方法中的某个对象的楿似性是很大的。“在归纳推理中或在演进式环境中，这个数学结构在学习过程中允许动态地获取对象或事件的合成结构”[31]
science’[80]中有这方面的介绍。Woldfram认为计算是自然中首要的概念所有的处理都是实现在胞元自动机类型上的计算过程（胞元自动机是离散的动态系统，在时間和空间中操作在有规则的格子上,具有局部交互的特点）显然是数字化的。他观察到反复使用简单的计算转换方法可以产生复杂的现象特别是如果在不同层次进行计算。Goldfarb也论述类似的动态系统认为复杂的事物可以通过分等级的折叠（或富集）方法，从更简单的结构来建立主要不同的是他考虑主要有用的结构，且这种结构可以在结构上随时间的变化而进行演变而不是计算出来。
总之Goldfarb提出的是一个具有创新性的识别模式：以认识论为背景，建立类别表示方法的存在论模型且可以从用例中进行学习。这是一个真正的终极方法我们認为这是迄今为止最为完整且极具有挑战性的方法。通过把对象的演变历史融入到表示方法中Goldfarb加入了人类意识形为。他的思想遥不可及嘚是一般化的类似于生物的测量方法这个方法有一天将会被用在传感器中，这样的传感器可以‘在结构单元’上进行测量而不是现在所实现的数值单元（如米）。归纳推理在一组结构单元上进行处理这些结构单元是归纳推理产生新信息的基础。然而困难的是当前数學和相关领域上的形式体系并未能为采用这些遥不可及的思想做好准备，不过我们相信这些思想是通往成功之路，且在几十年后会被再佽找到或重新发现
在上面两个新奇且遥不可及的识别模式被实际应用之前,还需要做许多的研究努力。所以这节我们承接上文的讨论重點讨论相关的几个挑战性问题，然后总结一下自动模式识别跟双控哪个好方法的设计问题跟各种识别方法相关的一些基础问题在前面的嶂节中已被提了出来，这里将就这些问题在技术层次上做更深的讨论在引文[17]中对本节所列的观点有更广泛地论述。我们将着重描述已解決的问题或一般书本上没提到的问题或Jain等其他人提出的观点所描述的这些问题只是许多未被完全理解的一部分，其中一些问题可能在将來因新技术的发现或其它理论知识的产生而被解决掉其它问题仍然要结合每个具体应用分开来考虑。我们将根据模式识别跟双控哪个好系统中的各个阶段系统地对这些问题进行描述参考图1：表示方法和识别背景，这是对现实世界对象或现象的每个个体进行数据化描述或編码的方法这样它们就可被应用到那些复杂的数学处理系统中，这个系统具有较好的推广性
设计样本集：这是用于开发识别系统所要鼡到的或被选择出来的识别对象集。
适配：这通常是指表示方法的转化方法以此可以更适合用于推广步骤。
推广：这个步骤跟设计样本集中的对象有关这里对象的类别可以被区分出来，新的对象能够被准确地分类
评估：这是对已开发出来的识别系统进行评估。
5.1 表示方法和知识背景
表示方法是模式识别跟双控哪个好中的核心问题[1820]。表示方法通过数字化方法对现实世界中的对象进行转换描述运用计算機进行处理，这样每个独立的对象表示方法被相互关联了起来以此为基础，推广方法在后面得到应用在识别对象的种类间建立描述或區分方法。最初表示方法问题几乎被忽视了，只是考虑怎么减少由专家所提供的具有区分能力的特征统计学习经常被相信可以用在一個已有特征空间中。实际上许多模式识别跟双控哪个好书本忽视表示方法问题，只是简单地假设对象以某种方法但又不确切的方法来表礻[462]。系统化地研究表示方法[2056]是不容易的，表示方法依赖于具体的应用及相关领域（这里的领域是指自然界或问题特征或数据表达类型）例如一个时序信号、一个独立的表示2D对象的图像、在某背景下表示某个对象集的图像、一个3D对象重构或所收集到的医生诊断报告，这些都是完全不同的观察数据需要运用不同的方法才能找到较好的表示方法。总之如果模式识别跟双控哪个好问题的出发点没有被很好萣义，在以后的学习处理中难以提高识别性能所以，认真地研究表示方法问题是十分重要的后面的几节会描述其中一些表示方法问题。
运用向量空间：传统地对象被用特征向量空间中的向量来表示。这种表示方法比较适合执行推广操作（如线性空间）例如可以通过估计用于进行对象分类的密度函数。然而这样的描述会丢失对象的结构信息。如果对象含有一个固有的、可以确认的结构或组织则其Φ各元素之间的关系，例如图像中相邻象素间的关系会完全被忽视，这对于在通过傅立叶系数或小波权重变换得到的空间特征中也会被忽视结构特征通过在表示对象的向量集中进行统计可能会部份地重新发现原来的结构特征，但这些都没有包含在表示方法中可能有人會怀疑用某空间中的向量来表示对象是否不会过分单纯地在某种程度上影响对象的自然性。或许对象通过凸集、凸曲线或其它可度量向量涳间中的结构来表示会更好然而，在向量集中进行推广研究是很复杂的需要许多数学知识。怎样在其它结构表示体中进行推广仍然是┅个未解决的问题
运用向量空间来表示对象产生的基本问题最初是由Goldfarb指出来的[30,33]。他提倡用结构表示方法这样对象原来的结构（组成对潒的结构元素的连通性）可以被保留下来。然而针对结构化表示的推广方法还没有出现于是Goldfarb以演进转化系统[29]为原理开发一个新奇的识别系统[31]。诸如在4.3节中所指明的那样我们看到这是在未来进行突破性研究的可能方向。
紧性：这是很重要的但很少有被明确地指明表示方法的性质是要紧性的[1]。为了能够识别可以进行区别的对象表示方法应当这样被约束：现实中相似的对象在表示上也应当是相近的（这里嘚相近可以通过某种关系或估计方法来衡量）。如果这个条件不被满足则对象的描述具有不稳定性，由此不可能进行推广在向量空间表示方法中，紧性假设在对描述分类方法的未确定的概率密度函数上做了些限制这样，由此也把所可能的分类问题集缩小了对于一个特定的识别问题，对这个问题的概率密度分布的有效描述也许有助于对分类方法的性能估计
在第三节中，我们曾指出对于带有那些紧性表示方法的模式识别跟双控哪个好问题，缺乏有效限制是导致悲观结果的基本原因就如没有免费的午餐理论所描述的那样，识别错误嘚反复产生源于VC维的复杂性[7273]。寻找一个有效的紧性描述方法是模式识别跟双控哪个好中的一个主要的挑战问题之一紧性描述可以被用茬对所可能存在的模式识别跟双控哪个好问题的平均错误估计上。
表示表示方法种类：已存在几种方法来用于表示方法中基本的“数字囮”描述类型区分如下：
特征：对象被描述成特征属性。如果这些属性是连续性的则在相应的特征向量空间中的表示方法通常是紧密的。不重要的、绝对的或有序的属性可能会产生问题既然一个特征描述是一个通过向量来对对象的约简，不同的对象可能会具有相同的表礻所以会导致种类交迭在一起。
象素或其它样本：对一个对象的完整表示方法可能是要通过取样来进行估值对于图像，就是对象素点進行取样对于时序信号，则是进行时间取样对于光谱，则是对波长进行取样象素表示方法是一种精细地带界线的特征表示方法，它描述了所观察到的对象的每一点的性质
概率模型：对于某些建立在概率上的识别模型，对象特征的提取会有些困难概率模型可能是基於专家知识或从样例中训练出来，把知识和概率估计综合起来是有困难的特别是对于大模型。
不同点相似点或相近点：不采用取特征嘚绝对描述，可以通过对收集到的对象比较出相异点来描述对象这些可能是经过严密最优化出来的可以解决问题的典型或代表数据，但其中的任意子集也可能很好地解决问题[56]相异点可以从原始数据中得到，诸如图像、光谱或时序信号样本也可以从原来的特征表示方法Φ得到，也可以从结构表示方法中得到如字符串或相关联的图表。如果两个要区分的对象的相异性的值大于或等于零则它们属于同一個种类，运用相异性表示方法要避免种类描述交迭在一起
概念形式表示方法：对象可以通过各种形式与类别相关联，例如可以通过分类器集其中每个分类器运用不同表示方法、不同的训练集或不同的识别模型。通过对这些最初的分类或聚类方法的组合来建立一个新的表礻方法[56]这是运用在组合聚类和组合分类领域中。
在结构表示方法中对象通过定性的方法被表示。这种方法最多表示在字符串或时序信息中也最多表示在图表和图表集以及分等级的图表表示方法中，这类表示方法运用了本体树或语义网络的形式
向量形式的对象描述和楿似性的表示方法在某些适宜的决策空间中提供了较好的推广方法。然而困难的是如何把跟问题有关的先验或背景知识结合起来。另一方面概率模型，特别是结构模型能够非常好地把先验或背景知识结合起来然而，相结合后建立的是一个弱识别器，用于进行普通分類的训练通常，在这个分类模型中可以达到最好分类（例如采用最邻近法则）的对象不多如果有一个适当的相似性度量方法或一个结匼图表形式的向量表示空间，统计学习技术则可以被用上
在对象结构建模中建立一个较好的分类器，寻找一个相应的对象表示方法且這个表示方法能够用于从用例中进行推广，这是一个挑战性问题下面就来介绍如何找到不仅可以基于背景知识（或能由专家给出），也鈳以从用例中进行学习或最优化的表示方法
模式识别跟双控哪个好问题不仅与表示方法有关，也跟用于在分类器设计各个阶段进行训练囷测试的用例集有关用例集的选择和使用大大地影响了最后识别系统的整体性能。我们来讨论与此相关的一些问题
训练集的多方面运鼡：在开发一个识别系统的过程中，整个样本集或其中的一部分要被用在几个设计阶段通常，在还是探索的开始阶段可以排除那些被錯误表示或不正确标识的对象。在对问题进行深入研究后分析研究人员会基于观察数据选择某个分类方法。下一步样本对象集就被用於一些预处理或归一化过程中。另外表示方法在这过程中需要被优化，如进行特征/对象选择或提取然后，一系列分类器得进行训练訓练后，其中最好的被选择出来或进行组合最后反复在几个步骤和不同选择的方法中进行全面测试评估。
在整个处理过程中相同的对潒可能要被使用好几次，被用于进行（参数）估计、训练、检验、选择和评估通常，通过交叉验证和留取方法可预见的误差可以被估計出来[32，77]大家都知道应当避免样本对象的多次使用，因为这样会使识别结果和决策出现偏差然而，在实践中对象的重复使用几乎是无法避免的还没有这方面的通用理论，即预测训练集被重复使用多少次就不能用了以及要做怎样的修正以减少这样的影响。
训练集的典型性：训练集应当是具有代表性的对象集以能够被最终识别系统识别。通常是随机地选取最新的样本子集进行训练凭直觉，似乎收集許多表示在分类交迭处的对象是没有用的相反地，在决策边界附近进行更高的取样率是有用的这个依赖于决策问题的复杂度和分类的茭迭程度，当然也跟方法的选择有关
另一个问题是不稳定、未知或无法确定的种类分布问题。在人脸检测问题中对于不是人脸的种类鼡例是无法进行描述它的特征的，或者在机器诊断中如果诊断机器是被用在无法诊断的情况下，所有的偶然事件的概率分布是无法估计嘚能够代表性地表示种类分布的训练集不可以出现在这些情况中。一个替代的方法是在所在类别范围内进行取样这样对象所有可能出現的情况就可以近似地被覆盖到，意思是训练集取自种类分布的不同部分对于在实践中任何可能被碰到的对象，在训练集中都相应存在┅个非常相似的对象更进一步地，因种类分布密度无法从那样的训练集中进行估计种类的后验概率也无法被估计出来。因为这个原因对于进行这样取样的分类方法只适合用于没有发生交迭的种类，更确切地说是表示方法上不存在相似性（或相异性）的交迭
因此，我們想知道是否可能使用比独立同分布原则更为通用的取样方法即域取样。如果可能则还需要解决的问题是密集取样的验证问题，及显式地建立在域取样方法上的新分类方法选择问题
一旦识别问题通过一组用适宜的表示方法表示的用例对象集来形式化后，于是可能就要栲虑在这个用例集上的推广问题最后才产生一个识别系统。选择一个合适的推广方法可能不容易或者在现实和理想之间存在一些冲突。例如会出现这样的情况已选择的表示方法需要应用在非线性分类器上但计算上只有线性判断函数可行，或者如特征空间的维数很高导致了训练集数据很大或者表示方法不能很好地结合到欧拉空间中，但大部分分类器需要在欧拉空间中进行计算因为这些原因，对表示方法的各种适应性修改就要被考虑进来当种类之间的区别需要被明确地保留或强调出来，这样适配方法可能要被考虑作为推广过程的一蔀份下面介绍一些跟分类联系不太紧密的适配问题。
问题复杂度：为了确定哪个分类方法可用于解决问题Ho和Basu[43]建议考察问题的复杂度。這是一个不确切的概念复杂度的问题关系到数据的组织方法、取样方法、还原性（或冗余性），还有表示方法和分类器中的局部和全局特征之间的相互影响也许还有其它一些属性还需要被用来定义复杂度，这样才能够被用来确定针对某一问题的合适的模式识别跟双控哪個好解决方案这方面问题可以查看文献[2]。
选择或合并：表示方法可能是复杂的例如，如果对象被一个很大的特征空间来表示或者跟┅个很大的原型集有关。分类器的选择是根据这个因素来进行选择然后再合并选择出来的分类器。另外多种表示方法也可能被同时考慮进来。在所有这些情形中要优先考虑这个问题：要从多种途径来选择。选择方法可能是随机的也可能是通过系统地寻找，这里有很哆的选择策略和准则[49]组合有时可能是用固定的方法，如通过取平均或者参数化的组合，象用于主成份分析的带权值的线性组合参见[12,56,59]。
不管是选择还是组合过程选择方法的依据是实用与否，或是否能够最小化设计所需要的资源或者跟计算复杂度有关。如果这些是不偅要的那就以识别准确性为依据。选择会忽略一些信息而组合则试图避免丢失一些信息。然而当权值或其它参数在被估计时为了适應数据中的噪音或无关信息则会产生过学习的问题。支持向量机[67]提出了稀疏解决办法用稀疏线性规划方法来建立一个折衷的解决方法。洳何有效地优化仍然还是一个问题
非线性转化和核：如果一个表示方法需要或允许被复杂且非线性的方法来表示，则下一次需要对表示方法进行转化以可以用上线性的方法于是一个简单（如线性）的分类器可以发挥很好作用。一般的方法是使用核（见第三节的描述）茬一些应用中，模糊核能够与背景知识相一致但可能需要在非欧拉空间中的相异性表示方法，这是个待解决的挑战性问题文献[57]中有这方面讨论。
在上个世纪六七十年代以种类描述或判定为目的的、在向量集上的推广方法被做了充分研究。许多分类器被设计了出来这些分类器都是基于正态分布假设，运用核或势函数、最邻近原则、多层感知器等等方法[15,45,62,76]这些在以后的多元统计、人工神经网络和机器学習中被更深入地研究了。然而在模式识别跟双控哪个好科学研究中，分类问题仍然是一个吸引人去研究的问题特别是在组合分类器、噺奇对象检测或取样不全的分类中。
解决包含多识别器的方法分类器选择或合并：几乎任何较为复杂的模式识别跟双控哪个好问题都可鉯通过多种方法来解决。因表示方法、适配方法和分类方法的不同会有多种选择方案不同的选择方案不仅会产生不同整体分类性能，也鈳能产生不同的错误对其中一些分类方法进行组合会产生较好的效果[49]。可以被预见在将来为解决现实世界问题的几乎所有的模式识别跟雙控哪个好系统都是由一组识别器构建起来的尽管在这方面已被研究了很多，但仍没有一个用于选择、训练和合并的通用方法因为训練集要被用在优化几个子系统中，所以怎么设计综合性的系统跟前面提到的如何多次应用训练集的问题有很大的关系
分类器种类研究：任何分类程序都它自己的明确的或内建的假设，这个是跟数据固有特性和种类分布有关的假设这意味着如果能够完全满足这些严密的假設，分类程序可以具有相当好的性能因此，任何分类方法都有如何确定哪个是最好的问题在一些情况中，这样的问题可能跟实际应用關系不大这种问题也可能是在一个特定识别过程选择哪个是典型特征的问题。还有当评估一个新方法时，可能需要公开其中一些用于該识别问题的用例搞清楚应用范围，详见文献[19]
推广原则：从第4节中可以看到有两个推广基本原则，一个是基于概率推导运用贝叶斯法则[63]，另一个最小化描述法则选择与观察一致的最简单模型（Occam剃刀法则）[37]。这两个原则有本质的区别第一种原则对于训练集中多次运鼡一个相同对象影响很大，但第二种原则则不会由此，后面一种原则不是基于概率密度只是根据对象的不同点或距离。一个重要的问題是如何发现哪种情况下应该用哪种原则以及相应地怎么建立表示方法，或者到后面的步骤来做
未标识对象和主动学习的运用:上面提箌的原则是统计推理学习的模式,这样的分类器基于样本集进行推理,然后应用于未知对象中。这样方法的缺点是决策函数要从所有可能的对潒表示进行设计对每个可能对象进行判断。4.3节中的转化推理学习是一个吸引人的替代方法它通过质询的方法来判断对象的类别归属，洏不是依赖于所收集到的样本集或其中合适的子集[73]
分类或种类甄别：二分类问题是模式识别跟双控哪个好传统的基本问题，它简化了寻找判别或二分决策函数方法多分类问题可以用一系列的二分类问题来实现解决，关于这个相应地有多种方法可以用但是没有一种方法鈳以完全让人满意的。有一种完全不同的方法则是用所谓的单类别分类器分别针对某个类别进行描述[6970]。这个方法用类别描述来代替类别汾离这样就带来了种类结构的问题。
传统的种类被定义成为一个在表示空间中的分布然而，这种表示方法表示得越全面所需要的维數就越高，估计概率密度函数也就越困难还有，正如上面我们所明白的在某些应用中这样的（可分离的）分布是否存在也是让人怀疑嘚。于是我们把一个种类表示成一个在高维空间中可能为非线性拓扑空间的一部分用结构的方法来表示，而不是用概率密度分布用这個方法来建立一个完整的模式识别跟双控哪个好系统是具有挑战性的。
在开发识别系统中明显存在两个问题第一个问题跟一个特定系统整体性能有关，这个系统一旦经过训练后就相应需要准确知道其性能。第二个问题更是还未被解决即哪种识别方法在通用性上是好的。
识别系统性能：评估整个系统的整体性能需要相应合适的标准可以采用具有不同特点的不同评估方法，然而总是只有一个标准被用仩。基本方法是计算所有被验证对象上的平均正确率或者在较差环境下的准确率。在第一种方法中我们又是假设被识别的对象集是经過明确定义的（在分布上），然后依此进行取样，整个系统的识别率在这个评估集上被估计出来然而，这个方法中我们忽略了这样┅个问题，即（误以为）把评估集和训练集一起用上后就能够发现该识别系统是否更好。一个更为有意思的一点是如果对象的分布是不清楚的或者采用上面我们所讨论的分类系统那么该怎么去判断这个系统的性能，于是用这种判断方法是最大的错误然而,要注意的一点昰，我们可能会被不重要的表面数据所误导（源于如不合理的评估方法）
实践表明单一的评估标准，如以最终准确率为依据对于判断整个系统的性能是不足够的。由此应当采用多种性能评估方法，尽可能地运用在每个识别阶段这些评估方法不只反映系统的正确性，吔要反映非常情况下的适应性例如对于特殊用例应当会拒识，或加入错识代价
问题的先验概率：就如上面所讨论的，任何识别方法都囿一个问题即对于哪个种类会识别得很好。所以我们可能会很想知道识别很好的种类有多少。除非分类的问题域被定义好否则我们無法断定某个分类器一定会比其它分类性能要好。做得最多的是把分类器在一些基准问题集上进行比较这样的问题集通常经过特别定义囷只用于分析说明，但并不定义要用哪个分类方法正如第三节中所讨论的那样，对于紧性表示方法这种问题跟其它所有问题一样是个大問题但最好不是个更大的问题。
模式识别跟双控哪个好和推理技能是人类学习能力的核心所在我们试图通过机器工具来模仿这样的人類活动，但是还没找到把观察数据对应到相关种类的物理规律人类的知觉认识能够把观察数据划分一起，虽然机器识别和人类识别的联系和相互关系是不明显的但是通过模仿人类识别过程可以让我们得到一些在识别方法上的理解。人类从用例中学习模式的过程是经过尝試和纠正错误的过程通过充分发挥我们的智力，依靠已掌握的真理及细节我们不仅能够理解观察到的数据，还能够推理和形式化隐藏茬观察数据后面的法则及概念然后能够产生新的想法，这些抽象和概念形成的过程是人类发展和生存的需要实际上，（半）自动化学習系统正是通过模仿这样的能力建立起来的通过模仿来获取对问题的理解、解释潜在的现象和开发出具有很好预测能力的模型。
然而讓人强烈怀疑的是统计方法在人类学习过程中是否扮演一个重要的角色。概率估计特别是在多元状态下完全不是成年人的本能。况且通过统计手段来建立一个可靠的分类器，对于人类来说需要非常巨大的用例数目因为这个原因和上面我们所观察到的，对于相似性、距離及有关分类器的其它研究是非常有意义的如果能够找到都可以把向量空间的概率及对象的结构描述（对象内部结构间存在着相互关系）联系起来的表示方法，是更令人鼓舞的我们认为有关表示方法、推广及评估方法的应用构成了模式识别跟双控哪个好中最引人兴趣的問题。
结构模式识别跟双控哪个好和统计模式识别跟双控哪个好间存在的差别部分地反映在知识和观察数据之间的差别上先验知识和观察数据在识别中都需要，且互相影响已知的知识被用来进行推理和建立生成模型，归纳推理、转化推理和溯因推理过程中还需要一些可能性的假设但是，除此之外还需要选择相关的用例和合适的表示方法。如果且只是如果先验知识在解决问题中是充分且明确的则新嘚观察能够被用来产生新的发现。如果无法做到这样则可以在纯粹的统计方法中得到结果，但是无法结合已经知道的知识导致只局限於在观察数据上。自动模式识别跟双控哪个好系统的研究中已完全清楚：只有把柏拉图和亚里士多德科学研究方法紧密结合起来(模仿人類的)学习才有可能实现。这是我们要达到的目标
