第七章 基于视觉心理学的计算机视觉算法评价
[Draper 1994] [Forstner 1996] [Müller 2001(a)]。视觉心理学能帮助建立更加精确的用户模型。
总之，视觉心理学能用于计算机视觉算法的实验评价，其逻辑说明见图7-3右边部分。
7.2.3 评价原则与步骤
以上的分析与讨论清楚地表明，视觉心理学既可以用于视觉算法评价的理论分析，又可以应于对它的实验评价，见图7-3。我们把这些想法表达成一条判断原则：计算机视觉算法定性评价原则：
对一给定的任务，如果计算机视觉算法使用的假定与视觉心理学的结论(即人眼解决此任务所使用的假定)不一致，则这个算法的性能肯定是不好的。
这个原则反过来也许是不成立的，因为最终结果还受其它过程如算法设计、物理实现等方面的影响。假定合理性仅是第一步，最重要的一步。图7-4显示了运用这个原则进行算法评价的三个主要步骤。步骤1提取计算机视觉算法使用的假定。这步的困难在于许多算法的假定是隐含给定的，甚至是设计者无意识给定的，故提取时不得不进行必要的推导[Thacker 2002]。步骤2判断这些假定是否与视觉心理学的结论(人类视觉系统所使用的假定集)相一致。假定集是脱机收集整理的。人类视觉系统使用的部分假定集及它们适用的任务见第二章2.2节。步骤3给出判断结果，这被分成三类：差，只有很少的假定合适；(可能)一般，部分假定合适；(可能)好，所有的假定都合适。第一类结果是准确的，可由我们的判断原则直接得出。但后两类结果只是可能的判断，因为合适的假定
123
算法提取假定来自视觉心理学的假定集合适否步骤1步骤2都不合适部分合适都合适步骤3差(可能)一般(可能)好图7-4 计算机视觉算法定性评价的三个主要步骤。人类视觉系统使用的部分假定集及它们 适用的任务见第二章2.2节。
视觉心理学在计算机视觉中的应用研究
只是得到好结果的必要条件。
7.3 案例研究
现在，对一些较典型的计算视觉算法，用本章提出的方法进行评价，并与用实验方法的评价结果相比较。如果两者基本上是一致的，则表明我们的评价方法是可行的、有效的。
7.3.1 光流场算法
光流场是指图像灰度模式的表面运动。很多学者对光流问题进行了研究，但以Horn & Schunch [Horn 1981]与Verr & Poggio [Verr 1989]研究最为经典。研究内容集中在两方面：一是对光流场本身的计算；二是把光流场当作是运动场来恢复图像的三维结构。对些算法的实验评价结果与用本章原则的评价结果见表7-1，从中可以看出，两者的评价结果基本上是一致的。这从某种程度上表明，我们的评价方法是有效的。
表7-1 关于光流算法的评价。注意：在“假定是否合适”列中括号内的内容对应第二章2.2节中相应的心理学结论，如“(第16条)”对应第二章2.2节中的第(16)条结论；这些视觉心理学结论是用来对“假定”列中的假定进行合适性判断的依据。
算法 实验评价结果 假定 平坦的表面 假定是否合适 合适 (第16条) 不合适(第11条、第17条) 合适 (第11条) 合适 (第16条, 第12条) 不合适 (第12条) 本章方法 评价结果 部分合适 (可能) 一般 光流场 本身计算 一般 照明是一致的 亮度差异 平滑的光流 恢复三维结构 差 运动场等同于光流场 差
7.3.2 注意力模型
Itti L等人提出了视觉注意力模型并用于快速图像场景分析[Itti 1998]。该模型定义了一系列的中心--周边算子(Center-surround difference operator)(第2章第7
124
第七章 基于视觉心理学的计算机视觉算法评价
条同时对比原理)以模拟人类视觉的一个重要的特性：视网膜潜在地拥有整个场景，但注意力一次仅集中在场景中的一个或几个元素(第2章第9条视觉掩盖效应)。这样的机制使得计算机对图像场景感知、识别、记忆与搜索等过程的速度加快。但是，这个模型是纯粹自下而上的，没有使用结构化的知识约束。在Itti L模型的基础上，Navalpakkam V等人提出了面向目标的注意力模型。该模型使用任务图来描述客观世界物体及物体间的关系，作为自上而下的控制[Navalpakkam 2005]。Oliva A 等人使用场景背景的分布规律作为另一种知识约束加快了自然场景中物体检测[Oliva 2003]。后两个模型的共同特点是使用了结构化的知识作为自上而下的约束(第2章第2条的结构化知识约束)，所以它们的性能要优于纯粹的自下而上的注意力模型。
对这些模型的实验评价结果与用本章原则的评价结果见表7-2中，从中可以看出，两者的评价结果基本上是一致的。这从某种程度上表明，我们的评价方法是有效的。
表7-2 对多种注意力模型评价结果。注意：在“假定是否合适”列中括号内的内容对应第二章2.2节中相应的心理学结论，如“(第7条)”对应第二章2.2节中的第(7)条结论；这些视觉心理学结论是用来对“假定”列中的假定进行合适性判断的依据。
算法 实验评价结果 假定 中心周边算子 仅集中少数元素 假定是否合适 合适(第7条，同时对比) 合适(第9条，视觉掩模效应；第4条，注意力机制) 不合适 (第2条， 结构化知识) 合适 合适 (第2条， 结构化知识) 合适 合适 (第2条， 结构化知识) 本章方法 评价结果 部分合适 (可能)一般 Itti L 模型 一般 仅自下而上 Itti L 模型前两条假定 用任务图描述客观世界知识 (自上而下控制) 好 Itti L 模型前两条假定 图像背景分布知识 (自上而下控制) Navalpakkam V 模型 好 都合适 (可能)好 都合适 (可能)好 Oliva A 模型 125
视觉心理学在计算机视觉中的应用研究
7.3.3 CVIR算法
很多学者用实验评价方法对不同的基于内容的视觉信息检索(CVIR)算法进行了比较，一些典型的例子被收集在文献[章毓晋 2003, pp57-305]中。用本章的定性判断原则对这些CVIR算法进行评价，结果见表7-3。从中可以看出，两者的评价结果基本上是一致的。这从某种程度上表明，我们的评价方法是有效的。
表7-3 对多种CVIR算法的评价结果。注意：在“假定是否合适”列中括号内的内容对应第二章2.2节中相应的心理学结论，如“(第7条)”对应第二章2.2节中的第(7)条结论；这些视觉心理学结论是用来对“假定”列中的假定进行合适性判断的依据。`
检索特征 算法 实验评价结果 差 假定 颜色线性变化 全局阈值 颜色非线性变化 全局阈值 亮度在边界处变化 全局阈值 亮度在边界处变化 假定是否合适 不合适 (第13条) 不合适 (第7条) 合适 (第13条) 不合适 (第7条) 合适 (第11条， 第17条) 不合适 (第7条) 合适 (第11条，第17条) 合适 (第9条) 合适 (第19条) 不合适(第7条) 不合适 (第12条) 合适 (第7条， 第12条) 不合适 (第12条) 本章方法 评价结果 都不合适 差 部分合适 (可能)一般 部分合适 (可能)一般 都合适 (可能)好 都不合适 差 部分合适 (可能)一般 普通直方图 颜色 累积直方图 一般 边缘方向 直方图 形状 小波模 极大值 一般 好 多尺度&多通道 高斯分布 局部运动 运动 差 运动是绝对 光流场等于运动场 运动是相对的 光流场等于运动场 局部 + 全局运动 一般
7.4 本章小结
对计算机视觉算法进行评价是计算机视觉领域发展的基础。评价方法主要
126
第七章 基于视觉心理学的计算机视觉算法评价
有理论分析与实验评价两种。通过分析计算机视觉算法评价的特点与难点，我们认为这两种评价方法都离不开视觉心理学的支持。所以，本章提出了基于视觉心理学的计算机视觉算法定性评价原则及其使用步骤。对一些典型计算机视觉算法，将本章原则的评价结果与实验方法的评价结果进行了比较，两者基本上是一致的。这从某种程度上表明本章提出的评价方法是有效的。为了更加方便该评价原则的使用，需要进一步扩充人类视觉系统使用的假定集。
127