»ª±±µçÁ¦´óѧ±¾¿Æ±ÏÒµÉè¼Æ£¨ÂÛÎÄ£©
²¨¼¼ÊõÔÚÑéÖ¤µÄÌØÕ÷´éÉÏÓõý϶ࡣС²¨±ä»»²ÉÓÃÒÔ¸ß˹º¯ÊýµÄ¶þ½×µ¼Êý×÷ΪС²¨»ùµÄС²¨±ä»»¼¼ÊõÀ´½øÐйյãÌáÈ¡£¬È»ºóÒԸ÷½·¨Îª»ù´¡£¬½øÐв»Í¬Í¼ÏñÖ®¼ä¹ÕµãÐòÁÐµÄÆ¥Åä;×îºóÔÙÀûÓÃÌá¸ÒµÄ¹ÕµãÀ´¶ÔͼÏñ½øÐзֶκͶÎÒ»¶Î¶ÔÓ¦´¦Àí¡£ÓÉÓÚʹÓÃÀëɢС²¨±ä»»À´·Ö½âͼÏñµÄ²ÎÊýÌØÕ÷£¬ÌØÕ÷ÌáÈ¡Óõ½×ÔÊÊÓ¦Ëã·¨£¬Æ¥ÅäÔòÑ¡Ôñ¶¯Ì¬¹æ»®·½·¨£¬³õ²½ÊÔÑéÈ¡µÃ½ÏºÃµÄЧ¹û¡£ ? »ùÓÚÌØÕ÷Á³µÄ·½·¨
ÌØÕ÷Á³·½·¨ÊÇ´ÓÖ÷³É³É·Ö·ÖÎö(PCA)µ¼³öµÄÒ»ÖÖÈËÁ³Ê¶±ðºÍÃèÊö¼¼Êõ¡£Ëü½«°üº¬ÈËÁ³µÄͼÏñÇøÓò¿´×÷Ò»Ëæ»úÏòÁ¿£¬²ÉÓÃK-L±ä»»µÃµ½Õý½»K-L»ù£¬¶ÔÓ¦ÆäÖнϴóÌØÕ÷ÖµµÄ»ù¾ßÓÐÓëÈËÁ³ÏàËÆµÄÐÎ×´£¬Òò´ËÓÖ±»³ÆÎªÌØÕ÷Á³¡£ÀûÓÃÕâЩ»ùµÄÏßÐÔ×éºÏ¿ÉÒÔÃèÊö¡¢±í´ïºÍ±Æ½üÈËÁ³Í¼Ïñ£¬ËùÒԿɽøÐÐÈËÁ³Ê¶±ðÓëºÏ³É¡£Ê¶±ð¹ý³Ì¾ÍÊǽ«ÈËÁ³Í¼ÏñÓ³Éäµ½ÓÉÌØÕ÷Á³×é³ÉµÄ×Ó¿Õ¼äÉÏ£¬²¢±È½ÏÆäÔÚÌØÕ÷Á³¿Õ¼äÖеÄλÖã¬È»ºóÀûÓöÔͼÏñµÄÕâÖÖͶӰ¼äµÄijÖÖ¶ÈÁ¿À´È·¶¨Í¼Ïñ¼äµÄÏàËÆ¶È£¬×î³£¼ûµÄ¾ÍÊÇÑ¡Ôñ¸÷ÖÖ¾àÀ뺯ÊýÀ´½øÐжÈÁ¿·ÖÀàʵÏÖÈËÁ³Ê¶±ð¡£ ? Éñ¾ÍøÂç·¨
»ùÓÚÉñ¾ÍøÂçµÄÈËÁ³Ê¶±ð·½·¨¾ÍÊÇÀûÓÃÉñ¾ÍøÂçµÄѧϰÄÜÁ¦ºÍ·ÖÀàÄÜÁ¦¶ÔÈËÁ³½øÐÐÌØÕ÷ÌáÈ¡Óëʶ±ð¡£Ä¿Ç°³£ÓõÄÈ˹¤Éñ¾ÍøÂç·½·¨ÊÇBP£¨Back-Propagation£©Éñ¾ÍøÂç¡¢×Ô×éÖ¯Éñ¾ÍøÂç¡¢¾¶Ïò»ùº¯ÊýÉñ¾ÍøÂç¡£¾¶Ïò»ùº¯ÊýÉñ¾ÍøÂçÓëBPÍøÂçÒ»Ñù¶¼ÊǶà²ãǰÏòÍøÂ磬ËüÒÔ¾¶Ïò»ùº¯Êý×÷Ϊ»ù×¼£¬ÒÔ¸ß˹º¯Êý×÷ΪÒþº¬²ãµÄ¼¤Àøº¯Êý¡£ÕâÖÖÍøÂçµÄѧϰËÙÂʿ졢º¯Êý±Æ½ü¡¢Ä£Ê½Ê¶±ðµÈÄÜÁ¦¾ùÓÅÓÚBPÉñ¾ÍøÂ磬²¢¹ã·ºÓ¦ÓÃÓÚģʽʶ±ð¡¢Í¼Ïñ´¦ÀíµÈ·½Ãæ¡£µ«ÊÇÕâÖÖÍøÂç±ÈBPÍøÂçËùÓõÄÉñ¾ÔªÊýĿҪ¶àµÃ¶à£¬Ê¹ËüµÄÓ¦ÓÃÊܵ½ÁËÒ»¶¨µÄÏÞÖÆ¡£
? ÒþÂí¶û¿É·òÄ£ÐÍ·½·¨(HMM)
HMM×÷ΪÐźŵÄÒ»ÖÖͳ¼ÆÄ£ÐÍ£¬Ä¿Ç°¹ã·ºÓ¦ÓÃÓÚģʽʶ±ð¡¢Í¼Ïñ´¦ÀíµÄ¸÷¸öÁìÓò¡£HMMÊÇÒ»¸öÓÉÁ½ÖÖ»úÀí¹¹³ÉµÄËæ»ú¹ý³Ì:Ò»¸ö»úÀíÊÇÄÚÔÚµÄÓÐÏÞ״̬MarkovÁ´£¬ÌåÏÖΪÓþßÓÐÏÞ״̬ÊýµÄMarkovÁ´À´Ä£ÄâÇ©ÃûÐźÅͳ¼ÆÌØÕ÷±ä»¯µÄÒþº¬µÄËæ»ú¹ý³Ì£¬ÁíÒ»¸öÊÇһϵÁÐËæ»úº¯ÊýËù×é³ÉµÄ¼¯ºÏ£¬ÌåÏÖΪÓëMarkovÁ´µÄÿһ¸ö״̬Ïà¹ØÁªµÄ¹Û²âÐòÁеÄËæ»ú¹ý³Ì¡£ÉèÓй۲ìÐòÁÐQ=Q1Q2?QnºÍ״̬¼¯=S{s1£¬s2,?sn}£¬Ò»¸öÓÐn¸ö״̬µÄÒþÂí¶û¿É·òÄ£Ðͦ˿ÉÒÔ±íʾ(¦Ð£¬A£¬B)£¬ÆäÖЦÐΪ³õʼ״̬¸ÅÂÊʸÁ¿;A={aij}Îª×´Ì¬×ªÒÆ¸ÅÂʾØÕ󣬯äÖÐaij=P{qt+1=Sj|qt=St}£¬1<=i£¬j<=N;B={bj}Qt)}Ϊ¹Û²ì·ûºÅ¸ÅÂÊ·Ö²¼£¬ÈôBÓÐM¸ö¹Û²ìÖµ{v1£¬v2?mv}£¬Ôòbj(Qt)=P{qt=vk|qt=sj£¬1<=j<=N£¬l<=k<=M}¡£
HMMµÄʹÓÃÉæ¼°µ½ÑµÁ·ºÍ·ÖÀàÁ½¸ö½×¶Î£¬ÑµÁ·½×¶Î°üÀ¨Ö¸¶¨Ò»¸öHMMµÄÒþ²Ø×´Ì¬Êý£¬²¢ÇÒÓÅ»¯ÏàÓ¦µÄ״̬ת»»ºÍÊä³ö¸ÅÂÊÒÔ±ãÓÚ²úÉúµÄÊä³ö·ûºÅÓëÔÚÌØ¶¨µÄÔ˶¯Àà±ðÖ®ÄÚËù¹Û²ìµ½µÄͼÏñÏàÆ¥Å䡣ƥÅä½×¶ÎÉæ¼°µ½Ò»¸öÌØ¶¨µÄHMM¿ÉÄܲúÉúÏàÓ¦ÓÚËù¹Û²ìͼÏñÌØÕ÷µÄ²âÊÔ·ûºÅÐòÁеĸÅÂʼÆËã¡£ÀûÓÃH¹Ë½øÐÐÑé֤ͬÑùÓÉÁ½¸ö½×¶Î×é³É£¬¼´ÀûÓÃѵÁ·Ñù
9
»ª±±µçÁ¦´óѧ±¾¿Æ±ÏÒµÉè¼Æ£¨ÂÛÎÄ£©
±¾¹À¼ÆMHMÄ£ÐͲÎÊýºÍÀûÓÃHMMÆÀ¼Û²âÊÔ¡£ÕâÁ½¸ö¹ý³ÌĿǰ¶¼ÓгÉÊìµÄËã·¨£¬HMM²ÎÊýµÄ¹À¼Æ¿ÉÓÃBaum-welch²ÎÊý¹À¼ÆËã·¨»òSegmental K-meansËã·¨;¶Ô²âÊÔÑù±¾µÄÆÀ¼Û£¬¿ÉÒÔÓÃForward-Backwardµü´úËã·¨¹À¼ÆÇ©ÃûÂú×ãÄ£Ð͵ĸÅÂÊ£¬»òÓÃviterbi×îÓÅ״̬ËÑË÷Ëã·¨¼ÆËã¹ý³Ì¾¹ýµÄ×îÓÅ״̬¡£Òò´Ë£¬ÀûÓÃHMMÄ£Ð͵ĹؼüÔÚÓÚHMMÀàÐ͵ÄÑ¡ÔñºÍһЩ²ÎÊýµÄÑ¡ÔñÒÔ¼°·§ÖµµÄ¹À¼Æ[4]¡£
2.2·ÖÀàÆ÷
ÔÚÈËÁ³Ê¶±ð¹ý³ÌÖУ¬Í¨¹ýÌáÈ¡ÌØÕ÷Ä£¿é£¬µÃµ½±íʾÈËÁ³Í¼ÏñµÄÌØÕ÷ÏòÁ¿£¬´ËʱÐèÒªÀûÓ÷ÖÀàÆ÷¸ù¾ÝÌáÈ¡µÄÌØÕ÷ÏòÁ¿½øÐзÖÀà´¦Àí£¬ÒÔÈ·¶¨µ±Ç°ÈËÁ³µÄÉí·Ý¡£ÔÚÕâ¸ö¹ý³ÌÖУ¬·ÖÀàÆ÷Æðמö²ß»úÖÆµÄ×÷Ó㬶Ô×îÖÕµÄÅбð·Ç³£¹Ø¼ü£¬·ÖÀàÆ÷ÐÔÄܵÄÓÅÁÓÒ²½«Ö±½Ó¹ØÏµµ½ÈËÁ³Ê¶±ð½á¹ûµÄºÃ»µ¡£³£ÓõķÖÀàÆ÷ÓÐÒÔϼ¸ÖÖ£º ? ×îС¾àÀë·ÖÀàÆ÷(NC)
×îС¾àÀë·ÖÀàÆ÷ÏàËÆ¶ÈÁ¿ÊÇÒÔ¼ì²âÑù±¾µ½ÀàÖÐÐĵľàÀë´óСΪÅоݡ£ ? ×î½üÁÚ·ÖÀàÆ÷£¨NN£©
×î½üÁÚ·¨Êǽ«ËùÓÐѵÁ·Ñù±¾¶¼×÷Ϊ´ú±íµã£¬Òò´ËÔÚ·ÖÀàʱÐèÒª¼ÆËã´ýʶ±ðÑù±¾xµ½ËùÓÐѵÁ·Ñù±¾µÄ¾àÀ룬Óëx×î½üµÄѵÁ·Ñù±¾ËùÊôÓÚµÄÀà±ð¼´Îª´ýʶ±ðÑù±¾xËùÊôÀà±ð¡£¼Ù¶¨ÓÐC¸öÀà±ð¦Ø1¡¢¦Ø¡¢¦ØnµÄģʽʶ±ðÎÊÌ⣬ÿÀàÓбêÃ÷Àà±ðµÄÑù±¾Ni¸ö£¬i=1£¬2£¬?£¬C£¬ÎÒÃÇ¿ÉÒԹ涨ÒÔÀàµÄÅбðº¯ÊýΪ£º
£¬k=1,2,?,Ni .
? Èý½×½üÁÚ·¨
Èý½×½üÁÚ·¨ÊǼÆËãÏñËØµÄ²îÖµµÄ¾ø¶ÔÖµ¡£¾àÀ빫ʽ¿É±íʾΪ£º
L(x,y)=lxi-yil (2.2.3)
ÓÉʽ(2.2.3)¼ÆËãËùµÃ³öµÄ¾ßÓÐ×îСֵµÄͼÏñ²¢²»Ò»¶¨ÊôÓÚͬ¡ªÀà±ð¡£Èý½×½üÁÚ·¨¼ÆËã³öÓë²âÊÔͼÏñ¾àÀë×îСµÄÈý·ùͼÏñ£¬¼ÆËãÕâÈý·ùͼÏñËùÊôµÄÀà·Ö±ð¼ÆÎªclassl£¬class2£¬class3£¬ÈôclasslºÍclass2ÇÒclass2ºÍclass3²»ÊôÓÚͬһÀ࣬Ôò²âÊÔͼÏñÊôÓÚclassl£»ÈôclasslºÍclass2Ïàͬ£¬Ôò²âÊÔͼÏñÊôÓÚclassl£¬¶øclass2Óë²âÊÔͼÏñÒ²ÊÇÏàËÆµÄ£»Èôclass2ºÍclass3ÊôÓÚͬһÀ࣬Ôò²âÊÔͼÏñÊôÓÚclass2£¬¶øclass3Óë²âÊÔͼÏñÒ²ÊÇÏàËÆµÄ£¬µ«classlËäÈ»Óë²âÊÔͼÏñ¾àÀë×î½üÈ´²»ÊôÓÚͬһÀ࣬¿ÉÄÜÊÇ
10
»ª±±µçÁ¦´óѧ±¾¿Æ±ÏÒµÉè¼Æ£¨ÂÛÎÄ£©
ÓɲâÊÔͼÏñµÄ×Ë̬ºÍÊÎÎïÒýÆðµÄ¡£ ? ±´Ò¶Ë¹·ÖÀàÆ÷
Èç¹ûÖªµÀ¸÷ÀàµÄÏÈÑé·Ö²¼ºÍÌõ¼þ·Ö²¼£¬¾Í¿ÉÒÔ²ÉÓÃ×î´óºóÑé¹À¼Æ(MAP)µÄ·½·¨½øÐзÖÀà¡£ÔÚÈËÁ³Ê¶±ðÖУ¬ÓÐʱ¼Ù¶¨ÈËÁ³·þ´Ó¸ß˹·Ö²¼£¬Äܹ»µÃµ½²»´íµÄ½á¹û¡£ ? Ö§³ÅÏòÁ¿»ú(SVM)
ÔÚСÑù±¾Çé¿öÏ£¬½µµÍÁËѵÁ·¼¯µÄ´í·Ö·çÏÕ£¬ÓÖ½µµÍÁËδ֪ÈËÁ³(Èç¼ì²â¼¯)µÄ´í·Ö·çÏÕ¡£ÔÚÈËÁ³Ê¶±ðÖÐÒÑÖ𽥵õ½Ó¦Óᣠ? Éñ¾ÍøÂç·ÖÀàÆ÷(NNC)
²ÉÓÃÉñ¾ÍøÂç×÷Ϊ·ÖÀàÆ÷ÊǺÜ×ÔÈ»µÄ¡£Ò»°ãÒ»¸ö3²ãÍøÂç¶ÔӦģʽʶ±ðÖÐͼÏñÊäÈë¡¢ÌØÕ÷ÌáÈ¡¡¢·ÖÀà3²¿·Ö¡£Í¨³£µÄNNCÓжà²ã¸ÐÖª»ú(MLP)Ä£ÐÍ¡¢BPÍøÂç¡¢¾¶Ïò»ùº¯ÊýÍøÂçµÈ¡£SVMÒ²½è¼øÁËÉñ¾ÍøÂçµÄ˼Ïë¡£
11
»ª±±µçÁ¦´óѧ±¾¿Æ±ÏÒµÉè¼Æ£¨ÂÛÎÄ£©
µÚÈýÕ ÈËÁ³Ê¶±ðϵͳµÄÉè¼Æ¼°ÊµÏÖ
3.1ÈËÁ³Ê¶±ðÁ÷³Ì
Íê³ÉÈËÁ³Ê¶±ðµÄ¹¤×÷ÐèҪһϵÁеIJ½Ö裬ËüÃǽáºÏÆðÀ´¹¹³ÉÒ»¸öÍêÕûµÄÁ÷³Ì¡£ÓÉÓÚÑо¿ÈËÔ±À´×Ô²»Í¬µÄѧ¿Æ¡¢¾ßÓв»Í¬µÄ±³¼¹£¬¶øÇÒ²»Í¬µÄÈËÁ³Ê¶±ðÓ¦ÓÃÖжÔʶ±ðµÄÄ¿±êÒ²²»Í¬£¬ËùÒÔÈËÁ³Ê¶±ðµÄÁ÷³Ì²¢²»Í³Ò»Ò»¸ö±È½ÏͨÓõÄÈËÁ³Ê¶±ðÁ÷³ÌÈçÏÂͼËùʾ£º
ÆäÖ÷Òª²½Öè°üÀ¨£ºÈËÁ³¼ì²â/¸ú×Ù£¨face detection/tracking£©,ÌØÕ÷ÌáÈ¡£¨face extraction£©,ÌØÕ÷½µÎ¬£¨face dimensionality reduction£©,Æ¥Åäʶ±ð£¨matching and classification£©.ËüÃÇÖ®¼ä»ù±¾ÉÏÊÇ´®ÐеĹØÏµ¡£
£¨1£© ÈËÁ³¼ì²â/¸ú×Ù¡£ÈËÁ³¼ì²âÊÇÍê³ÉÈËÁ³Ê¶±ð¹¤×÷µÄ×Ô¶¯ÏµÍ³µÄµÚÒ»¸ö²½Öè¡£¸Ã²½ÖèµÄÄ¿µÄÊÇÔÚÊäÈëµÄͼÏñÖÐѰÕÒÈËÁ³ÇøÓò¡£¾ßÌåÀ´Ëµ£º¸ø¶¨ÒâÒ»·ùÈÎͼÏñ£¬ÈËÁ³¼ì²âµÄÄ¿µÄÊÇÈ·¶¨ÊÇ·ñͼÏñÖÝÓÐÈËÁ³´æÔÚ£¬Èç¹û´æÔÚ£¬¸ø³öÿ¸öÈËÁ³µÄ¾ßÌåλÖúͷ¶Î§¡£Êµ¼ÊÓ¦ÓÃÖÐÈËÁ³Í¼ÏñµÄ²É¼¯»ò»ñÈ¡³£ÔÚ·ÇÊܿصÄÌõ¼þϽøÐУ¬ÕâÑùËùµÃµ½µÄͼÏñÖеÄÈËÁ³Ôڳߴ硢³¯Ïò¡¢Ã÷°µ¡¢ÕÚµ²¡¢·Ö±æÂʵȷ½Ãæ¶¼Óкܶ಻ͬ£¬Ê¹Í¬Ò»µÄÈËÁ³³öÏÖ¸÷ÖÖ±äÐΣ¬²¢ÓпÉÄܵ¼Ö¸÷ÖÖÎóʶ¡¢Â©Ê¶µÈʧ°ÜµÄÇé¿ö¡£ÎªÐ£ÕýÈËÁ³Ôڳ߶ȡ¢¹âÕÕºÍÐýתµÈ·½ÃæµÄ±ä»¯£¬³£Ðè²ÉÓÃһЩ°üÀ¨¼¸ºÎ¹éÒ»»¯£¨¿Õ¼ä³ß¶È¹éÒ»»¯£©ºÍ¹âÕÕ¹éÒ»»¯£¨»Ò¶È·ùÖµ¹éÒ»»¯£©µÈÊÖ¶ÎÀ´µ÷Õû²»Í¬µÄÈËÁ³Í¼Ïñ£¬ÒÔÀûÓÚÓÃͳһËã·¨½øÐÐʶ±ð¡£
£¨2£© ÌØÕ÷ÌáÈ¡¡£ ÎªÇø·Ö²»Í¬µÄÈËÁ³£¬ÐèÌáÈ¡¸÷ÖÖÈËÁ³µÄ¶ÀÌØÐÔÖÊ¡£Ò²¾ÍÊÇÒª´ÓÈËÁ³Í¼ÏñÖÐÓ³ÉäÌáȡһ×é·´Ó³ÈËÁ³ÌØÕ÷µÄÊýÖµ±íʾÑù±¾¡£ÕâÀïÊ×ÏÈÐèÒª²ÉȡijÖÖ±íʾ·½Ê½À´±íʾ¼ì²â³öµÄÈËÁ³ºÍÊý¾Ý¿âÖеÄÒÑÖªÈËÁ³¡£Í¨³£µÄ±íʾ·¨°üÀ¨¼¸ºÎÌØÕ÷£¨ÈçÅ·ÊϾàÀë¡¢ÇúÂÊ¡¢½Ç¶È£©¡¢´úÊýÌØÕ÷£¨Èç¾ØÕó»òÌØÕ÷ÏòÁ¿£©¡¢¹Ì¶¨ÌØÕ÷Ä£°å¡¢ÌØÕ÷Á³µÈ¡£
£¨3£© ÌØÕ÷½µÎ¬¡£ ÈËÁ³ÊÇÒ»¸ö·Ç¸ÕÐÔµÄ×ÔÈ»ÎïÌ壨ÈáÐÔÌ壩£¬´ÓÈËÁ³Í¼ÏñÖпÉÌáÈ¡ºÜ¶à²»Í¬ÌØÕ÷£¬ËùÒÔ±íÕ÷ÈËÁ³µÄÔÊ¼ÌØÕ÷¶ÔÓ¦¸ßά¿Õ¼äÖеÄÊý¾Ý£¨¶ÔÒ»·ùM*NµÄͼÏñ£¬¿Õ¼äάÊý¿É´ïM*N£©¡£Ö±½ÓÀûÓÃÕâÑù¸ßάµÄÊý¾Ý½øÐÐʶ±ð³ýÐèÒªºÜ¶àµÄÆ¥Å伯ËãÁ¿Í⣬ÓÉÓÚºÜÄѶԸ÷¸ßάÊý¾ÝµÄÃèÊöÄÜÁ¦×öÓÐЧµÄÅжϣ¬¹Ê»¹²»Äܱ£Ö¤»ùÓÚÕâô¶àÊý¾Ý½øÐеÄʶ±ð½á¹ûµÄÕýÈ·ÐÔ¡£ÔÚÌØÕ÷ÌáÈ¡ºó£¬Ðè²ÉÓýô´ÕµÄÈËÁ³±íÕ÷·½Ê½£¬½«ÔÊ¼ÌØÕ÷½øÐÐɸѡ×éºÏ£¬¼¯ÖÐÐÅÏ¢£¬½µµÍάÊý£¬Ê¹ÕâЩµÍά¿Õ¼äµÄÓÐЧÐԵĵ½Ìá¸ß£¬ÒÔÓÐÀûÓÚ½ÓÏÂÀ´µÄÆ¥Åä·ÖÀà¡£
£¨4£© Æ¥Åäʶ±ð¡£ ÔÚÌØÕ÷ÌáÈ¡µÄ»ù´¡ÉÏ£¬Ñ¡Ôñʹµ±µÄÆ¥Åä²ßÂÔ£¬¿É½«´ýʶ±ðµÄÈËÁ³ÓëÊý¾Ý¿âÖеÄÒÑÖªÈËÁ³½øÐÐÆ¥Åä±È½Ï£¬½¨Á¢ËüÃǵÄÏà¹Ø¹ØÏµ£¬²¢Êä³öËù×÷³öµÄÅжϾö²ß/¾ö¶¨£¨Ê¶±ð½á¹û£©¡£ÓëÈËÁ³¼ì²â²»Í¬£¬ÕâÀïÀûÓõÄÖ÷ÒªÊÇÈËÁ³¸öÌå²îÒìµÄÐÅÏ¢¡£ÓÐÁ½ÖÖʶ±ðÄ¿µÄºÍÇé¿öÐè񻂿±ð£ºÒ»ÖÖÊǶÔÈËÁ³Í¼ÏñµÄÑéÖ¤£¨verification£©,¼´ÒªÈ·ÈÏÊä
12