|
|
|
本書是模式識別和場景分析領域奠基性的經典名著。在第2版中，除了保留了 版的關於統計模式識別和結構模式識別的主要內容以外，讀者將會發現新增了許多新理論和新方法，其中包括神經網路、機器學習、資料採擷、進化計算、不變數理論、隱瑪律可夫模型、統計學習理論和支持向量機等。
譯者序
前言
第1章緒論1
1.1機器感知1
1.2一個例子1
1.3模式識別系統7
1.3.1感測器7
1.3.2分割和組織8
1.3.3特徵提取8
1.3.4分類器9
1.3.5後處理10
1.4設計迴圈11
1.4.1資料獲取11
1.4.2特徵選擇11
1.4.3模型選擇12
1.4.4訓練12
1.4.5評價12
1.4.6計算複雜度12
1.5學習和適應12
1.5.1有監督學習13
1.5.2無監督學習13
1.5.3強化學習13
1.6本章小結13
全書各章概要13
文獻和歷史評述14
參考文獻15
第2章貝葉斯決策論16
2.1引言16
2.2貝葉斯決策論——連續特徵18
2.3 小誤差率分類20
2.3.1極小化極大準則21
2.3.2Neyman睵earson準則22
2.4分類器、判別函數及判定面23
2.4.1多類情況23
2.4.2兩類情況24
2.5正態密度25
2.5.1單變數密度函數25
2.5.2多元密度函數26
2.6正態分佈的判別函數28
2.6.1情況1：Σi=σ2I28<
2.6.2情況2：Σi=Σ30
2.6.3情況3：Σi＝任意32
2.7誤差概率和誤差積分35
2.8正態密度的誤差上界36
2.8.1Chernoff界36
>2.8.2Bhattacharyya界37
2.8.3信號檢測理論和操作特性38
2.9貝葉斯決策論——離散特徵40
2.9.1獨立的二值特徵41
2.10丟失特徵和雜訊特徵43
2.10.1丟失特徵43
2.10.2雜訊特徵44
2.11貝葉斯置信網44
2.12複合貝葉斯決策論及上下文49
本章小結50
文獻和歷史評述51
習題52
上機練習63
參考文獻65
第3章 似然估計和貝葉斯參數估計67
3.1引言67
3.2 似然估計68
3.2.1基本原理68
3.2.2高斯情況：μ未知70
3.2.3高斯情況：μ和Σ均未知 71
3.2.4估計的偏差72
3.3貝葉斯估計73
3.3.1類條件密度73
3.3.2參數的分佈73
3.4貝葉斯參數估計：高斯情況74
3.4.1單變數情況：p(μ｜)74
3.4.2單變數情況：p(x｜)76
3.4.3多變數情況77
3.5貝葉斯參數估計：一般理論78
3.5.1 似然方法和貝葉斯方法何時有區別 81
3.5.2無資訊先驗和不變性82
3.5.3Gibbs演算法83
3.6充分統計量83
3.7維數問題87
3.7.1精度、維數和訓練集的大小90
3.7.2計算複雜度90
3.7.3過擬合92
3.8成分分析和判別函數94
3.8.1主成分分析94
3.8.2Fisher線性判別分析96
3.8.3多重判別分析99
3.9期望 化演算法102
3.10隱瑪律可夫模型105
3.10.1一階瑪律可夫模型105
3.10.2一階隱瑪律可夫模型106
3.10.3隱瑪律可夫模型的計算106
3.10.4估值問題107
3.10.5解碼問題111
3.10.6學習問題113
本章小結114
文獻和歷史評述115
習題115
上機練習127
參考文獻130
第4章非參數技術132
4.1引言132
4.2概率密度的估計132
4.3Parzen窗方法134
4.3.1均值的收斂性137
4.3.2方差的收斂性137
4.3.3舉例說明137
4.3.4分類的例子140
4.3.5概率神經網路141
4.3.6窗函數的選取143
4.4n步鄰估計143
4.4.1n步鄰估計和Parzen窗估計144
4.4.2後驗概率的估計145
4.5 近鄰規則146
4.5.1 近鄰規則的收斂性147
4.5.2 近鄰規則的誤差率148
4.5.3誤差界149
4.5.4步鄰規則150
4.5.5步鄰規則的計算複雜度151
4.6距離度量和 近鄰分類153
4.6.1度量的性質154
4.6.2切空間距離155
4.7模糊分類157
4.8RCE網路160
4.9級數展開逼近161
本章小結163
文獻和歷史評述164
習題165
上機練習171
參考文獻175
第5章線性判別函數177
5.1引言 177
5.2線性判別函數和判定面177
5.2.1兩類情況 177
5.2.2多類的情況 179
5.3廣義線性判別函數 180
>5.4兩類線性可分的情況 183
5.4.1幾何解釋和術語 183
5.4.2梯度下降演算法184
5.5感知器準則函數 小化186
5.5.1感知器準則函數 186
5.5.2單個樣本校正的收斂性證明187
5.5.3一些直接的推廣 190
5.6鬆弛演算法192
5.6.1下降演算法 192
5.6.2收斂性證明 194
5.7不可分的情況 195
5.8 小平方誤差方法196
5.8.1 小平方誤差及偽逆196
5.8.2與Fisher線性判別的關係 198
5.8.3 判別的漸近逼近199
5.8.4Widrow睭off 演算法或 小均方演算法 201
5.8.5隨機逼近法 202
5.9Ho睰ashyap演算法203
5.9.1下降演算法 204
5.9.2收斂性證明 205
5.9.3不可分的情況206
5.9.4一些相關的演算法 207
5.10線性規劃演算法209
5.10.1線性規劃209
5.10.2線性可分情況209
5.10.3極小化感知器準則函數210
5.11支持向量機 211
5.12推廣到多類問題216
5.12.1Kesler構造法217
5.12.2固定增量規則的收斂性217
5.12.3MSE演算法的推廣 218
本章小結220
文獻和歷史評述220
習題221
上機練習226
參考文獻229
第6章多層神經網路230
6.1引言 230
6.2前饋運算和分類231
6.2.1一般的前饋運算 233
6.2.2多層網路的表達能力233
6.3反向傳播演算法 235
6.3.1網路學習 236
6.3.2訓練協議 239
6.3.3學習曲線 240
6.4誤差曲面241
6.4.1一些小型網路241
6.4.2異或問題242
6.4.3較大型的網路243
6.4.4關於多重極小243
6.5反向傳播作為特徵映射243
6.5.1隱含層的內部表示——權值 244
6.6反向傳播、貝葉斯理論及概率246
6.6.1貝葉斯判別與神經網路 246
6.6.2作為概率的輸出 247
6.7相關的統計技術247
6.8改進反向傳播的一些實用技術248
6.8.1啟動函數 249
6.8.2sigmoid函數的參數250
6.8.3輸入信號尺度變換 250
6.8.4目標值251
6.8.5帶雜訊的訓練法 251
6.8.6人工“製造”資料 251
6.8.7隱單元數 251
6.8.8權值初始化 252
6.8.9學習率253
6.8.10衝量項254
6.8.11權值衰減255
6.8.12線索255
6.8.13線上訓練、隨機訓練或成批訓練256
6.8.14停止訓練256
6.8.15隱含層數256
6.8.16誤差準則函數257
6.9二階技術257
6.9.1赫森矩陣 258
6.9.2牛頓法258
6.9.3Quickprop演算法259
6.9.4共軛梯度法 259
6.10其他網路和訓練演算法262
6.10.1徑向基函數網路262
6.10.2特殊的基函數263
6.10.3匹配濾波器263
6.10.4卷積網路264
6.10.5遞迴網路265
6.10.6級聯相關266
6.11正則化、複雜度調節和剪枝267
本章小結269
文獻和歷史評述269
習題271
上機練習277
參考文獻280
第7章隨機方法 284
7.1引言 284
7.2隨機搜索284
7.2.1模擬退火 286
7.2.2玻耳茲曼因數286
7.2.3確定性模擬退火 289
7.3玻耳茲曼學習291
7.3.1可見狀態的隨機玻耳茲曼學習292
7.3.2丟失特徵和類別約束295
7.3.3確定性玻耳茲曼學習297
7.3.4初始化和參數設置 297
7.4玻耳茲曼網路和圖示模型 300
7.5進化方法302
7.5.1遺傳演算法 302
7.5.2其他啟發式方法305
7.5.3遺傳演算法如何起作用306
7.6遺傳規劃306
本章小結308
文獻和歷史評述308
習題309
上機練習313
參考文獻315
第8章非度量方法 318
8.1引言 318
8.2決策樹 318
8.3CART 320
8.3.1分支數目 320
8.3.2查詢的選取與節點不純度 320
8.3.3分支停止準則324
8.3.4剪枝 325
8.3.5葉節點的標記326
8.3.6計算複雜度 327
8.3.7特徵選擇 328
8.3.8多元決策樹 329
8.3.9先驗概率和代價函數329
8.3.10屬性丟失問題330
8.4其他樹方法 331
8.4.1ID3331
8.4.2C4.5 332
8.4.3哪種樹分類器是 的 332
8.5串的識別333
8.5.1串匹配334
8.5.2編輯距離 336
8.5.3計算複雜度 338
8.5.4容錯的串匹配338
8.5.5帶萬用字元的串匹配 339
8.6文法方法339
>8.6.1文法 340
8.6.2串文法的類型341
8.6.3利用文法的識別 343
8.7文法推斷345
8.8基於規則的方法347
本章小結350
文獻和歷史評述350
習題351
上機練習358
參考文獻362
第9章獨立於演算法的機器學習 365
9.1引言 365
9.2沒有天生優越的分類器366
9.2.1沒有免費的午餐定理366
9.2.2醜小鴨定理 369
9.2.3 小描述長度372
9.2.4 小描述長度原理 373
9.2.5避免過擬合及Occam剃刀原理374
9.3偏差和方差 375
9.3.1回歸中的偏差和方差關係376
9.3.2分類中的偏差和方差關係377
9.4統計量估計中的重採樣技術 380
9.4.1刀切法(jackknife)380
9.4.2自助法(bootstrap)382
9.5分類器設計中的重採樣技術 383
9.5.1bagging演算法383
9.5.2boosting法 384
9.5.3基於查詢的學習 387
9.5.4arcing、基於查詢的學習、偏差和方差 388
9.6分類器的評價和比較 389
9.6.1參數模型 389
.6.2交叉驗證 389
9.6.3分類準確率的“刀切法”和“自助法”估計 390
9.6.4 似然模型比較391
9.6.5貝葉斯模型比較 392
9.6.6問題平均誤差率 394
9.6.7從學習曲線預測 終性能 396
9.6.8單個分割平面的能力397
9.7組合分類器 398
9.7.1有判別函數的分量分類器 399
9.7.2無判別函數的分量分類器 400
本章小結401
文獻和歷史評述402
習題403
上機練習408
參考文獻412
第10章無監督學習和聚類416
10.1引言416
10.2混合密度和可辨識性416
10.3 似然估計418
10.4對混合正態密度的應用419
10.4.1情況1：均值向量未知 419
10.4.2情況2：所有參數未知 422
10.4.3M均值聚類423
10.4.4模糊M均值聚類 425
10.5無監督貝葉斯學習426
10.5.1貝葉斯分類器426
10.5.2參數向量的學習427
10.5.3判定導向的近似解431
10.6資料描述和聚類432
10.7聚類的準則函數435
10.7.1誤差平方和準則436
10.7.2相關的 小方差準則436
10.7.3散佈準則437
10.8反覆運算 化 440
10.9層次聚類442
10.9.1定義442
10.9.2基於合併的層次聚類方法444
10.9.3逐步優化的層次聚類446
10.9.4層次聚類和匯出度量447
10.10驗證問題447
10.11線上聚類449
10.11.1聚類數目未知 451
10.11.2自我調整共振網 452
10.11.3基於評判的學習 454
10.12圖論方法455
10.13成分分析 456
10.13.1主成分分析456
10.13.2非線性成分分析 457
10.13.3獨立成分分析458
10.14低維資料表示和多維尺度變換460
10.14.1自組織特徵映射 462
10.14.2聚類與降維465
本章小結466
文獻和歷史評述467
習題468
上機練習475
參考文獻479
附錄A數學基礎 481
索引 512
