最近想寫一篇系列博客比較系統(tǒng)的解釋一下 SLAM 中運用到的優(yōu)化理論相關內容,包括線性最小二乘、非線性最小二乘、最小二乘工具的使用、最大似然與最小二 乘的關系以及矩陣的稀疏性等內容。一方面是督促自己對這部分知識進行總結,另一方面也希望能夠對其他人有所幫助。由于內容比較多希望能夠堅持寫完。
本篇博客主要講解線性最小二乘問題，主要包括以下內容：
最小二乘問題的定義
正規(guī)方程求解
喬姆斯基分解法求解
QR分解法求解
奇異值分解法求解
齊次方程的最小二乘
一. 問題的定義
最小二乘問題通?？梢员硎鰹?通過搜集到的一些數據(獲取得到的樣本),對某一個模型進行擬合,并盡可能的使得模型結果和樣本達到某種程度上的最佳擬合:
轉化為數學表達式為:
其中 x 為模型中參數所組成的向量,e 通常被稱為殘差向量(residual vector).
現在假設我們的模型函數為 Ax,樣本為 b 且方程數大于未知量數則有:
轉化為最小二乘表達式為:
該方程通常可以通過正規(guī)方程、QR 分解、喬姆斯基分解(Cholesky decomposition)和奇異值分解(SVD)等方法求解。
二. 求解方法
2.1. 正規(guī)方程(Normal Equation)
將展開可以得到:
為了求解得到該方程的最優(yōu)解(即最小值),我們可以求解其對于參數 x 的偏導數,并令其等于零:
化簡后得到:
以上被稱為最小二乘的正規(guī)方程(Normal Equation)。進一步求解可得到:
該結果亦可表示為矩陣的偽逆形式(偽逆為逆矩陣廣義形式,奇異陣或非方陣不存在逆矩陣,但可以求解其偽逆矩陣)
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動安全 [無線安全]玩轉無線電——不安全的藍牙鎖 2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實現JSON轉Model - HandyJSON使用講解 2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應用分析 2017-07-26
- 集合結合數據結構來看看(二) 2017-07-26
學習是年輕人改變自己的最好方式