MAXIMUM LIKELIHOOD ESTIMATION

(MLE)
Type equation here.000
⋆ 𝐶𝑜𝑛𝑡𝑒𝑛𝑡
1) 𝑂𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒 𝑜𝑓 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑖𝑜𝑛.

2) 𝑁𝑜𝑛 𝐿𝑖𝑛𝑒𝑎𝑟 𝐿𝑒𝑎𝑠𝑡 𝑠𝑞𝑢𝑎𝑟𝑒𝑠 (𝑁𝐿2 𝑆)

3) 𝑀𝑎𝑥𝑖𝑚𝑢𝑚 𝑙𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑖𝑜𝑛

Type equation here.000
 𝑂𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒 𝑜𝑓 𝑃𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝐸𝑠𝑡𝑖𝑚𝑎𝑡𝑖𝑜𝑛

∙ 𝐵𝑎𝑠𝑖𝑐 𝑖𝑑𝑒𝑎 𝑜𝑓 𝑡ℎ𝑖𝑠 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑖𝑜𝑛 𝑝𝑟𝑜𝑐𝑒𝑠𝑠 𝑖𝑠 𝑡𝑜 𝑑𝑒𝑡𝑒𝑟𝑚𝑖𝑛𝑒 𝑠𝑦𝑠𝑡𝑒𝑚 𝑐ℎ𝑎𝑟𝑎𝑐𝑡𝑒𝑟𝑖𝑠𝑡𝑖𝑐 𝑓𝑟𝑜𝑚 𝑖𝑡𝑠 𝑖𝑛𝑝𝑢𝑡 − 𝑜𝑢𝑡𝑝𝑢𝑡
𝑑𝑎𝑡𝑎.
𝑒. 𝑔. 𝐻𝑢𝑚𝑎𝑛 𝑠𝑢𝑏𝑗𝑒𝑐𝑡 𝑖𝑛
𝑑𝑖𝑎𝑏𝑒𝑡𝑒𝑠 𝑠𝑡𝑢𝑑𝑦
𝑦⋆

Type equation here.000

𝑥ሶ = 𝑓 𝑥, 𝑢, 𝜃 ⇒ 𝑀𝑜𝑑𝑒𝑙 𝑜𝑓 𝑡ℎ𝑒 𝑠𝑦𝑠𝑡𝑒𝑚

𝑥 0 = 𝑥0

𝑦 = ℎ 𝑥 ⇒ 𝑀𝑜𝑑𝑒𝑙 𝑟𝑒𝑠𝑝𝑜𝑛𝑠𝑒

𝑧(𝑘) = 𝑦(𝑘) + 𝑣(𝑘) ⇒ 𝑀𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠

𝑁𝑜𝑖𝑠𝑒
 Non Linear Least Squares (𝑁𝐿2 𝑆)
1 T
𝑂𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒: 𝐷𝑒𝑠𝑖𝑔𝑛 𝜃 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 𝑦 → 𝑧 ⇒ 𝐽 = z − 𝑦(𝜃) 𝑊 z − 𝑦(𝜃)
2

𝜕𝐽
Philosophy: ⇒ =0
𝜕𝜃
∙ 𝐺𝑢𝑒𝑠𝑠 𝑎 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑠 𝑣𝑎𝑙𝑢𝑒
1 ∙ 𝑆𝑜𝑙𝑣𝑒 𝑓𝑜𝑟 𝜃
𝐽 = z − 𝑦 T𝑊 z − 𝑦
∙ 𝑆𝑖𝑚𝑢𝑙𝑎𝑡𝑒
2 𝑡ℎ𝑒 𝑠𝑦𝑠𝑡𝑒𝑚 𝑑𝑦𝑛𝑎𝑚𝑖𝑐𝑠 ∙ 𝐼𝑓 𝑦 𝑖𝑠 𝑙𝑖𝑛𝑒𝑎𝑟 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑓 𝜃
𝑑𝐽 ⇓
= 𝐶𝑙𝑜𝑠𝑒𝑑 𝑓𝑜𝑟𝑚 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛
𝑑𝜃∙ 𝐶𝑜𝑚𝑝𝑢𝑡𝑒 𝑡ℎ𝑒 𝑒𝑟𝑟𝑜𝑟 𝑧 − 𝑦
∙ 𝐼𝑓 𝑦 𝑖𝑠 𝑎 𝑛𝑜𝑛 𝑙𝑖𝑛𝑒𝑎𝑟 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑓 𝜃
∙ 𝑈𝑝𝑑𝑎𝑡𝑒 𝑡ℎ𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑠 𝑢𝑠𝑖𝑛𝑔 ⇓
𝑡ℎ𝑒 𝑎𝑣𝑎𝑖𝑙𝑎𝑏𝑙𝑒 𝑒𝑟𝑟𝑜𝑟 ℎ𝑖𝑠𝑡𝑜𝑟𝑦 𝐼𝑡𝑒𝑟𝑎𝑡𝑖𝑣𝑒 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛 ⇒ 𝜃෠𝑛𝑒𝑤 = 𝜃෠𝑜𝑙𝑑 + Δ𝜃

𝑇 −1 𝑇
∙ 𝐼𝑡𝑒𝑟𝑎𝑡𝑒 𝑡ℎ𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑠 𝜕𝑦 𝜕𝑦 𝜕𝑦
Δ𝜃 = 𝑊 𝑊 𝑧−𝑦
𝑡𝑖𝑙𝑙 𝑐𝑜𝑛𝑣𝑒𝑟𝑔𝑒𝑛𝑐𝑒 𝜕𝜃 𝜕𝜃 𝜕𝜃
 𝑀𝐿𝐸 = 𝐶𝑜𝑛𝑐𝑒𝑝𝑡 𝑜𝑓 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 + 𝐶𝑜𝑛𝑐𝑒𝑝𝑡 𝑜𝑓 𝑁𝐿2 𝑆
. Philosophy:
∙ 𝐺𝑢𝑒𝑠𝑠 𝑎 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑠 𝑣𝑎𝑙𝑢𝑒
∙ 𝑆𝑖𝑚𝑢𝑙𝑎𝑡𝑒 𝑡ℎ𝑒 𝑠𝑦𝑠𝑡𝑒𝑚 𝑑𝑦𝑛𝑎𝑚𝑖𝑐𝑠
∙ 𝐶𝑜𝑚𝑝𝑢𝑡𝑒 𝑡ℎ𝑒 𝑒𝑟𝑟𝑜𝑟 𝑧 − 𝑦
∙ 𝑈𝑝𝑑𝑎𝑡𝑒 𝑡ℎ𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑠 𝑢𝑠𝑖𝑛𝑔 𝑡ℎ𝑒 𝑎𝑣𝑎𝑖𝑙𝑎𝑏𝑙𝑒
𝑒𝑟𝑟𝑜𝑟 ℎ𝑖𝑠𝑡𝑜𝑟𝑦
∙ 𝐼𝑡𝑒𝑟𝑎𝑡𝑒 𝑡ℎ𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑠 𝑡𝑖𝑙𝑙 𝑐𝑜𝑛𝑣𝑒𝑟𝑔𝑒𝑛𝑐𝑒
𝑥ሶ = 𝑓 𝑥, 𝑢, 𝜃 ⇒ 𝑀𝑜𝑑𝑒𝑙 𝑜𝑓 𝑡ℎ𝑒 𝑠𝑦𝑠𝑡𝑒𝑚
1
𝑥ሶ =𝑦𝑓=𝑥,ℎ𝑢,𝑥 𝜃 ⇒⇒𝑀𝑜𝑑𝑒𝑙
𝑀𝑜𝑑𝑒𝑙𝑟𝑒𝑠𝑝𝑜𝑛𝑠𝑒
𝑜𝑓 𝑡ℎ𝑒 𝑠𝑦𝑠𝑡𝑒𝑚 ⇒𝐽= z − 𝑦(𝜃) T 𝑊 z − 𝑦(𝜃)
2

𝑦 =𝑧 ℎ𝑘 𝑥 =⇒𝑦 𝑀𝑜𝑑𝑒
𝑘 + 𝑣 𝑘 ⇒ 𝑀𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠(𝑠𝑒𝑛𝑠𝑜𝑟) 𝑑𝐽
⇒ =0
𝑑𝜃

∙ 𝑆𝑜𝑙𝑣𝑒 𝑓𝑜𝑟 𝜃
𝑁𝑜𝑖𝑠𝑒 Assumed to be Normally distributed ∙ 𝐼𝑓 𝑦 𝑖𝑠 𝑙𝑖𝑛𝑒𝑎𝑟 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑓 𝜃
⇓
𝐶𝑙𝑜𝑠𝑒𝑑 𝑓𝑜𝑟𝑚 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛

∙ 𝐼𝑓 𝑦 𝑖𝑠 𝑎 𝑛𝑜𝑛 𝑙𝑖𝑛𝑒𝑎𝑟 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑓 𝜃

⇓
𝐼𝑡𝑒𝑟𝑎𝑡𝑖𝑣𝑒 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛 ⇒ 𝜃෠𝑛𝑒𝑤 = 𝜃෠𝑜𝑙𝑑 + Δ𝜃
 𝑊𝐻𝑌 𝑀𝐿𝐸 𝑂𝑉𝐸𝑅 𝑁𝐿2 𝑆?

⋆ 𝑀𝐿𝐸 𝑔𝑖𝑣𝑒𝑠 𝑡ℎ𝑒 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑎𝑙 𝑖𝑛𝑑𝑖𝑐𝑎𝑡𝑜𝑟 𝜎𝛽2𝑒 𝑜𝑓 𝑒𝑟𝑟𝑜𝑟 𝑚𝑎𝑑𝑒 𝑖𝑛 𝑡ℎ𝑒 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑟𝑒𝑙𝑎𝑡𝑖𝑣𝑒 𝑡𝑜
𝑡𝑟𝑢𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟𝑠 (𝑢𝑛𝑘𝑛𝑜𝑤𝑛).

2
𝜎𝜃෡2 = 𝐸 𝜃መ − 𝜃 ; where 𝜃መ = 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒 𝑜𝑓 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑎𝑛𝑑 𝜃 = 𝑡𝑟𝑢𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝑣𝑎𝑙𝑢𝑒 𝑢𝑛𝑘𝑛𝑜𝑤𝑛

𝐶𝑟𝑎𝑚𝑒𝑟 𝑅𝑎𝑜 𝑙𝑜𝑤𝑒𝑟 𝑏𝑜𝑢𝑛𝑑: 𝜎𝜃෡2 ≥ 𝑑𝑖𝑎𝑔 𝐼𝑚

−1 𝜃

Type equation here.000

−1 𝑖𝑠 𝑐𝑜𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 𝑚𝑎𝑡𝑟𝑖𝑥
𝑤ℎ𝑒𝑟𝑒 𝐼𝑚 𝑖𝑠 𝑐𝑎𝑙𝑙𝑒𝑑 𝐼𝑛𝑓𝑜𝑟𝑚𝑎𝑡𝑖𝑜𝑛 𝑚𝑎𝑡𝑟𝑖𝑥 𝑎𝑛𝑑 𝐼𝑚

⋆ 𝑀𝐿 𝐸𝑠𝑡𝑖𝑚𝑎𝑡𝑜𝑟 ⇒ 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒𝑠 𝑡ℎ𝑒 𝑐𝑜𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 𝑜𝑓 𝑡ℎ𝑒 𝑟𝑒𝑠𝑖𝑑𝑢𝑎𝑙𝑠 (𝑛𝑜𝑖𝑠𝑒: 𝑣 𝑘 = 𝑧 𝑘 − 𝑦 𝑘 ).

 System response 𝐶𝑜𝑛𝑐𝑒𝑝𝑡 𝑜𝑓 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦

𝑧 𝑘 = 𝑦 𝑘 + 𝑣 𝑘 ⇒ 𝑀𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠(𝑢𝑠𝑖𝑛𝑔 𝑠𝑒𝑛𝑠𝑜𝑟)
Noise: Normal distribution, 𝑣~𝑁(0, 𝜎 2 )

z ∙ 𝑀𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡 𝑧 𝑎𝑡 𝑒𝑎𝑐ℎ 𝑖𝑛𝑠𝑡𝑎𝑛𝑡 𝑘 𝑖𝑠 𝑛𝑜𝑟𝑚𝑎𝑙𝑙𝑦

𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑡𝑒𝑑.

𝑥−𝜇𝑘 2
𝜇
𝑧(𝑘) = 𝑦(𝑘) + 𝑣(𝑘) ⇒2𝑀𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠 1 −
2𝜎 2
∙𝑃 𝑧 𝑘 =𝑥 = 𝑒 𝑘 ∀ 𝑘 = 1…𝑛
𝜎2 𝜎𝑘 2𝜋

𝜇𝑛 ∙ 𝐼𝑛𝑠𝑡𝑒𝑎𝑑 𝑜𝑓 𝑖𝑛𝑑𝑖𝑣𝑖𝑑𝑢𝑎𝑙𝑙𝑦 𝑠𝑡𝑢𝑑𝑦𝑖𝑛𝑔 𝑡ℎ𝑒 𝑚𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠,

𝜇1 𝑤𝑒 𝑐𝑎𝑛 𝑓𝑜𝑟𝑚 𝑎 𝐽𝑜𝑖𝑛𝑡 𝑃𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 𝐷𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑡𝑖𝑜𝑛
𝜎𝑛 𝐹𝑢𝑛𝑐𝑡𝑖𝑜𝑛.
𝜎1

k 1 k 2 k n t
 𝐽𝑂𝐼𝑁𝑇 𝑃𝑅𝑂𝐵𝐴𝐵𝐼𝐿𝐼𝑇𝑌 𝐷𝐼𝑆𝑇𝑅𝐼𝐵𝑈𝑇𝐼𝑂𝑁 𝐹𝑈𝑁𝐶𝑇𝐼𝑂𝑁

𝑆𝑦𝑠𝑡𝑒𝑚 𝑧 (𝑠𝑒𝑛𝑠𝑜𝑟: 𝑛𝑜𝑖𝑠𝑦

𝑢(𝑡) (eg. Human body in OGTT) 𝑚𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠)

∙ 𝑧 1 ,𝑧 2 ,…,𝑧 𝑛 = 𝑧1 , 𝑧2 , … , 𝑧𝑛
z
∙ 𝑦 1 ,𝑦 2 ,…,𝑦 𝑛 = 𝑦1 , 𝑦2 , … , 𝑦𝑛 ⇒ 𝑀𝑜𝑑𝑒𝑙 𝑜𝑢𝑡𝑝𝑢𝑡

−1 𝑧2 −𝑦2z22
−1 𝑧1 −𝑦1 2 1 2 2𝜎22
1 2 2𝜎12
𝑝(𝑧2 ) = 𝑒
𝑝(𝑧1 |𝜃) = 𝑒 𝜎2 2𝜋
𝜎1 2𝜋 zn
z1
−1 𝑧2 −𝑦2 2
1 2 2𝜎22
𝑝(𝑧2 |𝜃) = 𝑒
𝜎2 2𝜋
⋮ k 1 k 2 k n t
−1 𝑧𝑛 −𝑦𝑛 2
1 2 2𝜎𝑛2 ⋆ 𝑤𝑒 𝑑𝑜𝑛𝑡 ℎ𝑎𝑣𝑒 𝑙𝑢𝑥𝑢𝑟𝑦 𝑜𝑓 𝑡𝑎𝑘𝑖𝑛𝑔 𝑚𝑎𝑛𝑦
𝑝(𝑧𝑛 |𝜃) = 𝑒
𝜎𝑛 2𝜋 𝑚𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠. 𝑆𝑜, 𝑦𝑖 ∀ 𝑖 = 1,2, … , 𝑛
𝑎𝑟𝑒 𝑐𝑜𝑛𝑠𝑖𝑑𝑒𝑟𝑒𝑑 𝑚𝑒𝑎𝑛 𝑣𝑎𝑙𝑢𝑒.
∙ 𝐴𝑙𝑠𝑜, 𝑎𝑙𝑙 𝑡ℎ𝑒𝑠𝑒 𝑚𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡𝑠 𝑧1 , 𝑧2 , … , 𝑧𝑛 𝑎𝑟𝑒 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑒𝑛𝑡 𝑎𝑛𝑑 𝑖𝑑𝑒𝑛𝑡𝑖𝑐𝑎𝑙𝑙𝑦 𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑡𝑒𝑑.
𝑛
𝑛 2
1 −1 𝑧𝑖 − 𝑦𝑖
⇒ 𝑝(𝑧1 , 𝑧2 , … , 𝑧𝑛 |𝜃) = ෑ𝑝(𝑧𝑘 ) = 𝑛ൗ exp ෎
2𝜋 2 𝜎1 𝜎2 . … 𝜎𝑛 2 𝜎𝑖2
𝑘=1
𝑖=1

1 −1 𝑇 𝑅 −1
⇒𝑝 z𝜃 = exp 𝑧−𝑦 𝜃 𝑧−𝑦 𝜃 ; 𝑧 = 𝑧1 , 𝑧2 , … , 𝑧𝑛 𝑇 , 𝑦(𝜃) = 𝑦1 , 𝑦2 , … , 𝑦𝑛 𝑇
2𝜋 𝑛/2 𝑅 2

𝑒𝑖 = 𝑧𝑖 − 𝑦𝑖 ∀ 𝑖 = 1 … 𝑛
𝑒𝑖 = 𝑧𝑖 − 𝑦𝑖 , ∀ 𝑖 = 1 … 𝑛
var 𝑒1 cov 𝑒1 , 𝑒2 ⋯ cov 𝑒1 , 𝑒𝑛
cov 𝑒2 , 𝑒𝑛 var 𝑒2 ⋯ cov 𝑒2 , 𝑒𝑛 𝑣𝑎𝑟 𝑒𝑖 = 𝐸 (𝑒𝑖 −0 2 ], ∀ 𝑖 = 1 … 𝑛
𝑅=
⋮ ⋮ ⋱ ⋮
cov 𝑒n , 𝑒1 cov 𝑒n , 𝑒2 ⋯ var 𝑒𝑛 𝑐𝑜𝑣 𝑒𝑖 , 𝑒𝑗 = 𝐸 𝑒𝑖 − 0 𝑒𝑗 − 0 , ∀𝑖 = 1 … 𝑛

𝜎12 0 ⋯ 0
𝑅= 0 𝜎22 ⋯ 0 ⇒ 𝑀𝑒𝑎𝑠𝑢𝑟𝑒𝑚𝑒𝑛𝑡 𝑛𝑜𝑖𝑠𝑒 𝑐𝑜𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 𝑚𝑎𝑡𝑟𝑖𝑥
⋮ ⋮ ⋱ ⋮
0 0 ⋯ 𝜎𝑛2
 1 −1 𝑇 𝑅 −1
⇒ 𝑝 z𝜃 = exp 𝑧−𝑦 𝜃 𝑧−𝑦 𝜃 ;
2𝜋 𝑛/2 𝑅 2

• 𝑂𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒: 𝐷𝑒𝑠𝑖𝑔𝑛 𝜃 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 ⇒ 𝑦 → 𝑧

⇒ 𝑀𝑎𝑥𝑖𝑚𝑖𝑧𝑒 𝑡ℎ𝑒 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑡𝑖𝑦 𝑜𝑓 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑖𝑛𝑔 𝑒𝑟𝑟𝑜𝑟 𝑧 − 𝑦 𝜃
\𝑘𝑒𝑟𝑛 − \𝑛𝑢𝑙𝑙𝑑𝑒𝑙𝑖𝑚𝑖𝑡𝑒𝑟𝑠𝑝𝑎𝑐𝑒} 2}}}}}\𝑒𝑥𝑝 \𝑙𝑒𝑓𝑡[ {\𝑓𝑟𝑎𝑐{{ − 1}}{2}{{\𝑙𝑒𝑓𝑡[ {𝑧 − 𝑦} \𝑟𝑖𝑔ℎ𝑡]}^𝑇}{𝑅^{ − 1}}[𝑧
− 𝑦]} \𝑟𝑖𝑔ℎ𝑡]\] {\𝑣𝑝ℎ𝑎𝑛𝑡𝑜𝑚 {112}} \𝑟𝑖𝑔ℎ𝑡. \𝑘𝑒𝑟𝑛
−1
⇒ −−log 𝑝 𝑧 𝜃 = −log 2}}}{{\𝑙𝑒𝑓𝑡| 𝑅 \𝑟𝑖𝑔ℎ𝑡|}^{{1
\𝑛𝑢𝑙𝑙𝑑𝑒𝑙𝑖𝑚𝑖𝑡𝑒𝑟𝑠𝑝𝑎𝑐𝑒} exp 𝑦 𝜃 𝑇 𝑅−1 𝑧 − 𝑦 𝜃
𝑧 −\𝑚𝑎𝑡ℎ𝑜𝑟𝑑{\𝑙𝑒𝑓𝑡
𝑛/2 𝑅 }}{𝑧_2},2. . . , {𝑧_𝑛}|{𝑡ℎ𝑒𝑡𝑎 _1}, {\𝑡ℎ𝑒𝑡𝑎 _2}, . . . , {\𝑡ℎ𝑒𝑡𝑎 _𝑟})
2𝜋\[𝑃({𝑧_{1,
/ {\𝑣𝑝ℎ𝑎𝑛𝑡𝑜𝑚 {𝑛 2}} \𝑟𝑖𝑔ℎ𝑡.
= \𝑓𝑟𝑎𝑐{1}{{{{\𝑙𝑒𝑓𝑡( {2\𝑝𝑖 } \𝑟𝑖𝑔ℎ𝑡)}^{{𝑛 \𝑚𝑎𝑡ℎ𝑜𝑟𝑑{\𝑙𝑒𝑓𝑡/
1 𝑇 𝑅 −1
𝑛 1
⇒𝐿 𝑧 𝜃 = 𝑧−𝑦 𝜃 𝑧−𝑦 𝜃 + 2𝜋 + log 𝑅
2 2 2

𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 𝐿𝑜𝑔 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝐹𝑢𝑛𝑐𝑡𝑖𝑜𝑛

∙ 𝑅𝑒𝑓𝑜𝑟𝑚𝑢𝑙𝑎𝑡𝑖𝑛𝑔 𝑡ℎ𝑒 𝑜𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒

𝑂𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒: 𝐷𝑒𝑠𝑖𝑔𝑛 𝜃 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 ⇒ 𝑦 → 𝑧

⇒ 𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑡ℎ𝑒 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒 𝐿𝑜𝑔𝑙𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛
 𝑀𝐿𝐸 𝑁𝐿2 𝑆
1 𝑇 −1
𝑛 1 1
𝐿 𝑧 𝜃 = 𝑧−𝑦 𝜃 𝑅 𝑧−𝑦 𝜃 + 2𝜋 + log 𝑅 𝐽 = z − 𝑦(𝜃) T 𝑊 z − 𝑦(𝜃)
2 2 2 2

1
⋆ 𝐶𝑎𝑠𝑒 1: 𝐼𝑓 𝑅 𝑖𝑠 𝑘𝑛𝑜𝑤𝑛 ⇒ log 𝑅 𝑏𝑒𝑐𝑜𝑚𝑒𝑠 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡.
1 2
𝐽=
2
⋆ 𝐶𝑎𝑠𝑒 2: 𝐼𝑓 𝑅 𝑖𝑠 𝑢𝑛𝑘𝑛𝑜𝑤𝑛 ⇒ 𝐿 𝑧 𝜃, 𝑅 .

1 𝑇 𝑅 −1
⋆ 𝐶𝑎𝑠𝑒 1: 𝐶𝑜𝑠𝑡 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 = 𝐿(𝑧|𝜃) = 𝑧 − 𝑦 𝜃 𝑧−𝑦 𝜃 ⇒ 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒
2
1 𝑇 𝑅 −1 1
⋆ 𝐶𝑎𝑠𝑒 2: 𝐶𝑜𝑠𝑡 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 = 𝐿 𝑧 𝑅, 𝜃 = 𝑧−𝑦 𝜃 𝑧−𝑦 𝜃 + 𝑙𝑜𝑔 𝑅 ⇒ 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒
2 2
 𝐹𝐼𝑁𝐴𝐿𝐿𝑌 … .
1 𝑇 −1 1
𝐿 𝑧 𝑅, 𝜃 = 2 𝑧 − 𝑦 𝜃 𝑅 𝑧−𝑦 𝜃 + 2 𝑙𝑜𝑔 𝑅 … (1)

𝜕𝐿
⇒ −1
= 0 ⇒ 𝑅෠ = 𝑧 − 𝑦ො 𝜃 𝑧 − 𝑦ො 𝜃 𝑇
𝜕𝑅
𝑇
𝜕𝐿 𝜕𝑦
⇒ =− 𝑅−1 𝑧 − 𝑦 𝜃 =0
𝜕𝜃 𝜕𝜃
Type equation here.000
⋆ 𝑦 𝑖𝑠 𝑎 𝑛𝑜𝑛 𝑙𝑖𝑛𝑒𝑎𝑟 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑓 𝜃 ⇒ 𝑖𝑡𝑒𝑟𝑎𝑡𝑖𝑣𝑒 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛.

𝜕𝑦
𝑦 𝜃 = 𝑦 𝜃0 + Δ𝜃 = 𝑦 𝜃0 + Δ𝜃 … 2
𝜕𝜃
𝑆𝑎𝑚𝑒 𝑎𝑠 𝑖𝑛 𝑐𝑎𝑠𝑒 𝑜𝑓 𝑁𝐿2 𝑆
𝑆𝑢𝑏𝑠𝑡𝑖𝑡𝑢𝑡𝑒 𝑒𝑞𝑛 … 2 𝑖𝑛 𝑒𝑞𝑛 … 1

𝑇 𝑇 −1 𝑇
𝜕𝑦 𝜕𝑦 𝜕𝑦 𝜕𝑦 𝜕𝑦
⇒ 𝑅−1 [𝑧 − 𝑦 𝜃0 ] − Δ𝜃 = 0 Δ𝜃 = 𝑅 −1 𝑅 −1 𝑧 − 𝑦
𝜕𝜃 𝜕𝜃 𝜕𝜃 𝜕𝜃 𝜕𝜃
 𝑇 −1 𝑇
𝜕𝑦 𝜕𝑦 𝜕𝑦
Δ𝜃 = 𝑅 −1 𝑅 −1 𝑧 − 𝑦
𝜕𝜃 𝜕𝜃 𝜕𝜃

𝐹𝑖𝑠ℎ𝑒𝑟 𝐼𝑛𝑓𝑜𝑟𝑚𝑎𝑡𝑖𝑜𝑛 𝑚𝑎𝑡𝑟𝑖𝑥 𝐼𝑚

Type equation here.000

𝜎𝜃෡2 ≥ 𝑑𝑖𝑎𝑔 𝐼𝑚
−1 𝜃

−1
𝜎𝜃෡ ≥ 𝑑𝑖𝑎𝑔 𝐼𝑚 𝜃
 𝐶𝑂𝑁𝐶𝐿𝑈𝑆𝐼𝑂𝑁

⋆ 𝑀𝐿𝐸 𝑖𝑛𝑣𝑜𝑘𝑒𝑠 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑠𝑡𝑖𝑐 𝑐𝑜𝑛𝑐𝑒𝑝𝑡 𝑖𝑛 𝑁𝐿2 𝑆 (𝑝ℎ𝑖𝑙𝑜𝑠𝑜𝑝ℎ𝑦 𝑟𝑒𝑚𝑎𝑖𝑛𝑠 𝑡ℎ𝑒 𝑠𝑎𝑚𝑒).

⋆ 𝑃𝑟𝑜𝑣𝑖𝑑𝑒𝑠 𝑎 𝑙𝑜𝑤𝑒𝑟 𝑏𝑜𝑢𝑛𝑑 𝑜𝑛 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 𝑜𝑓 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒𝑑 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 𝜃መ 𝑤𝑖𝑡ℎ 𝑟𝑒𝑠𝑝𝑒𝑐𝑡 𝑡𝑜 𝑡𝑟𝑢𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟
𝑣𝑎𝑙𝑢𝑒 𝜃 (𝑢𝑛𝑘𝑛𝑜𝑤𝑛).

⋆ 𝐼𝑛𝑓𝑜𝑟𝑚𝑎𝑡𝑖𝑜𝑛 𝑜𝑛 𝑐ℎ𝑎𝑟𝑎𝑐𝑡𝑒𝑟𝑖𝑠𝑡𝑖𝑐𝑠 𝑜𝑓 𝑛𝑜𝑖𝑠𝑒 𝑐𝑎𝑛 𝑏𝑒 𝑒𝑥𝑡𝑟𝑎𝑐𝑡𝑒𝑑 𝑓𝑟𝑜𝑚 𝑀𝐿𝐸.

Type𝑟𝑒𝑚𝑎𝑖𝑛𝑠
⋆ 𝐹𝑜𝑟𝑚𝑢𝑙𝑎 (Δ𝜃) 𝑓𝑜𝑟 𝑢𝑝𝑑𝑎𝑡𝑖𝑛𝑔 𝑡ℎ𝑒 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 equation here.000
𝑡ℎ𝑒 𝑠𝑎𝑚𝑒.
THANK YOU
Type equation here.000