Gram Schmidt QR Decomposition

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20mpl_toolkits.mplot3d%20import%20Axes3D%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20**Orthonormal%20Basis%20Constructions%20with%20Gram-Schmidt%20Algorithm**%0A%20%20%20%20---%0A%20%20%20%20%22%22%22).center()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20%23%20styling%20dicts%20for%20markdown%0A%0A%20%20%20%20style_dict%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22color%22%3A%20%22%232d3436%22%2C%0A%20%20%20%20%20%20%20%20%22font-family%22%3A%20%22Roboto%22%2C%0A%20%20%20%20%20%20%20%20%22font-size%22%3A%20%221.05rem%22%2C%0A%20%20%20%20%20%20%20%20%22line-height%22%3A%20%221.6%22%2C%0A%20%20%20%20%20%20%20%20%22letter-spacing%22%3A%20%220.5px%22%2C%0A%20%20%20%20%20%20%20%20%22padding%22%3A%20%2212px%2018px%22%2C%0A%20%20%20%20%20%20%20%20%22border-radius%22%3A%20%228px%22%0A%20%20%20%20%7D%0A%0A%20%20%20%20style_dict_2%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22background-color%22%3A%20%22%23f9f9f9%22%2C%0A%20%20%20%20%20%20%20%20%22padding%22%3A%20%2212px%22%2C%0A%20%20%20%20%20%20%20%20%22border-radius%22%3A%20%228px%22%2C%0A%20%20%20%20%20%20%20%20%22line-height%22%3A%20%221.6%22%0A%20%20%20%20%7D%0A%0A%20%20%20%20style_dict_3%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22border%22%3A%20%222px%20solid%20black%22%2C%0A%20%20%20%20%20%20%20%20%22padding%22%3A%20%228px%22%2C%0A%20%20%20%20%20%20%20%20%22border-radius%22%3A%20%224px%22%2C%0A%20%20%20%20%20%20%20%20%22display%22%3A%20%22inline-block%22%0A%20%20%20%20%7D%0A%0A%20%20%20%20return%20style_dict%2C%20style_dict_2%2C%20style_dict_3%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20style_dict)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%23%20**Orthonormal%20basis%20are%20the%20cornerstone%20of%20Linear%20Algebra%20%E2%80%94%20a%20set%20of%20vectors%20that%20are%20not%20only%20mutually%20perpendicular%20(orthogonal)%20but%20also%20of%20unit%20length%20(normalized).%20This%20unique%20combination%20makes%20them%20exceptionally%20powerful%20in%20simplifying%20complex%20problems.%20In%20Machine%20Learning%2C%20orthonormal%20bases%20serve%20as%20the%20backbone%20for%20techniques%20like%20Singular%20Value%20Decomposition%20(*SVD*)%2C%20Principal%20Component%20Analysis%20(*PCA*)%2C%20and%20various%20feature%20engineering%20methods**%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20style_dict_2)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%0A%20%20%20%20**In%20Gram-Schmidt%20Orthogonalization%2C%20to%20produce%20Orthonormal%20VECTORS%2C%20%20We%20simply%2C**%0A%0A%20%20%20%201.%20**take%20a%20set%20of%20linearly%20independent%20vectors%20(*stored%20in%20a%20matrix*)**%20%E2%80%94%20think%20of%20it%20like%20having%20mix%20fruits%20both%20apples%20%26%20bananas%20%F0%9F%8D%8E%F0%9F%8D%8C.%0A%20%20%20%202.%20**We%20then%20find%20and%20cut%20down%20their%20projection%20on%20each%20other**%20%E2%80%94%20separating%20apples%20from%20bananas%2C%20so%20nothing%20overlaps.%0A%20%20%20%203.%20**and%2C%20normalizing%20and%20arranging%20them%20so%20that%20they%20become%20Orthogonal**%20%E2%80%94%20now%20each%20fruit%20gets%20its%20own%20clean%20basket%2C%20*representing%20its%20own%20unique%20dimension*%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_2)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20style_dict_3)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%23%20**In%20Technical%20Terms%2C%20we%20see%2C**%0A%0A%20%20%20%20%23%23%23%23%23%20**An%20*orthogonal%20matrix*%20represents%20a%20linear%20transformation%20preserving%20both%20vector%20lengths%20and%20angles.%20It%20could%20be%20a%20rotation%2C%20a%20reflection%2C%20or%20a%20combination%20in%20_n_-dimensional%20space.%20The%20key%20insight%20is%20that%20multiplying%20a%20vector%20by%20an%20orthogonal%20matrix%20changes%20_where_%20it%20points%2C%20but%20not%20_how%20long_%20it%20is.**%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_3)%0A%0A%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20style_dict)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20**So...Through%20this%20notebook%2C**%0A%0A%20%20%20%20**you'll%20build%20the%20understanding%20of%20the%20mathematical%20Intuition%20along%20with%20its%20scratch%20implementation%20in%20python.%20Also%20check%20out%2C%20how%20this%20orthogonalization%20process%20plays%20a%20key%20role%20in%20QR%20Decomposition%2C%20and%20understand%20how%20a%20matrix%E2%80%99s%20orientation%20changes%20through%20a%20transformation.**%0A%20%20%20%20%22%22%22).style(style_dict)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20side%20quest%20-%201%0A%0A%20%20%20%20statement%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%23%20**Still%20not%20getting%20what%20Orthogonality%20is%3F%3F%3F**%0A%0A%20%20%20%20*here%20is%20the%20call!%20and%20it%20simply%20means%2C*%0A%0A%20%20%20%20%23%23%23%23%20**Perpendicular%20Vectors%20%3D%3D%20Orthogonal%20Vectors**%2C%20%0A%20%20%20%20where%2C%20the%20dot%20product%20of%20any%20two%20vectors%20in%20vector%20space%20is%20*0*.%0A%0A%20%20%20%20%22%22%22).style(%7B'color'%3A'purple'%7D)%0A%0A%20%20%20%20mo.accordion(%7B%22side%20quest%20%F0%9F%8F%B4%E2%80%8D%E2%98%A0%EF%B8%8F%22%3Astatement%7D).right()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20**A%20mathematical%20Intuition%2C**%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20style_dict_2)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%23%20For%20a%20vector%20space%20having%20basis%20%5C(%20%5C%7B%20%5Cvec%7Bv%7D_1%2C%20%5Cldots%2C%20%5Cvec%7Bv%7D_m%20%5C%7D%20%5C)%20of%20a%20subspace%20%5C(%20S%20%5Csubset%20%5Cmathbb%7BR%7D%5En%20%5C)%2C%20the%20**Gram%E2%80%93Schmidt**%20process%20constructs%20an%20_**orthonormal%20basis**_%20%5C(%20%5C%7B%20%5Cvec%7Bw%7D_1%2C%20%5Cvec%7Bw%7D_2%2C%20%5Cldots%2C%20%5Cvec%7Bw%7D_m%20%5C%7D%20%5C)%2C%20such%20that%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Coperatorname%7Bgram%5C_schmidt%7D%20%5Cleft(%20%5Cleft%5C%7B%20%5Cvec%7Bv%7D_1%2C%20%5Cvec%7Bv%7D_2%2C%20%5Cldots%2C%20%5Cvec%7Bv%7D_m%20%5Cright%5C%7D%20%5Cright)%0A%20%20%20%20%5Clongrightarrow%20%5Cleft%5C%7B%20%5Cvec%7Bw%7D_1%2C%20%5Cvec%7Bw%7D_2%2C%20%5Cldots%2C%20%5Cvec%7Bw%7D_m%20%5Cright%5C%7D%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20%23%23%23%23%23%20where%20each%20%5C(%20%5Cvec%7Bw%7D_i%20%5C)%20is%20orthonormal%2C%20and%20constructed%20via%20the%20following%20steps%3A%0A%0A%20%20%20%20Set%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cvec%7Bu%7D_1%20%3D%20%5Cvec%7Bv%7D_1%2C%20%5Cquad%20%5Cvec%7Bw%7D_1%20%3D%20%5Cfrac%7B%5Cvec%7Bu%7D_1%7D%7B%5C%7C%5Cvec%7Bu%7D_1%5C%7C%7D%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20For%20each%20%5C(%20i%20%3D%202%2C%203%2C%20%5Cldots%2C%20m%20%5C)%2C%20compute%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cvec%7Bu%7D_i%20%3D%20%5Cvec%7Bv%7D_i%20-%20%5Csum_%7Bj%3D1%7D%5E%7Bi-1%7D%20%5Coperatorname%7Bproj%7D_%7B%5Cvec%7Bw%7D_j%7D(%5Cvec%7Bv%7D_i)%0A%20%20%20%20%3D%20%5Cvec%7Bv%7D_i%20-%20%5Csum_%7Bj%3D1%7D%5E%7Bi-1%7D%20%5Cleft(%20%5Cfrac%7B%5Cvec%7Bw%7D_j%5E%5Ctop%20%5Cvec%7Bv%7D_i%7D%7B%5Cvec%7Bw%7D_j%5E%5Ctop%20%5Cvec%7Bw%7D_j%7D%20%5Cright)%20%5Cvec%7Bw%7D_j%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20in%20other%20words%2C%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%5Cvec%7Bu%7D_1%20%26%3D%20%5Cvec%7Bv%7D_1%2C%20%26%0A%20%20%20%20%5Cvec%7Bw%7D_1%20%26%3D%20%5Cfrac%7B%5Cvec%7Bu%7D_1%7D%7B%5C%7C%5Cvec%7Bu%7D_1%5C%7C%7D%2C%20%5C%5C%5B8pt%5D%0A%20%20%20%20%5Cvec%7Bu%7D_2%20%26%3D%20%5Cvec%7Bv%7D_2%20-%20%5Coperatorname%7Bproj%7D_%7B%5Cvec%7Bu%7D_1%7D(%5Cvec%7Bv%7D_2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%5Cvec%7Bv%7D_2%20-%20%5Cfrac%7B%5Cvec%7Bu%7D_1%5E%7B%5Ctop%7D%5Cvec%7Bv%7D_2%7D%7B%5Cvec%7Bu%7D_1%5E%7B%5Ctop%7D%5Cvec%7Bu%7D_1%7D%20%5Cvec%7Bu%7D_1%2C%20%26%0A%20%20%20%20%5Cvec%7Bw%7D_2%20%26%3D%20%5Cfrac%7B%5Cvec%7Bu%7D_2%7D%7B%5C%7C%5Cvec%7Bu%7D_2%5C%7C%7D%2C%20%5C%5C%5B8pt%5D%0A%20%20%20%20%5Cvec%7Bu%7D_3%20%26%3D%20%5Cvec%7Bv%7D_3%20-%20%5Coperatorname%7Bproj%7D_%7B%5Cvec%7Bu%7D_1%7D(%5Cvec%7Bv%7D_3)%20-%20%5Coperatorname%7Bproj%7D_%7B%5Cvec%7Bu%7D_2%7D(%5Cvec%7Bv%7D_3)%2C%20%26%0A%20%20%20%20%5Cvec%7Bw%7D_3%20%26%3D%20%5Cfrac%7B%5Cvec%7Bu%7D_3%7D%7B%5C%7C%5Cvec%7Bu%7D_3%5C%7C%7D%2C%20%5C%5C%5B6pt%5D%0A%20%20%20%20%26%5C%3B%5Cvdots%20%26%20%26%5C%3B%5Cvdots%20%5C%5C%0A%20%20%20%20%5Cvec%7Bu%7D_k%20%26%3D%20%5Cvec%7Bv%7D_k%20-%20%5Csum_%7Bj%3D1%7D%5E%7Bk-1%7D%20%5Coperatorname%7Bproj%7D_%7B%5Cvec%7Bu%7D_j%7D(%5Cvec%7Bv%7D_k)%2C%20%26%0A%20%20%20%20%5Cvec%7Bw%7D_k%20%26%3D%20%5Cfrac%7B%5Cvec%7Bu%7D_k%7D%7B%5C%7C%5Cvec%7Bu%7D_k%5C%7C%7D.%0A%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20Then%20normalize%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cvec%7Bw%7D_i%20%3D%20%5Cfrac%7B%5Cvec%7Bu%7D_i%7D%7B%5C%7C%5Cvec%7Bu%7D_i%5C%7C%7D%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20%23%23%23%23%23%20These%20vectors%20%5C(%20%5C%7B%20%5Cvec%7Bw%7D_1%2C%20%5Cldots%2C%20%5Cvec%7Bw%7D_m%20%5C%7D%20%5C)%20satisfy%20the%20orthonormality%20condition%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cvec%7Bw%7D_i%5E%5Ctop.%5Cvec%7Bw%7D_j%20%3D%0A%20%20%20%20%5Cbegin%7Bcases%7D%0A%20%20%20%201%20%26%20%5Ctext%7Bif%20%7D%20i%20%3D%20j%2C%20%5C%5C%0A%20%20%20%200%20%26%20%5Ctext%7Bif%20%7D%20i%20%5Cneq%20j%0A%20%20%20%20%5Cend%7Bcases%7D%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20%23%23%23%23%23%20and%20such%20orthonormal%20vectors%20can%20be%20assembled%20into%20the%20columns%20which%20build%20an%20**Orthonormal%20Matrix%20%5C(%20Q%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn%20%5Ctimes%20m%7D%20%5C)%2C**%20such%20that%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20Q%5ET.%20Q%20%3D%20I%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20%23%23%23%23%23%20In%20practical%20numerical%20implementations%20(due%20to%20rounding%20errors)%2C%20we%20often%20get%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20Q%5ET.%20Q%20%5Capprox%20I%0A%20%20%20%20%5C%5D%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_2)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20side_note_for_norm%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%23%23%20**An%20info.%20to%20be%20pointed%20out...**%20%0A%0A%20%20%20%20In%20the%20Gram%E2%80%93Schmidt%20process%2C%20the%20norm%20%5C(%20%5C%7C%20%5Ccdot%20%5C%7C%20%5C)%20used%20here%20is%20the%20**Euclidean%20norm**%20(also%20known%20as%20the%20**%5C(%5Cell%5E2%20%5C)**%20norm).%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5C%7C%20%5Cvec%7Bv%7D%20%5C%7C%20%3D%20%5Csqrt%7Bv_1%5E2%20%2B%20v_2%5E2%20%2B%20%5Ccdots%20%2B%20v_n%5E2%7D%20%3D%20%5Cleft(%20%5Csum_%7Bi%3D1%7D%5En%20v_i%5E2%20%5Cright)%5E%7B1%2F2%7D%0A%20%20%20%20%5C%5D%0A%0A%0A%20%20%20%20Measuring%20the%20**Euclidean%20distance**%20of%20a%20vector%20%5C(%20%5Cvec%7Bv%7D%20%5Cin%20%5Cmathbb%7BR%7D%5En%20%5C)%20from%20the%20origin.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.callout(side_note_for_norm%2Ckind%3D%22neutral%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%3Cbr%3E%0A%20%20%20%20%23%23%20**Let's%20build%20Orthonormal%20Basis%20from%20scratch**%0A%20%20%20%20---%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22**first%2C%20defining%20a%20vector%20space%2C%20calling%20it%20A.**%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np)%3A%0A%20%20%20%20%23%20a%20vector%20space%20A%20having%20independent%20linearity%0A%0A%20%20%20%20A%20%3D%20np.array(%5B%5B1%2C0%2C0%5D%2C%20%5B2%2C0%2C3%5D%2C%20%5B4%2C5%2C6%5D%5D).T%0A%20%20%20%20mo.show_code(print(A))%0A%20%20%20%20return%20(A%2C)%0A%0A%0A%40app.cell%0Adef%20_(A)%3A%0A%20%20%20%20print(A)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%23%23%23%20**Now%2C%20let's%20define%20func.%20%60gs_Orthogonalization%60%20which%20will%20utilize%20the%20Gram-Schmidt%20Process%2C**%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20np)%3A%0A%20%20%20%20%23%20defining%20the%20gram-schmidt%20process%0A%0A%20%20%20%20def%20gs_Orthogonalization(X%3Anp.ndarray)-%3Enp.ndarray%3A%0A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20original%20-%3E%20orthogonal%20-%3E%20orthonormal%0A%20%20%20%20%20%20%20%20args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20set%20of%20linearly%20independent%20vectors%20stored%20in%20columns%20in%20the%20array%20X.%0A%20%20%20%20%20%20%20%20returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20Returns%20matrix%20Q%20of%20the%20shape%20of%20X%2C%20having%20orthonormal%20vectors%20for%20the%20given%20vectors.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Q%20%3D%20np.copy(X).astype(%22float64%22)%0A%20%20%20%20%20%20%20%20n_vecs%20%3D%20Q.shape%5B1%5D%0A%0A%20%20%20%20%20%20%20%20%23%20defining%20a%20function%20to%20compute%20the%20L2-norm%0A%20%20%20%20%20%20%20%20length%20%3D%20lambda%20x%3A%20np.linalg.norm(x)%0A%0A%20%20%20%20%20%20%20%20%23%20iteration%20with%20each%20vector%20in%20the%20matrix%20X%0A%20%20%20%20%20%20%20%20for%20nth_vec%20in%20range(n_vecs)%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20iteratively%20removing%20each%20preceding%20projection%20from%20nth%20vector%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20k_proj%20in%20range(nth_vec)%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20dot%20product%20would%20be%20the%20scaler%20coefficient%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scaler%20%3D%20Q%5B%3A%2Cnth_vec%5D%20%40%20Q%5B%3A%2Ck_proj%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20projection%20%3D%20scaler%20*%20Q%5B%3A%2Ck_proj%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Q%5B%3A%2Cnth_vec%5D%20-%3D%20projection%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20removing%20the%20Kth%20projection%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20norm%20%3D%20length(Q%5B%3A%2Cnth_vec%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20handling%20the%20case%20if%20the%20loop%20encounters%20linearly%20dependent%20vectors.%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Since%2C%20they%20come%20already%20under%20the%20span%20of%20vector%20space%2C%20hence%20their%20value%20will%20be%200.%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.isclose(norm%2C0%2C%20rtol%3D1e-15%2C%20atol%3D1e-14%2C%20equal_nan%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Q%5B%3A%2Cnth_vec%5D%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20making%20orthogonal%20vectors%20-%3E%20orthonormal%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Q%5B%3A%2Cnth_vec%5D%20%3D%20Q%5B%3A%2Cnth_vec%5D%20%2F%20norm%0A%0A%20%20%20%20%20%20%20%20return%20Q%0A%0A%20%20%20%20mo.show_code()%0A%20%20%20%20return%20(gs_Orthogonalization%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20style_dict_2)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%23%23%23%20**Now%2C%20we'll%20define%20a%20func.%20%60is_orthonormal%60%20to%20check%20the%20orthonormality%20of%20a%20Matrix%20satisfying%20the%20following%20fundamental%20step%2C**%0A%20%20%20%20%5C%5B%0A%20%20%20%20Q%5ET.%20Q%20%3D%20I%0A%20%20%20%20%5C%5D%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_2)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20gs_Orthogonalization%2C%20mo%2C%20np)%3A%0A%0A%20%20%20%20def%20is_Orthonormal(Q%3A%20np.ndarray)-%3Ebool%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Checks%20if%20the%20columns%20of%20Q%20are%20orthonormal.%0A%20%20%20%20%20%20%20%20For%20Q%20with%20shape%20(m%2C%20n)%2C%20this%20checks%20if%20Q.T%20%40%20Q%20%3D%3D%20I_n%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Q_TQ%20%3D%20Q.T%20%40%20Q%0A%20%20%20%20%20%20%20%20I%20%3D%20np.eye(Q.shape%5B1%5D%2C%20dtype%3DQ.dtype)%0A%20%20%20%20%20%20%20%20return%20np.allclose(Q_TQ%2C%20I)%0A%0A%0A%20%20%20%20%23%20calling%20the%20function%0A%20%20%20%20Q_A%20%3D%20gs_Orthogonalization(A)%0A%0A%20%20%20%20%23%20checking%20the%20condition%0A%20%20%20%20is_Orthonormal(Q_A)%0A%0A%20%20%20%20mo.show_code()%0A%0A%20%20%20%20return%20Q_A%2C%20is_Orthonormal%0A%0A%0A%40app.cell%0Adef%20_(Q_A%2C%20is_Orthonormal%2C%20mo)%3A%0A%20%20%20%20mo.plain(is_Orthonormal(Q_A)).child%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%23%23%20**The%20above%20justifies%20the%20orthogonality%20achieved%20by%20the%20matrix%20%60Q_A%60.%20You%20can%20find%20the%20changes%20we've%20made%20till%20now%20below%2C**%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20Q_A%2C%20mo)%3A%0A%20%20%20%20matrices%20%3D%20%7B%22Original%20Vectors%22%3A%5Bmo.md(to_latex(A))%2C%20mo.md(%22%23%23%20hmm...%22).left()%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Orthonormal%20Vectors%22%3A%5Bmo.md(to_latex(Q_A.astype(%22int64%22)))%2C%20mo.md(%22%23%23%20Perfect.%22).left()%5D%7D%0A%0A%20%20%20%20radio%20%3D%20mo.ui.radio(options%3Dmatrices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22Original%20Vectors%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%23%23%23%23%20**select%20the%20matrix**%22)%0A%20%20%20%20return%20(radio%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20radio%2C%20style_dict)%3A%0A%20%20%20%20mo.hstack(%5Bradio.center()%2C%20radio.value%5B0%5D.center()%2C%20radio.value%5B1%5D.left()%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%5B1%2C2%2C1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22center%22).style(style_dict)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20Q_A%2C%20mo%2C%20np%2C%20plt%2C%20style_dict_2)%3A%0A%20%20%20%20%23%20comparison%20plot%0A%0A%20%20%20%20%23%20Standard%20basis%20vectors%0A%20%20%20%20basis%20%3D%20np.eye(3)%0A%0A%20%20%20%20%23%20Apply%20transformations%0A%20%20%20%20_transformed_A%20%3D%20A%20%40%20basis%0A%20%20%20%20_transformed_Q%20%3D%20Q_A%20%40%20basis%0A%0A%20%20%20%20%23%20Create%20figure%20with%20adjusted%20layout%0A%20%20%20%20fig2%20%3D%20plt.figure(figsize%3D(14%2C%205))%0A%20%20%20%20fig2.suptitle('Matrix%20Transformation%20(A%20v%2Fs%20Q)'%2C%20y%3D1.05%2C%20fontsize%3D14)%0A%0A%20%20%20%20%23%20Plot%20for%20Original%20Matrix%20A%0A%20%20%20%20_ax1%20%3D%20fig2.add_subplot(121%2C%20projection%3D'3d')%0A%20%20%20%20_ax1.set_title(%22Original%20Matrix%20Transformation%20(A)%22%2C%20fontsize%3D12%2C%20pad%3D12)%0A%20%20%20%20_ax1.set_xlim(%5B0%2C%2010%5D)%0A%20%20%20%20_ax1.set_ylim(%5B-10%2C%200%5D)%0A%20%20%20%20_ax1.set_zlim(%5B0%2C%2010%5D)%0A%20%20%20%20arrows_A%20%3D%20_ax1.quiver(*np.zeros((3%2C%203))%2C%20*_transformed_A%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5B'r'%2C%20'g'%2C%20'b'%5D%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrow_length_ratio%3D0.12%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%5B'A%C2%B7i%20(1st%20column)'%2C%20'A%C2%B7j%20(2nd%20column)'%2C%20'A%C2%B7k%20(3rd%20column)'%5D)%0A%20%20%20%20_ax1.legend(handles%3D%5B%0A%20%20%20%20%20%20%20%20plt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20color%3D'r'%2C%20lw%3D2%2C%20label%3D'A%C2%B7i%20(1st%20col)')%2C%0A%20%20%20%20%20%20%20%20plt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20color%3D'g'%2C%20lw%3D2%2C%20label%3D'A%C2%B7j%20(2nd%20col)')%2C%20%0A%20%20%20%20%20%20%20%20plt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20color%3D'b'%2C%20lw%3D2%2C%20label%3D'A%C2%B7k%20(3rd%20col)')%0A%20%20%20%20%5D%2C%20loc%3D'upper%20left'%2C%20fontsize%3D9)%0A%20%20%20%20_ax1.set_box_aspect(%5B1%2C1%2C1%5D)%0A%20%20%20%20_ax1.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20_ax1.set_xlabel('X'%2C%20fontsize%3D9)%0A%20%20%20%20_ax1.set_ylabel('Y'%2C%20fontsize%3D9)%0A%20%20%20%20_ax1.set_zlabel('Z'%2C%20fontsize%3D9)%0A%0A%20%20%20%20%23%20Plot%20for%20Orthogonal%20Matrix%20Q%0A%20%20%20%20_ax2%20%3D%20fig2.add_subplot(122%2C%20projection%3D'3d')%0A%20%20%20%20_ax2.set_title(%22Orthogonal%20Component%20(Q)%22%2C%20fontsize%3D12%2C%20pad%3D12)%0A%20%20%20%20_ax2.set_xlim(%5B0%2C%201.5%5D)%0A%20%20%20%20_ax2.set_ylim(%5B-1.5%2C%200%5D)%0A%20%20%20%20_ax2.set_zlim(%5B0%2C%20-1.5%5D)%0A%20%20%20%20arrows_Q%20%3D%20_ax2.quiver(*np.zeros((3%2C%203))%2C%20*_transformed_Q%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5B'r'%2C%20'g'%2C%20'b'%5D%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrow_length_ratio%3D0.12%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%5B'Q%C2%B7i'%2C%20'Q%C2%B7j'%2C%20'Q%C2%B7k'%5D)%0A%20%20%20%20_ax2.legend(handles%3D%5B%0A%20%20%20%20%20%20%20%20plt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20color%3D'r'%2C%20lw%3D2%2C%20label%3D'Q%C2%B7i%20(1st%20col)')%2C%0A%20%20%20%20%20%20%20%20plt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20color%3D'g'%2C%20lw%3D2%2C%20label%3D'Q%C2%B7j%20(2nd%20col)')%2C%20%0A%20%20%20%20%20%20%20%20plt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20color%3D'b'%2C%20lw%3D2%2C%20label%3D'Q%C2%B7k%20(3rd%20col)')%0A%20%20%20%20%5D%2C%20loc%3D'upper%20left'%2C%20fontsize%3D9)%0A%20%20%20%20_ax2.set_box_aspect(%5B1%2C1%2C1%5D)%0A%20%20%20%20_ax2.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20_ax2.set_xlabel('X'%2C%20fontsize%3D9)%0A%20%20%20%20_ax2.set_ylabel('Y'%2C%20fontsize%3D9)%0A%20%20%20%20_ax2.set_zlabel('Z'%2C%20fontsize%3D9)%0A%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20mo.accordion(%7B%22want%20a%20BETTER%20intuition%20of%20this%2C%20click%20here...%22%3Afig2%7D).style(style_dict_2)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%3Cbr%3E%0A%20%20%20%20%23%23%20**QR%20Decomposition%20via%20the%20Gram%E2%80%93Schmidt%20Process**%0A%20%20%20%20---%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20style_dict_3)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20**From%20a%20Broader%20Perspective%2C**%0A%0A%20%20%20%20%23%23%23%23%23%20**The%20Gram%E2%80%93Schmidt%20process%20doesn%E2%80%99t%20just%20give%20us%20the%20orthonormal%20basis%2C%20it%20naturally%20leads%20to%20the%20bigger%20picture%2C**%0A%0A%20%20%20%20%23%23%23%23%23%20**_QR%20Decomposition_%2C%20a%20proficient%20way%20to%20represent%20%60matrix%20A%60%20in%20the%20form%20of%20Orthogonality%20%26%20Upper-Triangularity...**%0A%0A%20%20%20%20%23%23%23%23%23%20**This%20powerful%20decomposition%20technique%20is%20computationaly%20practical%2C%20helping%20us%20solve%20linear%20system%20%26%20least%20squares%20problems%2C%20and%20many%20ML%20algorithms...**%0A%0A%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_3)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20**You%20can%20learn%20more%20about%20QR%20Decomposition%20%5Bhere%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FQR_decomposition%23%3A~%3Atext%3DIn%2520linear%2520algebra%252C%2520a%2520QR%2Cis%2520the%2520basis%2520for%2520a).**%0A%0A%20%20%20%20%3Cbr%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20style_dict_2)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%23%20**A%20simple%20understanding%20of%20its%20working%20is%20written%20here%2C**%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%23%23%23%20The%20matrix%20%5C(%20A%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn%20%5Ctimes%20k%7D%20%5C)%20can%20be%20decomposed%20and%20be%20represented%20in%20other%20form%2C%20i.e.%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20A%20%3D%20QR%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20_where%2C_%0A%0A%20%20%20%20-%20%23%23%23%23%23%20%5C(%20Q%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn%20%5Ctimes%20k%7D%20%5C)%20contains%20**orthonormal%20columns**%20derived%20from%20%5C(%20A%20%5C)%2C%0A%20%20%20%20-%20%23%23%23%23%23%20%5C(%20R%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bk%20%5Ctimes%20k%7D%20%5C)%20is%20an%20**upper%20triangular%20matrix**%20that%20stores%3A%0A%0A%20%20%20%20%20%20%20%201.%20The%20**projection%20coefficients**%20used%20to%20subtract%20previous%20directions%20(above%20the%20diagonal)%2C%20and%0A%20%20%20%20%20%20%20%202.%20The%20**norms**%20used%20to%20normalize%20each%20orthogonalized%20vector%20(on%20the%20diagonal).%0A%0A%20%20%20%20Each%20vector%20of%20%5C(%20A%20%5C)%20is%20processed%20by%20removing%20its%20projections%20onto%20all%20previously%20computed%20orthonormal%20vectors%20and%20then%20normalized%20to%20form%20the%20columns%20of%20%5C(%20Q%20%5C).%20These%20coefficients%20naturally%20fill%20the%20entries%20of%20%5C(%20R%20%5C)%2C%20making%20it%20an%20upper%20triangular%20matrix.%0A%0A%20%20%20%20%23%23%23%23%23%20**So%20the%20full%20decomposition%20is%3A**%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20A%20%3D%20%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%7C%20%26%20%7C%20%26%20%20%20%20%20%20%20%20%26%20%7C%20%5C%5C%0A%20%20%20%20%5Cvec%7Bv%7D_1%20%26%20%5Cvec%7Bv%7D_2%20%26%20%5Ccdots%20%26%20%5Cvec%7Bv%7D_k%20%5C%5C%0A%20%20%20%20%7C%20%26%20%7C%20%26%20%20%20%20%20%20%20%20%26%20%7C%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%3D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%7C%20%26%20%7C%20%26%20%20%20%20%20%20%20%20%26%20%7C%20%5C%5C%0A%20%20%20%20%5Cvec%7Bw%7D_1%20%26%20%5Cvec%7Bw%7D_2%20%26%20%5Ccdots%20%26%20%5Cvec%7Bw%7D_k%20%5C%5C%0A%20%20%20%20%7C%20%26%20%7C%20%26%20%20%20%20%20%20%20%20%26%20%7C%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20r_%7B11%7D%20%26%20r_%7B12%7D%20%26%20%5Ccdots%20%26%20r_%7B1k%7D%20%5C%5C%0A%20%20%20%200%20%26%20r_%7B22%7D%20%26%20%5Ccdots%20%26%20r_%7B2k%7D%20%5C%5C%0A%20%20%20%20%5Cvdots%20%26%20%5Cddots%20%26%20%5Cddots%20%26%20%5Cvdots%20%5C%5C%0A%20%20%20%200%20%26%20%5Ccdots%20%26%200%20%26%20r_%7Bkk%7D%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5C%5D%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_2)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np)%3A%0A%0A%20%20%20%20def%20gs_QR_Decomposition(X%3Anp.ndarray)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20An%20updated%20version%20of%20the%20above%20one%2C%20performing%20QR%20Decomposition%20using%20the%20Gram-Schmidt%20orthogonalization%20process%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20set%20of%20linearly%20independent%20vectors%20stored%20in%20columns%20in%20the%20array%20X.%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20Q%3A%20matrix%20carrying%20orthonormal%20vectors%0A%20%20%20%20%20%20%20%20%20%20%20%20R%3A%20matrix%20having%20projection%20coefficients%20of%20orthonormal%20vectors%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Q%20%3D%20np.copy(X).astype(%22float64%22)%0A%20%20%20%20%20%20%20%20R%20%3D%20np.zeros(X.shape).astype(%22float64%22)%0A%20%20%20%20%20%20%20%20n_vecs%20%3D%20X.shape%5B1%5D%0A%20%20%20%20%20%20%20%20length%20%3D%20lambda%20x%3A%20np.linalg.norm(x)%0A%0A%20%20%20%20%20%20%20%20for%20nth_vec%20in%20range(n_vecs)%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20k_proj%20in%20range(nth_vec)%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20dot%20product%20would%20be%20the%20scaler%20coefficient%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scaler%20%3D%20Q%5B%3A%2Cnth_vec%5D%20%40%20Q%5B%3A%2Ck_proj%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20projection%20%3D%20scaler%20*%20Q%5B%3A%2Ck_proj%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Q%5B%3A%2Cnth_vec%5D%20-%3D%20projection%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20removing%20the%20Kth%20projection%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20R%5Bk_proj%2Cnth_vec%5D%20%3D%20scaler%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20putting%20the%20scaler%20coeff.%20in%20R%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20norm%20%3D%20length(Q%5B%3A%2Cnth_vec%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20handling%20the%20case%20if%20the%20loop%20encounters%20linearly%20dependent%20vectors.%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Since%2C%20they%20come%20already%20under%20the%20span%20of%20vector%20space%2C%20hence%20their%20value%20will%20be%200.%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.isclose(norm%2C0%2C%20rtol%3D1e-15%2C%20atol%3D1e-14%2C%20equal_nan%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Q%5B%3A%2Cnth_vec%5D%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20making%20orthogonal%20vectors%20-%3E%20orthonormal%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Q%5B%3A%2Cnth_vec%5D%20%3D%20Q%5B%3A%2Cnth_vec%5D%20%2F%20norm%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20norm%20will%20be%20the%20scaler%20coeff%20of%20the%20first%20projection%2C%20(can%20be%20proved%20through%20system%20equations)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20R%5Bnth_vec%2Cnth_vec%5D%20%3D%20norm%0A%0A%20%20%20%20%20%20%20%20return%20(Q%2CR)%0A%0A%20%20%20%20mo.show_code()%0A%20%20%20%20return%20(gs_QR_Decomposition%2C)%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20gs_QR_Decomposition%2C%20mo)%3A%0A%20%20%20%20QA%2C%20RA%20%3D%20gs_QR_Decomposition(A)%0A%20%20%20%20mo.show_code()%0A%20%20%20%20return%20QA%2C%20RA%0A%0A%0A%40app.function%0Adef%20to_latex(A)%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20rendering%20the%20matrix%20into%20LaTEX%20code.%0A%20%20%20%20%22%22%22%0A%20%20%20%20rows%20%3D%20%5B%22%20%26%20%22.join(map(str%2C%20row))%20for%20row%20in%20A%5D%0A%20%20%20%20mat%20%3D%20r%22%5Cbegin%7Bbmatrix%7D%22%20%2B%20r%22%20%5C%5C%22.join(rows)%20%2B%20r%22%5Cend%7Bbmatrix%7D%22%0A%20%20%20%20return%20r%22%5C%5B%22%20%2B%20mat%20%2B%20r%22%5C%5D%22%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20QA%2C%20RA%2C%20mo%2C%20style_dict)%3A%0A%20%20%20%20_v1_stack%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%23%20**Original%20Vectors%20(A)**%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(to_latex(A))%0A%20%20%20%20%5D%2C%20align%3D%22center%22)%0A%0A%20%20%20%20_v2_stack%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%23%20**Orthonormal%20(Q)**%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(to_latex(QA.astype(%22int64%22)))%0A%20%20%20%20%5D%2Calign%3D%22center%22)%0A%0A%20%20%20%20_v3_stack%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%23%20**Upper%20Triangular%20(R)**%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(to_latex(RA.astype(%22int64%22)))%0A%20%20%20%20%5D%2Calign%3D%22center%22)%0A%0A%0A%20%20%20%20stack%20%3D%20mo.hstack(%5B_v1_stack%2Cmo.md(%22%23%23%20**QR%20Decomposition**%20%E2%9E%A1%EF%B8%8F%22).center()%2C%20_v2_stack%2C%20_v3_stack%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22center%22%2Cgap%3D0%2C%20widths%3D%5B0.3%2C0.5%2C0.20%2C0.30%5D).style(style_dict)%0A%0A%20%20%20%20stack%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20style_dict)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%3Cbr%3E%0A%20%20%20%20**Since%2C%20the%20necessary%20matrices%20are%20produced.%20Let's%20check%20whether%20their%20dot%20product%20i.e.%20%60QA%20%40%20RA%60%20found%20similar%20to%20matrix%20A.**%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20QA%2C%20RA%2C%20mo%2C%20np)%3A%0A%20%20%20%20true_similarity%20%3D%20np.allclose(A%2C%20QA%20%40%20RA)%0A%20%20%20%20mo.show_code(true_similarity%2Cposition%3D%22above%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20QA%2C%20RA%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20orientation%20plot%0A%0A%20%20%20%20phi%20%3D%20np.linspace(0%2C%20np.pi%2C%2080)%0A%20%20%20%20theta%20%3D%20np.linspace(0%2C%202*np.pi%2C%2080)%0A%20%20%20%20x%20%3D%20np.outer(np.sin(phi)%2C%20np.cos(theta))%0A%20%20%20%20y%20%3D%20np.outer(np.sin(phi)%2C%20np.sin(theta))%0A%20%20%20%20z%20%3D%20np.outer(np.cos(phi)%2C%20np.ones_like(theta))%0A%0A%20%20%20%20sphere_points%20%3D%20np.vstack((x.flatten()%2C%20y.flatten()%2C%20z.flatten()))%0A%0A%20%20%20%20%23%20Apply%20transformations%0A%0A%20%20%20%20transformed_A%20%3D%20A%20%40%20sphere_points%0A%20%20%20%20transformed_Q%20%3D%20QA%20%40%20sphere_points%0A%20%20%20%20transformed_R%20%3D%20RA%20%40%20sphere_points%0A%0A%20%20%20%20%23%20Plot%0A%20%20%20%20fig%20%3D%20plt.figure(figsize%3D(9.5%2C%205))%20%20%23%20Smaller%20plots%0A%20%20%20%20fig.suptitle(%22Orientation%20Figures%20of%20the%20Transformations%22)%0A%20%20%20%20%23%20A%3A%20Full%20Transformation%0A%20%20%20%20ax1%20%3D%20fig.add_subplot(131%2C%20projection%3D'3d')%0A%20%20%20%20ax1.plot_surface(%0A%20%20%20%20%20%20%20%20transformed_A%5B0%5D.reshape(x.shape)%2C%0A%20%20%20%20%20%20%20%20transformed_A%5B1%5D.reshape(y.shape)%2C%0A%20%20%20%20%20%20%20%20transformed_A%5B2%5D.reshape(z.shape)%2C%0A%20%20%20%20%20%20%20%20color%3D'red'%2C%20alpha%3D0.6%0A%20%20%20%20)%0A%20%20%20%20ax1.set_title(%22A%3A%20Original%22%2Cfontsize%3D10)%0A%20%20%20%20ax1.set_box_aspect(%5B1%2C1%2C1%5D)%0A%0A%20%20%20%20%23%20Q%3A%20Rotation%20Only%0A%20%20%20%20ax2%20%3D%20fig.add_subplot(132%2C%20projection%3D'3d')%0A%20%20%20%20ax2.plot_surface(%0A%20%20%20%20%20%20%20%20transformed_Q%5B0%5D.reshape(x.shape)%2C%0A%20%20%20%20%20%20%20%20transformed_Q%5B1%5D.reshape(y.shape)%2C%0A%20%20%20%20%20%20%20%20transformed_Q%5B2%5D.reshape(z.shape)%2C%0A%20%20%20%20%20%20%20%20color%3D'blue'%2C%20alpha%3D0.6%0A%20%20%20%20)%0A%20%20%20%20ax2.set_title(%22Q%3A%20Rotation%20Only%22%2Cfontsize%3D10)%0A%20%20%20%20ax2.set_box_aspect(%5B1%2C1%2C1%5D)%0A%0A%20%20%20%20%23%20R%3A%20Stretch%20and%20Skew%0A%20%20%20%20ax3%20%3D%20fig.add_subplot(133%2C%20projection%3D'3d')%0A%20%20%20%20ax3.plot_surface(%0A%20%20%20%20%20%20%20%20transformed_R%5B0%5D.reshape(x.shape)%2C%0A%20%20%20%20%20%20%20%20transformed_R%5B1%5D.reshape(y.shape)%2C%0A%20%20%20%20%20%20%20%20transformed_R%5B2%5D.reshape(z.shape)%2C%0A%20%20%20%20%20%20%20%20color%3D'green'%2C%20alpha%3D0.6%0A%20%20%20%20)%0A%20%20%20%20ax3.set_title(%22R%3A%20Stretch%2FSkew%22%2Cfontsize%3D10)%0A%20%20%20%20ax3.set_box_aspect(%5B1%2C1%2C1%5D)%0A%0A%0A%20%20%20%20return%20(fig%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig%2C%20mo%2C%20style_dict%2C%20style_dict_2)%3A%0A%20%20%20%20%23%20description%0A%20%20%20%20orientation_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%3Cbr%3E%0A%20%20%20%20%23%23%20**Orientation%20Figures%20from%20QR%20Decomposition**%0A%20%20%20%20---%0A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%0A%20%20%20%20desc_md%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%23%23%20**The%20original%20%60matrix%20(A)%60%20gets%20transformed%20into%20decomposed%20matrices%20i.e.%20%60Q%60%20%26%20%60R%60.%20The%20orientation%20of%20originality%20changes%20such%20that%20it%20preserves%20some%20of%20the%20properties.%20Here's%20the%20detailed%20explanation...**%0A%20%20%20%20%22%22%22).style(style_dict)%0A%0A%20%20%20%20%23%20interactive%20plot%0A%20%20%20%20plot%20%3D%20mo.mpl.interactive(fig).callout()%0A%0A%0A%20%20%20%20%23%20notice%0A%20%20%20%20sidenote%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22**NOTE%3A**%20The%20scale%20is%20relative%20here%20to%20the%20transformation%20(_not%20absolute_)%2C%20but%20the%20equation%20is%20consistent.%22%22%22%0A%20%20%20%20).style(%7B%22color%22%3A%20%22blue%22%7D)%0A%0A%0A%20%20%20%20%23%20creating%20bullet%20points%20for%20interpretation%0A%20%20%20%20first_%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20**The%20Original%20%F0%9F%94%B4**%0A%0A%20%20%20%20%23%23%23%23%23%20**The%20red%20ellipsoid%20shape%20here%20illustrates%20the%20orientation%20of%20%60matrix%20A%60%2C%20looking%20stretched%20and%20reflecting%20how%20vectors%20are%20distributed%20in%20space.**%0A%20%20%20%20%22%22%22).style(style_dict_2).center()%0A%0A%20%20%20%20second_%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20**The%20Pure%20Rotation%20%F0%9F%94%B5**%0A%0A%20%20%20%20%23%23%23%23%23%20**After%20extracting%20the%20orthogonal%20component%20Q%2C%20the%20transformation%20becomes%20a%20pure%20rotation.%20This%20preserves%20lengths%20and%20angles%2C%20so%20the%20shape%20turns%20into%20a%20perfect%20unit%20sphere%20%E2%80%94%20showing%20that%20the%20vectors%20are%20now%20absolutely%20orthogonal%20without%20any%20stretching%20in%20any%20direction.**%0A%20%20%20%20%22%22%22).style(style_dict_2).center()%0A%0A%20%20%20%20third_%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20**The%20Upper%20Triangular%20%F0%9F%9F%A2**%0A%0A%20%20%20%20%23%23%23%23%23%20**Even%20visually%2C%20matrix%20R%20being%20filled%20with%20values%20only%20in%20upper%20triangular%20proportion%2C%20the%20orientation%20will%20be%20skewed%2Fstretched%20to%20a%20certain%20axis%2C%20containing%20all%20those%20vector%20coefficients.**%0A%20%20%20%20%22%22%22).style(style_dict_2).center()%0A%0A%20%20%20%20bullet_pts%20%3D%20mo.hstack(%5Bfirst_%2Csecond_%2Cthird_%5D%2C%20align%3D%22stretch%22).center()%0A%0A%20%20%20%20%23%20stacking%0A%20%20%20%20mo.vstack(%5Borientation_md%2C%20desc_md%2C%20sidenote%2C%20plot%2Cbullet_pts%5D).center()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%3Cwbr%3E%0A%20%20%20%20%23%23%20**Citation%20%26%20Acknowledgements**%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%20**This%20project%20is%20undertaken%20through%20many%20resources%2C%20the%20topmost%20resources%20I%20learnt%20from%2C**%0A%0A%20%20%20%20-%20%23%23%23%23%23%20%5B**Wikipedia**%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FGram%25E2%2580%2593Schmidt_process)%20%E2%80%93%20**for%20providing%20foundational%20definitions%20and%20mathematical%20references.**%0A%0A%20%20%20%20-%20%23%23%23%23%23%20%5B**DataCamp%20Article**%5D(https%3A%2F%2Fwww.datacamp.com%2Ftutorial%2Forthogonal-matrix)%20%E2%80%93%20**for%20providing%20informational%20article%20upon%20Orthogonality.**%0A%0A%20%20%20%20-%20%23%23%23%23%23%20%5B**MIT%20OpenCourseWare**%5D(https%3A%2F%2Focw.mit.edu%2Fcourses%2F18-06-linear-algebra-spring-2010%2Fresources%2Flecture-17-orthogonal-matrices-and-gram-schmidt%2F)%20%E2%80%93%20**for%20refurbishing%20the%20in-depth%20knowledge%20of%20Gram-Schmidt%20Process%2C%20taught%20by%20*Prof.%20Gilbert%20Strang*.**%0A%0A%20%20%20%20-%20%23%23%23%23%23%20%5B**Steve%20Brunton%20(*Amazing%20Guy*)**%5D(https%3A%2F%2Fwww.google.com%2Fsearch%3Fq%3Dsteve%2Bbrunton%26sca_esv%3D55a910f019e63594%26rlz%3D1C1GCEA_enIN1112IN1112%26sxsrf%3DAE3TifMoAjuMLl0MOCAV5lyl_Ga8KboiEg%253A1755118367776%26ei%3DH_ucaP-UL_Of4-EPrsmB8QY%26ved%3D0ahUKEwi_oOa21YiPAxXzzzgGHa5kIG4Q4dUDCBA%26uact%3D5%26oq%3Dsteve%2Bbrunton%26gs_lp%3DEgxnd3Mtd2l6LXNlcnAiDXN0ZXZlIGJydW50b24yBBAjGCcyCxAuGIAEGJECGIoFMgsQABiABBiRAhiKBTIKEAAYgAQYQxiKBTIFEAAYgAQyBRAAGIAEMgUQABiABDIFEAAYgAQyBRAAGIAEMgUQABiABEiZC1CRBljLCHABeACQAQCYAaoBoAGvAqoBAzAuMrgBA8gBAPgBAZgCA6ACwgLCAggQABiwAxjvBcICCxAAGIAEGLADGKIEwgIKEC4YgAQYQxiKBZgDAIgGAZAGBZIHAzEuMqAHuROyBwMwLjK4B7sCwgcDMi0zyAcP%26sclient%3Dgws-wiz-serp)%20%20%E2%80%93%20**for%20sparking%20the%20interest%2C%20this%20is%20from%20where%20I%20started%20this%20project.%20*He%20has%20a%20great%20interest%20in%20Physics%20Implementation%20of%20every%20engineering%20field.***%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%3Cwbr%3E%0A%20%20%20%20%23%23%20**And%20thanks%20for%20being%20here%2C**%0A%20%20%20%20---%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20style_dict_3)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%0A%0A%20%20%20%20%23%23%23%23%20**This%20was%20one%20of%20my%20dedicated%20project%20I%20worked%20upon%2C%20for%20showcasing%20the%20real%20life%20implementation%20of%20what%20I%20learnt.**%0A%0A%20%20%20%20%23%23%23%23%20**This%20notebook%2C%20is%20a%20part%20of%20bigger%20project%2C%20and%20you'll%20see%20other%20implementations%20of%20better%20algorithms%20that%20we%20deal%20today%20in%20every%20engineering%20field.%20And%2C%20how%20such%20orthogonalization%20techniques%20are%20combined%20with%20Bidiagonality%20%26%20QR%20Decomposition%20and%20how%20these%20are%20used%20in%20real-life%20applications.**%20%0A%0A%20%20%20%20%23%23%23%20**And%2C%20to%20be%20notified%20about%20those%20updates%2C%20you%20can%20%F0%9F%8C%9F%20this%20repo.**%0A%0A%20%20%20%20%22%22%22%0A%20%20%20%20).style(style_dict_3)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A