ilmu tak terbatas: metode kuadrat terkecil

Kuadrat terkecil

Metode kuadrat terkecil adalah suatu pendekatan standar untuk solusi perkiraan sistem overdetermined , set yaitu persamaan di mana terdapat persamaan lebih dari yang tidak diketahui. "Kotak Least" berarti bahwa solusi keseluruhan meminimalkan jumlah kuadrat dari kesalahan yang dibuat dalam menyelesaikan setiap persamaan tunggal.

Yang penting aplikasi terbanyak di data pas . Yang paling cocok dalam arti kuadrat-setidaknya meminimalkan jumlah kuadrat residual , sebuah sisa yaitu selisih antara nilai yang diamati dan nilai dilengkapi disediakan oleh model.

Kuadrat terkecil masalah jatuh ke dalam dua kategori: linier atau kuadrat terkecil biasa dan linear kuadrat terkecil non , tergantung pada apakah atau tidak residual yang linear di semua diketahui. Masalah kuadrat-terkecil linier terjadi pada statistik analisis regresi , tetapi memiliki bentuk-solusi tertutup. Masalah non-linear tidak memiliki solusi tertutup dan biasanya diselesaikan dengan perbaikan iteratif, setiap iterasi sistem didekati dengan satu linear, sehingga perhitungan inti sama pada kedua kasus.

The-metode kuadrat paling tidak pertama kali dideskripsikan oleh Carl Friedrich Gauss sekitar 1794. ^[1] kotak Least sesuai dengan maksimum likelihood kriteria jika kesalahan eksperimental memiliki distribusi normal dan juga bisa diturunkan sebagai metode saat estimator.

Pembahasan berikut ini sebagian besar disajikan dalam hal linear fungsi tetapi penggunaan kuadrat-terkecil adalah sah dan praktis untuk keluarga lebih umum fungsi. Sebagai contoh,seri Fourier aproksimasi n derajat yang optimal dalam arti-kuadrat paling tidak, di antara semua perkiraan dalam hal polinomial trigonometri n derajat. Selain itu, dengan iteratif menerapkan lokal pendekatan kuadratik untuk kemungkinan (melalui informasi Fisher ), yang-terkecil metode setidaknya dapat digunakan untuk cocok dengan model linier umum .

Konteks

Metode kuadrat terkecil tumbuh dari bidang astronomi dan geodesi sebagai ilmuwan dan matematikawan berusaha memberikan solusi terhadap tantangan navigasi samudera bumi selama Age Eksplorasi . Gambaran yang akurat dari perilaku benda langit adalah kunci yang memungkinkan kapal untuk berlayar di laut terbuka tempat sebelum para pelaut mengandalkan pada penampakan tanah untuk menentukan posisi kapal mereka.

Metode ini puncak dari beberapa kemajuan yang terjadi selama abad kedelapan belas ^[2] :

§ Kombinasi dari pengamatan berbeda yang diambil dalam kondisi yang sama bertentangan dengan hanya berusaha terbaik satu untuk mengamati dan merekam pengamatan tunggal akurat. Pendekatan ini terutama digunakan oleh Tobias Mayer saat mempelajari librations bulan.

§ Kombinasi dari pengamatan yang berbeda sebagai perkiraan terbaik dari nilai sebenarnya; kesalahan menurun dengan agregasi daripada meningkat, mungkin pertama kali diungkapkan oleh Roger Cotes .

§ Kombinasi dari pengamatan yang berbeda diambil pada kondisi yang berbeda terutama dilakukan oleh Roger Joseph Boscovich dalam karyanya pada bentuk bumi dan Pierre-Simon Laplace dalam karyanya dalam menjelaskan perbedaan dalam gerak Jupiter dan Saturnus .

§ Pengembangan kriteria yang dapat dievaluasi untuk menentukan kapan solusi dengan kesalahan minimum telah tercapai, yang dikembangkan oleh Laplace dalam Metode nya Least Squares.

[ sunting ]Metode

Description: http://upload.wikimedia.org/wikipedia/commons/thumb/3/33/Bendixen_-_Carl_Friedrich_Gau%C3%9F%2C_1828.jpg/220px-Bendixen_-_Carl_Friedrich_Gau%C3%9F%2C_1828.jpg

Carl Friedrich Gauss

Carl Friedrich Gauss dikreditkan dengan mengembangkan dasar-dasar-dasar untuk analisis kuadrat paling tidak pada tahun 1795 pada usia delapan belas tahun. Legendre adalah orang pertama yang mempublikasikan metode ini, namun.

Sebuah demonstrasi awal kekuatan's metode Gauss datang ketika itu digunakan untuk memprediksi lokasi masa depan yang baru ditemukan asteroid Ceres . Pada tanggal 1 Januari 1801, astronom Italia Giuseppe Piazzi ditemukan Ceres dan dapat melacak jalur untuk 40 hari sebelum hilang dalam cahaya matahari. Berdasarkan data ini, para astronom yang diinginkan untuk menentukan lokasi Ceres setelah muncul dari balik matahari tanpa menyelesaikan rumit persamaan nonlinear's Kepler gerak planet. Prediksi satunya yang berhasil diperbolehkan Hungaria astronom Franz Xaver von Zach untuk merelokasi Ceres adalah mereka yang dilakukan oleh tahun Gauss-24 dengan menggunakan analisis kuadrat terkecil.

Gauss tidak mempublikasikan metode sampai 1809, ketika muncul dalam volume dua karyanya pada mekanika langit, Theoria Motus Corporum Coelestium di ambientium solem conicis sectionibus. Pada 1822, Gauss mampu menyatakan bahwa kuadrat-terkecil pendekatan untuk analisis regresi adalah optimal dalam arti bahwa dalam model linier dimana kesalahan memiliki rata-rata nol, tidak berkorelasi, dan memiliki varian yang sama, estimator linier tidak bias terbaik koefisien adalah estimator kuadrat-terkecil. Hasil ini dikenal sebagai teorema Gauss-Markov .

Ide-kuadrat analisis setidaknya juga independen dirumuskan oleh Prancis Adrien-Marie Legendre pada tahun 1805 dan American Robert Adrain tahun 1808. Pada abad berikutnya pekerja dua teori kesalahan dan dalam statistik menemukan berbagai cara pelaksanaan kuadrat terkecil. ^[3] .

Permasalahan

Tujuan ini terdiri dari menyesuaikan parameter dari model fungsi paling cocok untuk kumpulan data. Satu set data sederhana terdiri dari poin n (pasang data) $Description: (X_i, y_i) \!$ , I = 1, ..., n,dimana $Description: x_i \!$ merupakan variabel independen dan $Description: y_i \!$ adalah variabel dependen yang nilainya ditemukan oleh observasi. Fungsi Model memiliki bentuk

f (x,

β),

dimana diatur m parameter tersebut diadakan di vektor $Description: \ Boldsymbol \ beta$ . Tujuannya adalah untuk menemukan nilai-nilai parameter untuk model yang "terbaik" cocok data. Metode kuadrat terkecil menemukan yang optimum ketika jumlah, S, dari residual kuadrat

$Description: S = \ sum_ {i = 1} ^ {n} {r_i} ^ 2$

minimum. Sebuah residu didefinisikan sebagai selisih antara nilai yang diprediksi oleh model dan nilai aktual dari variabel dependen

$Description: r_i = y_i-f (x_i, \ boldsymbol \ beta)$ .

Contoh dari model adalah bahwa dari garis lurus. Yang menunjukkan mencegat sebagai

β

0

dan lereng sebagai

β

1,

fungsi model diberikan oleh $Description: f (x, \ boldsymbol \ beta) = \ beta_0 + \ beta_1 x$ . Lihatkuadrat-terkecil linier untuk bekerja di luar contoh sepenuhnya dari model ini.

Sebuah titik data dapat terdiri dari lebih dari satu variabel independen. Sebagai contoh, ketika memasang pesawat untuk satu set pengukuran tinggi, pesawat itu merupakan fungsi dari dua variabel bebas, x dan z, mengatakan. Dalam kasus yang paling umum mungkin ada satu atau lebih variabel independen dan satu atau lebih variabel dependen pada setiap titik data.

Memecahkan masalah kuadrat terkecil

The minimum dari jumlah kuadrat ditemukan dengan mengeset gradien ke nol. Karena model yang berisi parameter m ada persamaan gradien m.

$Description: \ {\ Parsial S} frac {\ partial \ beta_j} = 2 \ sum_i r_i \ frac {\ partial r_i} {\ partial \ beta_j} = 0, \ j = 1, \ ldots, m$

dan sejak $Description: r_i = y_i-f (x_i, \ boldsymbol \ beta) \,$ gradien persamaan menjadi

$Description: -2 \ Sum_i \ frac {\ partial f (x_i, \ boldsymbol \ beta)} {\ partial \ beta_j} r_i = 0, \ j = 1, \ ldots, m$ .

Persamaan gradien berlaku untuk semua masalah kuadrat terkecil. Setiap masalah tertentu membutuhkan ekspresi khusus untuk model dan derivatif parsial nya.

[ sunting ]kuadrat terkecil Linear

Artikel utama: kuadrat terkecil Linear

Model regresi linier adalah salah satu saat model terdiri dari kombinasi linear dari parameter, yaitu

$Description: f (x_i, \ beta) = \ sum_ {j = 1} ^ {m} \ beta_j \ phi_j (x_ {i})$

dimana koefisien,

φ

j,

adalah fungsi dari

x

i.

Membiarkan

$Description: X_ {ij} = \ frac {\ partial f (x_i, \ boldsymbol \ beta)} {\ partial \ beta_j} = \ phi_j (x_ {i}). \,$

kita kemudian dapat melihat bahwa dalam kasus itu estimasi kuadrat terkecil (atau estimator, dalam konteks sampel acak), $Description: \ Boldsymbol \ beta$ diberikan oleh

$Description: \ Boldsymbol {\ hat \ beta} = (X ^ TX) ^ {-1} X ^ {T} \ boldsymbol y.$

Untuk penurunan perkiraan ini lihat kuadrat terkecil Linear .

[ sunting ]Analisis fungsional

Lihat juga: Fourier seri dan Generalized seri Fourier

Sebuah generalisasi untuk aproksimasi dari data set adalah pendekatan fungsi dengan sejumlah fungsi lainnya, biasanya sebuah set ortogonal : ^[4] ^[5]

$Description: f_n f (x) \ approx (x) = a_1 \ _1 phi (x) + a_2 \ phi _2 (x) + \ cdots + a_n _n \ phi (x), \$

dengan set fungsi { $Description: \ \ Phi _j (x)$ } Yang mengatur ortonormal selama interval bunga, mengatakan [a, b]. Koefisien { $Description: \ A_j$ } Yang dipilih untuk membuat besarnya perbedaan | | f - f _n | | ² sekecil mungkin. Sebagai contoh, besarnya, atau norma, dari fungsi g (x) selama interval [a, b] dapat didefinisikan oleh: ^[6]

$Description: \ | G \ | = \ left (\ int_a ^ bg * ^ (x) g (x) \, dx \ right) ^ {1 / 2}$

dimana '*' menunjukkan konjugasi kompleks dalam hal fungsi yang kompleks. ^[7] The { $Description: \ Phi_j (x) \$ } Memuaskan hubungan orthonormality : ^[8]

$Description: \ ^ Int_a * b \ phi _i ^ (x) \ phi _j (x) \, dx = \ delta_ {ij},$

dimana δ _ij adalah delta Kronecker . Mengganti fungsi f _n ke persamaan ini kemudian mengarah ke n-dimensi teorema Pythagoras : ^[9]

$Description: \ | F_n \ | ^ 2 = | a_1 | ^ 2 + | a_2 | ^ 2 + \ cdots + | a_n | ^ 2. \,$

Koefisien { $Description: \ A_j$ } Membuat | | f - f _n | | ² sekecil mungkin ditemukan adalah: ^[4]

$Description: a_j = \ ^ int_a b \ * ^ phi _j (x) f (x) \, dx.$

Generalisasi dari teorema Pythagoras dimensi-n untuk tak terbatas-dimensi nyata ruang hasil kali dalam dikenal sebagai Identitas Parseval atau's persamaan Parseval. ^[10] contoh khusus seperti representasi dari suatu fungsi adalah seri Fourier dan deret Fourier umum .

linear kuadrat terkecil-Non

Artikel utama: linear kuadrat terkecil-Non

Tidak ada solusi tertutup formulir ini untuk masalah non-linear kuadrat terkecil. Sebaliknya, algoritma numerik yang digunakan untuk mencari nilai

β

parameter yang meminimalkan tujuan. Kebanyakan algoritma melibatkan memilih nilai awal untuk parameter. Kemudian, parameter yang halus iteratif, yaitu nilai-nilai tersebut diperoleh dengan cara pendekatan berturut-turut.

$Description: {\ Beta_j} ^ {k +1} = {\ beta_j} ^ k + \ Delta \ beta_j$

k adalah jumlah iterasi dan vektor kenaikan, $Description: \ Delta \ beta_j \,$ dikenal sebagai vektor pergeseran. Dalam beberapa digunakan algoritma umum, pada iterasi masing-masing model tersebut dapat linierisasi dengan pendekatan ke orde pertama deret Taylor perluasan tentang $Description: \ Boldsymbol \ beta ^ k \!$

$Description: \ Begin {align} f (x_i, \ boldsymbol \ beta) & = f ^ k (x_i, \ boldsymbol \ beta) + \ sum_j \ frac {\ partial f (x_i, \ boldsymbol \ beta)} {\ partial \ beta_j } \ left (\ beta_j-{\ beta_j} k ^ \ right) \ \ & = f ^ k (x_i, \ boldsymbol \ beta) + \ J_ sum_j {ij} \ Delta \ beta_j. \ End {align}$

The Jacobian , J, merupakan fungsi dari konstanta, variabel independen dan parameter, sehingga perubahan dari satu iterasi ke yang berikutnya. The residual diberikan oleh

$Description: r_i = y_i-f ^ k (x_i, \ boldsymbol \ beta) - \ sum_ {j = 1} ^ {m} J_ {ij} \ Delta \ beta_j = \ Delta y_i-\ sum_ {m ^ {j = 1} J_} {ij} \ Delta \ beta_j$ .

Untuk meminimalkan jumlah kuadrat dari

r

i,

persamaan gradien diatur ke nol dan diselesaikan untuk $Description: \ Delta \ beta_j \!$

$Description: -2 \ Sum_ {i = 1} ^ {n} J_ {ij} \ left (\ Delta y_i-\ sum_ {j = 1} ^ {m} J_ {ij} \ Delta \ beta_j \ right) = 0$

yang, pada penataan ulang, menjadi m persamaan linier simultan, persamaan normal.

$Description: \ Sum_ {i = 1} ^ {n} \ sum_ {k = 1} ^ {m} J_ {ij} J_ {ik} \ Delta \ beta_k = \ sum_ {i = 1} ^ {n} J_ {ij} \ Delta y_i \ qquad (j = 1, \ ldots, m) \,$

Persamaan normal ditulis dalam notasi matriks sebagai

$Description: \ Mathbf {\ left (J ^ TJ \ right) \ Delta \ boldsymbol \ beta = J T ^ \ Delta y}. \,$

Ini adalah persamaan mendefinisikan dari algoritma Gauss-Newton .

[ sunting ]Perbedaan antara non-linear kuadrat terkecil dan linier

§ Fungsi model, f, di LLSQ (kuadrat terkecil linier) adalah kombinasi linear dari parameter bentuk $Description: f = X_ {i1} \ beta_1 + X_ {i2} \ beta_2 + \ cdots$ Model ini mungkin merupakan garis lurus, parabola atau kombinasi linier fungsi lainnya. Dalam NLLSQ (linear kuadrat terkecil non) muncul sebagai parameter fungsi, seperti

β

2,

e

β

x

dan sebagainya. Jika derivatif $Description: \ Partial f / \ parsial \ beta_j$ baik konstan atau tergantung hanya pada nilai-nilai dari variabel independen, model linear pada parameter. Jika model non-linear.

§ Algoritma untuk mencari solusi untuk masalah NLLSQ memerlukan nilai awal untuk parameter, LLSQ tidak.

§ Seperti LLSQ, solusi algoritma untuk NLLSQ sering mengharuskan Jacobian dihitung. ekspresi analisi derivatif parsial dapat menjadi rumit. Jika ekspresi analitis tidak mungkin untuk mendapatkan baik derivatif parsial harus dihitung dengan pendekatan numerik atau estimasi harus dibuat dari Jacobian.

§ Dalam konvergensi NLLSQ non-(kegagalan algoritma untuk mencari minimum) adalah fenomena umum sedangkan LLSQ secara global cekung sehingga non-konvergensi tidak menjadi masalah.

§ NLLSQ biasanya merupakan proses berulang-ulang. Proses iterasi harus dihentikan bila kriteria konvergensi puas. solusi LLSQ dapat dihitung dengan menggunakan metode langsung, meskipun masalah dengan sejumlah besar parameter biasanya diselesaikan dengan metode iteratif, seperti Gauss-Seidel metode.

§ Dalam LLSQ solusinya adalah unik, tetapi dalam NLLSQ mungkin ada beberapa minimum dalam jumlah kuadrat.

§ Dalam kondisi bahwa kesalahan yang tidak berkorelasi dengan variabel prediktor, LLSQ hasil estimasi tidak bias, tetapi bahkan di bawah kondisi NLLSQ perkiraan umumnya bias.

Perbedaan-perbedaan ini harus diperhatikan jika solusi untuk masalah kotak non-linear setidaknya sedang dicari.

kuadrat terkecil, analisis regresi dan statistik

Metode kuadrat terkecil dan analisis regresi secara konseptual berbeda. Namun, metode kuadrat terkecil sering digunakan untuk menghasilkan estimator dan statistik lainnya dalam analisis regresi.

Perhatikan contoh sederhana yang ditarik dari fisika. musim semi A harus mematuhi 's hukum Hooke yang menyatakan bahwa perpanjangan pegas sebanding dengan gaya, F,diterapkan untuk itu.

$Description: f (F_i, k) = kF_i \!$

merupakan model, dimana F adalah variabel independen. Untuk memperkirakan gaya konstan , k, serangkaian pengukuran n dengan kekuatan yang berbeda akan menghasilkan satu set data, $Description: (F_i, y_i), i = 1, n \!$ , Dimana _i y adalah ekstensi musim semi diukur. Setiap pengamatan eksperimental akan mengandung beberapa error. Jika kita menyatakan kesalahan ini $Description: \ Varepsilon$ , Kami dapat menetapkan model empiris pengamatan kami,

$Description: y_i = kF_i + \ varepsilon_i. \,$

Ada banyak metode yang mungkin kita gunakan untuk memperkirakan k parameter yang tidak diketahui. Memperhatikan bahwa persamaan n dalam variabel m di data kami terdiri dari sebuah sistem overdetermined dengan satu tidak diketahui dan persamaan n, kita dapat memilih untuk memperkirakan k menggunakan kuadrat terkecil. Jumlah kuadrat harus diminimalkan adalah

$Description: S = \ sum_ {i = 1} ^ {n} \ left (y_i - kF_i \ right) ^ 2.$

The kuadrat terkecil perkiraan gaya konstan, k, diberikan oleh

$Description: \ K topi = \ frac {\ sum_i F_i y_i} {\ sum_i F_i} {^ 2}.$

Disini diasumsikan bahwa aplikasi gaya menyebabkan musim semi untuk memperluas dan, setelah diturunkan gaya konstan least squares fitting, ekstensi dapat diprediksi dari itu hukum Hooke.

Dalam analisis regresi peneliti menentukan model empiris. Sebagai contoh, sebuah model yang sangat umum adalah model garis lurus yang digunakan untuk menguji apakah ada hubungan linier antara variabel dependen dan independen. Jika hubungan linear ditemukan ada, variabel dikatakan berkorelasi . Namun, tidak membuktikan hubungan sebab-akibat, karena kedua variabel mungkin berkorelasi dengan yang lain, tersembunyi, variabel, atau variabel dependen dapat "membalikkan" menyebabkan variabel independen, atau mungkin variabel dinyatakan palsu berkorelasi. Misalnya, ada hubungan antara kematian karena tenggelam dan volume penjualan es krim di sebuah pantai tertentu. Namun, baik jumlah orang pergi berenang dan peningkatan volume penjualan es krim dengan cuaca yang semakin panas, dan mungkin jumlah kematian karena tenggelam berkorelasi dengan jumlah orang pergi berenang. Mungkin peningkatan perenang menyebabkan kedua variabel lain untuk meningkatkan.

Dalam rangka untuk membuat uji statistik pada hasil perlu membuat asumsi tentang sifat kesalahan eksperimental. Sebuah asumsi (tetapi tidak diperlukan) umum adalah bahwa kesalahan milik sebuah distribusi Normal . The teorema limit sentral mendukung gagasan bahwa ini adalah pendekatan yang baik dalam banyak kasus.

§ The Teorema Gauss-Markov . Dalam model linier di mana kesalahan telah ekspektasi nol tergantung pada variabel independen, adalah tidak berkorelasi dan sama varians , yang terbaik linier tidak bias estimator kombinasi linear dari pengamatan, adalah estimator yang kuadrat-terkecil. "Terbaik" berarti bahwa penduga kuadrat terkecil dari parameter memiliki varians minimum. Asumsi variance yang sama berlaku ketika kesalahan semua milik distribusi yang sama.

§ Dalam model linier, jika kesalahan milik sebuah distribusi Normal kotak paling penduga juga merupakan estimator maksimum likelihood .

Namun, jika kesalahan biasanya tidak didistribusikan, sebuah teorema limit sentral sering tetap menunjukkan bahwa estimasi parameter akan sekitar terdistribusi normal selama sampel cukup besar. Untuk alasan ini, mengingat sifat penting bahwa kesalahan berarti independen dari variabel independen, distribusi istilah kesalahan bukan merupakan masalah penting dalam analisis regresi. Secara khusus, tidak biasanya penting apakah istilah error mengikuti distribusi normal.

Dalam perhitungan kuadrat terkecil dengan berat unit, atau dalam regresi linier, varians pada parameter ke-j, dinotasikan $Description: \ Text {var} (\ hat {\ beta} _j)$ , Biasanya diperkirakan dengan

$Description: \ Text {var} (\ hat {\ beta} _j) = \ sigma ^ 2 \ left (\ left [X ^ TX \ right] ^ {-1} \ right) _ {Biaya} \ approx \ frac {S} {nm} \ left (\ left [X ^ TX \ right] ^ {-1} \ right) _ {jj},$

dimana sisa varians σ benar ² digantikan oleh perkiraan berdasarkan nilai diminimalkan dari jumlah kuadrat S fungsi objektif.

batas Keyakinan dapat ditemukan jika distribusi probabilitas dari parameter diketahui, atau pendekatan asimtotik dibuat, atau diasumsikan. Demikian pula uji statistik pada residu dapat dibuat jika distribusi probabilitas dari residu diketahui atau diasumsikan. Distribusi probabilitas dari setiap kombinasi linier dari variabel dependen dapat diturunkan jika distribusi probabilitas kesalahan eksperimental diketahui atau diasumsikan. Inferensi sangat mudah jika kesalahan diasumsikan mengikuti distribusi normal, yang menyiratkan bahwa estimasi parameter dan residu juga akan terdistribusi secara normal tergantung pada nilai variabel independen.

[ sunting ]kuadrat terkecil tertimbang

Lihat juga: Tertimbang berarti

Ekspresi yang diberikan di atas didasarkan pada asumsi implisit bahwa kesalahan yang tidak berkorelasi satu sama lain dan dengan variabel independen dan memiliki varians yang sama. The Teorema Gauss-Markov menunjukkan bahwa, saat ini begitu, $Description: \ Hat \ boldsymbol \ beta$ adalah estimator linier tidak bias terbaik (BLUE). Namun, jika pengukuran tidak berkorelasi tetapi memiliki ketidakpastian yang berbeda, pendekatan yang dimodifikasi mungkin diadopsi. Aitken menunjukkan bahwa ketika jumlah residu kuadrat tertimbang diminimalkan, $Description: \ Hat \ boldsymbol \ beta$ adalah BLUE jika berat masing-masing adalah sama dengan timbal balik dari varians pengukuran.

$Description: S = \ sum_ {i = 1} ^ {n} W_ {ii} {r_i} ^ 2, \ qquad W_ {ii} = \ frac {1} {{\ sigma_i} ^ 2}$

Persamaan gradien untuk jumlah kuadrat adalah

$Description: -2 \ Sum_i W_ {ii} \ frac {\ partial f (x_i, \ boldsymbol \ beta)} {\ partial \ beta_j} r_i = 0, \ j qquad = 1, \ ldots, n$

yang, dalam sistem linier kuadrat paling tidak memberikan persamaan normal dimodifikasi,

$Description: \ Sum_ {i = 1} ^ {n} \ sum_ {k = 1} ^ {m} X_ {ij} W_ {ii} X_ {ik} \ hat \ beta_k = \ sum_ {i = 1} ^ {n} X_ {ij} W_ {ii} y_i, \ qquad j = 1, \ ldots, m \,.$

Ketika kesalahan pengamatan tidak berkorelasi dan berat matriks, W, diagonal, ini dapat ditulis sebagai

$Description: \ Mathbf {\ left (X ^ Twx \ right) \ hat \ boldsymbol \ beta = X ^ TWy}.$

Jika kesalahan yang berkorelasi, estimator yang dihasilkan adalah BLUE jika berat matriks sama dengan kebalikan dari matriks kovariansi-varian dari pengamatan.

Ketika kesalahan yang tidak berkorelasi, akan lebih mudah untuk menyederhanakan perhitungan faktor berat matriks sebagai $Description: w_ {ii} = \ sqrt {W_ ii}$ . Persamaan normal maka dapat ditulis sebagai

$Description: \ Mathbf {\ left ('^ TX' X \ right) \ hat \ boldsymbol \ beta = 'Ty ^' X} \,$

mana

$Description: \ Mathbf {X '} = \ mathbf {wx}, \ mathbf {y'} = \ mathbf {wy}. \,$

Untuk sistem non-linear kuadrat terkecil argumen yang sama menunjukkan bahwa persamaan normal harus diubah sebagai berikut.

$Description: \ Mathbf {\ left (J ^ TWJ \ right) \ boldsymbol \ Delta \ beta = ^ J TW \ boldsymbol \ Delta y}. \,$

Perhatikan bahwa untuk tes empiris, W yang tepat tidak diketahui pasti dan harus diperkirakan. Untuk ini Kuadrat Terkecil Generalized Layak (FGLS) teknik dapat digunakan.

Hubungan dengan komponen utama

Yang pertama komponen utama terhadap mean dari satu set poin yang dapat diwakili oleh garis yang paling mendekati titik data (diukur dengan jarak kuadrat pendekatan terdekat, yaitu tegak lurus terhadap baris). Sebaliknya, kuadrat terkecil linier mencoba untuk memperkecil jarak dalam arah

y

saja. Jadi, meskipun menggunakan dua kesalahan yang sama metrik, kuadrat terkecil linier adalah metode yang memperlakukan satu dimensi dari data secara istimewa, sedangkan PCA memperlakukan semua dimensi yang sama.

[ sunting ]Metode Lasso

Dalam beberapa konteks sebuah regularized versi dari solusi kuadrat terkecil mungkin lebih disukai. The Lasso (penyusutan absolut setidaknya dan operator seleksi) algoritma, misalnya, menemukan solusi-kuadrat paling tidak dengan kendala bahwa

| β |

1,

L ^1-norma dari vektor parameter, tidak lebih besar dari nilai yang diberikan. Equivalently, mungkin memecahkan suatu minimisasi tak terbatas dari hukuman-kuadrat paling tidak dengan

α | β |

1

tambah, di mana

α

adalah konstanta (ini adalah Lagrangian ) masalah ini akan dapat diselesaikan dengan menggunakan formulir terkendala masalah. pemrograman kuadratik atau yang lebih umum cembung optimasi metode, serta dengan algoritma tertentu seperti sudut paling regresi algoritma. ^{1-regularized} formulasi L berguna dalam beberapa konteks karena kecenderungan untuk lebih memilih solusi dengan parameter nol nilai lebih sedikit, efektif mengurangi jumlah variabel atas mana solusi yang diberikan tergantung. ^[11] Untuk alasan ini, Lasso beserta variannya fundamental untuk bidang dikompresi penginderaan .

1. ^ Bretscher, Otto (1995), Linear. Aljabar Dengan Aplikasi 3rd ed.. Upper Saddle River NJ: Prentice Hall.

2. ^ Stigler, Stephen M. (1986):. The History of Statistik Pengukuran Ketidakpastian Sebelum 1900. Cambridge, MA: Belknap Press of Harvard University Press. ISBN 0674403401 .

3. ^ Lihat J. Aldrich (1998). "Melakukan Least Squares: Perspektif dari Gauss dan Yule":. International statistik Review 66 (1) 61-81. DOI : 10.1111/j.1751-5823.1998.tb00406.x .

4. ^ ^a^b Cornelius Lanczos (1988). Terapan analisis (Reprint tahun 1956 Prentice-Hall red.). Dover Publications. hal 212-213. ISBN 048665656X .

5. ^ Lihat juga Teorema Fejér .

6. ^ Gerald B Folland (2009). "Persamaan 3.14" aplikasi. Fourier analisa dan (Reprint dari Wadsworth dan Brooks / Cole 1992 ed.). American Bookstore Matematika Society. p. 69. ISBN 0821847902 .

7. ^ Perpanjangan 'teorema Pythagoras dengan cara ini menyebabkan fungsi ruang dan konsep ukuran Lebesgue , gagasan tentang "ruang" lebih umum daripada dasar asli dari geometri Euclidean.

8. ^ Gerald B Folland (2009/01/13). "Persamaan 3,17" . dikutip bekerja. p. 69. ISBN 0821847902 .

9. ^ David J. Saville, Graham R. Kayu (1991). "§ 2,5 penjumlahan kuadrat" : statistik. metode pendekatan geometrik (3rd ed.). Springer. p. 30. ISBN 0387975179 .

10. ^ Gerald B Folland (2009/01/13). "Persamaan 3.22" . dikutip bekerja. p. 77. ISBN 0821847902 .

11. ^ Tibshirani, R. (1996). "Regresi susut dan seleksi melalui Lasso itu.". J. Royal. Statis. Soc B. 58 (1): 267-288.

ilmu tak terbatas

Halaman

Sabtu, 14 Januari 2012

metode kuadrat terkecil