Analisis Regresi   »   Regresi Linear Berganda   ›  Pengujian Paramater Model Regresi Linear Berganda

Analisis Regresi

Pengujian Paramater Model Regresi Linear Berganda

Pengujian parameter bertujuan untuk mengetahui ada atau tidaknya pengaruh variabel bebas terhadap variabel tidak bebas, baik secara serentak (simultan) maupun secara parsial.

Pengujian signifikansi parameter model regresi bertujuan untuk mengetahui apakah terhadap hubungan linear antara variabel tak bebas dan variabel bebas. Pengujian signifikansi dapat dilakukan secara simultan maupun individual (parsial). Pengujian secara simultan dapat dilakukan melalui uji-F, sedangkan pengujian secara parsial dapat menggunakan uji-t.

Uji-F

Uji signifikansi regresi adalah sebuah uji untuk menentukan apakah terdapat hubungan linear antara variabel tak bebas y dan variabel bebas \(x_1,x_2,…,x_k\). Hipotesis pengujian ini dapat dinyatakan sebagai berikut:

Penolakan hipotesis nol (H0) berarti bahwa terdapat setidaknya satu variabel bebas \(x_1,x_2,…,x_k\) yang berkontribusi secara signifikan terhadap model. Prosedur uji ini melibatkan analisis varians (ANOVA) yang mempartisi jumlah kuadrat total (SST)

menjadi jumlah kuadrat regresi (SSR) dan jumlah kuadrat error (SSE), yakni

Sekarang jika hipotesis nol di atas adalah benar dan error pada model adalah berdistribusi normal dan independen dengan varians diasumsikan konstan, maka statistik uji-F untuk signifikansi regresi diberikan oleh:

Tolak Ho jika statistik uji \(F_0\) melebihi upper tail point dari distribusi F dengan derajat bebas pembilang k dan derajat bebas penyebut n-p, \(F_{α,k,n-p}\). Untuk Tabel Distribusi F, klik link berikut.

Sebagai alternatif, kita bisa gunakan pendekatan p-value untuk pengujian hipotesis yakni tolak hipotesis nol jika p-value untuk statistik \(F_0\) adalah kurang dari tingkat signifikansi α. Kuantitas pada pembilang dan penyebut pada uji statistik \(F_0\) disebut rata-rata kuadrat (mean squares). Ingat bahwa rata-rata kuadrat error (mean square of error or residual) merupakan estimasi \(σ^2\).

Uji untuk signifikansi regresi biasanya diringkaskan dalam tabel analisis varians (ANOVA) seperti diberikan pada Tabel 1 di bawah.

Tabel 1. Analisis varians untuk menguji signifikansi regresi

Rumus penghitungan jumlah kuadrat dalam ANOVA adalah:

Uji-t

Kita sering tertarik untuk menguji hipotesis pada koefisien regresi secara individual (pengujian secara parsial). Uji ini berguna dalam menentukan nilai atau kontribusi dari setiap variabel bebas dalam model regresi. Misalnya, model mungkin lebih efektif dengan penyertaan variabel tambahan atau mungkin dengan penghapusan satu atau lebih variabel yang sudah ada dalam model.

Menambahkan variabel ke model regresi selalu menyebabkan jumlah kuadrat regresi (sum of squared regression, SSR) meningkat dan jumlah kuadrat error (sum of squared error, SSE) menurun. Maka itu, kita harus memutuskan apakah peningkatan jumlah kuadrat regresi (SSR) cukup untuk menjamin penggunaan variabel tambahan dalam model.

Selain itu, menambahkan variabel yang tidak penting ke model sebenarnya dapat meningkatkan rata-rata kuadrat error (mean squared error, MSE) sehingga menurunkan kegunaan atau kebermanfaatan model (decreasing the usefulness of the model).

Hipotesis untuk menguji signifikansi tiap koefisien regresi secara parsial, katakanlah \(β_j\), yaitu:

Jika hipotesis nol, \(H_0:β_j=0\) gagal ditolak, maka ini mengindikasikan bahwa variabel bebas \(x_j\) bisa dihapus dari model.

Statistik uji untuk pengujian ini yaitu:

di mana: \(\hat{β}_j\) adalah koefisien regresi dan \(se(\hat{β}_j)\) disebut standar error koefisien regresi.

Hipotesis nol \(H_0:β_j=0\) ditolak jika nilai mutlak statistik uji \(|t_0| > t_{α/2,n-p} \), di mana \(t_{α/2,n-p}\) merupakan upper α/2 percentage point dari distribusi t dengan derajat bebasnya sama dengan \(n – p\). Klik link untuk melihat Tabel Distribusi Student-t.

Pendekatan p-value juga dapat digunakan. Jika nilai p-value untuk statistik uji-t lebih besar dari tingkat signifikansi (α) yang digunakan (p-value > α), maka gagal tolak H0. Sebaliknya, jika nilai p-value kurang dari tingkat signifikansi (p-value < α), maka tolak H0.