www.jagostat.com

www.jagostat.com

Website Belajar Matematika & Statistika

Website Belajar Matematika & Statistika

Analisis Regresi   »   Regresi Linear Sederhana   ›  Estimasi Model Regresi dengan Metode MLE (Maximum Likelihood Estimation)
Analisis Regresi

Estimasi Model Regresi dengan Metode MLE (Maximum Likelihood Estimation)

Prinsip dari metode maksimum likelihood adalah memilih suatu penduga atau estimator bagi parameter berdasarkan suatu kumpulan data tertentu, yang mana nilai dari data observasi paling besar kemungkinannya untuk muncul.


Flag Counter

Oleh Tju Ji Long · Statistisi

Flag Counter

Sama halnya dengan metode kuadrat terkecil biasa (ordinary least square), kita dapat menggunakan metode maksimum likelihood untuk mencari nilai taksiran bagi koefisien regresi. Hanya saja metode maksmum likelihood ini menggunakan prosedur yang berbeda dengan metode OLS.

Dalam analisis regresi, hubungan antara variabel tak bebas \(Y\) dan satu variabel bebas \(X\) dapat dinyatakan dalam persamaan model berikut:

\[ Y_i = β_0 + β_1 X_i + ε_i \]

Dalam artikel ini, akan dijelaskan bagaimana mencari penduga atau estimator bagi parameter \(β_0\) dan \(β_1\) dari suatu persamaan model regresi sederhana.

Pada dasarnya, prinsip dari metode maksimum likelihood adalah memilih suatu penduga bagi parameter, misalnya (\(μ, θ, σ^2, β_0, β_1,\) dan lainnya), dari suatu kumpulan data tertentu yang mana nilai dari data observasi paling besar kemungkinannya untuk muncul.

Jika kemungkinan untuk mendapatkan suatu data observasi lebih besar pada saat \(θ=θ_1\), daripada \(θ=θ_2\), maka akan lebih beralasan untuk memilih \(θ_1\) sebagai penduga atau estimator bagi \(θ\).

Misalkan kita ingin menduga parameter \(θ\) dari suatu populasi dengan fungsi kepadatan peluang \(f(x_i, θ)\), maka tahapan dalam metode maksimum likelihood adalah sebagai berikut:

  1. Tentukan fungsi likelihood dari peubah acak \(X\), yakni
  2. Gambar
  3. Tentukan \(Ln \ L(θ)\).
  4. Maksimumkan fungsi \(\ln \ L(θ)\), yakni dengan menurunkannya atau mendiferensialkan terhadap setiap parameter yang akan ditaksir kemudian menyamakan hasilnya dengan nol. Jika parameter yang akan ditaksir hanya satu, maka kita nyatakan ini dengan
  5. Gambar

    Namun, jika parameter yang akan ditaksir lebih dari satu, maka kita nyatakan dalam turunan parsial, misalnya

    Gambar
  6. Selesaikan persamaan yang diperoleh ketika menyamakan hasil turunan dengan nol untuk menentukan estimator atau penduga \(\hat{θ}\) yang diinginkan.

Sekarang, kita akan mencari penduga atau estimator bagi parameter dalam persamaan model regresi linear sederhana dengan menggunakan metode maksimum likelihood. Kita tahu bahwa jika peubah acak \(Y\) berdistribusi normal, maka kita dapat menuliskan \(Y_i \sim N(\mu,σ^2)\), di mana \(\mu\) menyatakan rata-rata dan \(σ^2\) menyatakan varians.

Karena dalam analisis regresi, variabel tak bebas \(Y\) adalah berdistribusi normal dengan rata-rata \(β_0+β_1 X_i\) dan varian \(σ^2\), maka kita menuliskan:

Gambar

Selain itu, karena fungsi kepadatan peluang (probability density function, pdf) dari suatu peubah acak \(Y\) yang berdistribusi normal adalah

\[ f(y; \mu, σ^2) = \frac{1}{σ\sqrt{2\pi}} e^{-\frac{1}{2} \left( \frac{Y_i - \mu}{σ} \right)^2} \]

maka kita peroleh,

Gambar

Seperti sudah dijelaskan di atas, tahap pertama dalam metode maksimum likehood adalah mencari fungsi likelihood, dalam hal ini fungsi likelihood dari variabel tak bebas \(Y\), yakni:

Gambar

Setelah mendapatkan fungsi likelihood, tahap berikutnya adalah menentukan \(\ln\) dari fungsi likelihood-nya, yakni

Gambar

Selanjutnya, maksimumkan fungsi \(\ln \ L(β_0, β_1, σ^2)\) untuk mencari nilai estimator bagi \(β_0\) dan \(β_1\). Ini dapat dilakukan dengan menurunkan secara parsial fungsi tersebut masing-masing terhadap \(β_0\) dan \(β_1\).

Mencari estimator bagi \(β_0\):

Untuk mendapatkan taksiran bagi \(β_0\) kita dapat memaksimumkan fungsi \(\ln \ L(β_0, β_1, σ^2)\) dengan cara menurunkan secara parsial fungsi tersebut terhadap \(β_0\). Kita peroleh

Gambar

Dengan menyamakan hasil turunan parsial ini dengan nol, dan kemudian melakukan sedikit perhitungan aritmatika akan diperoleh nilai penduga/taksiran bagi \(β_0\), yakni

Gambar

Mencari estimator bagi \(β_1\):

Untuk mendapatkan taksiran bagi \(β_1\) kita dapat memaksimumkan fungsi \(\ln \ L(β_0, β_1, σ^2)\) dengan cara menurunkan secara parsial fungsi tersebut terhadap \(β_1\). Kita peroleh

Gambar

Dengan menyamakan hasil turunan parsial ini dengan nol, dan kemudian melakukan sedikit perhitungan aritmatika akan diperoleh nilai penduga/taksiran bagi \(β_1\), yakni

Gambar

Dengan sedikit modifikasi, kita juga dapat menyatakan taksiran bagi \( β_1 \) menjadi

Gambar

Perhatikanlah bahwa taksiran parameter yang kita peroleh di atas dengan menggunakan metode maksimum likelihood persis sama dengan hasil taksiran yang kita dapatkan ketika menggunakan metode kuadrat terkecil (ordinary least square method).

Artikel Terkait

There’s no such things as a small act of kindness. Every act creates a ripple with no logical end.