Apa itu Regresi Linear?

Apa itu Regresi Linear?

Regresi linear adalah algoritma yang digunakan untuk memprediksi atau memvisualisasikan hubungan antara dua fitur/variabel yang berbeda. Dalam tugas regresi linear, ada dua jenis variabel yang diperiksa: variabel dependen dan variabel independen. Variabel independen adalah variabel yang berdiri sendiri, tidak dipengaruhi oleh variabel lain. Ketika variabel independen diubah, tingkat variabel dependen akan berfluktuasi. Variabel dependen adalah variabel yang sedang dipelajari, dan itulah yang model regresi coba prediksi. Dalam tugas regresi linear, setiap observasi/instance terdiri dari nilai variabel dependen dan nilai variabel independen.

Itu adalah penjelasan singkat tentang regresi linear, tetapi mari kita pastikan kita memahami regresi linear dengan lebih baik dengan melihat contoh dan memeriksa rumus yang digunakan.

Mengenal Regresi Linear

Anggaplah kita memiliki dataset yang mencakup ukuran hard drive dan biaya hard drive tersebut.

Mari kita asumsikan bahwa dataset yang kita miliki terdiri dari dua fitur: jumlah memori dan biaya. Semakin banyak memori yang kita beli untuk komputer, semakin tinggi biaya pembelian. Jika kita memplot titik data individu pada grafik scatter, kita mungkin mendapatkan grafik yang terlihat seperti ini:

Rasio memori-ke-biaya mungkin bervariasi antara produsen dan model hard drive, tetapi secara umum, tren data adalah satu yang dimulai dari kiri bawah (di mana hard drive lebih murah dan memiliki kapasitas yang lebih kecil) dan bergerak ke kanan atas (di mana hard drive lebih mahal dan memiliki kapasitas yang lebih tinggi).

Jika kita memiliki jumlah memori pada sumbu X dan biaya pada sumbu Y, garis yang menangkap hubungan antara variabel X dan Y akan dimulai dari pojok kiri bawah dan bergerak ke kanan atas.

Fungsi dari model regresi adalah menentukan fungsi linear antara variabel X dan Y yang menjelaskan hubungan antara kedua variabel. Dalam regresi linear, diasumsikan bahwa Y dapat dihitung dari kombinasi variabel input. Hubungan antara variabel input (X) dan variabel target (Y) dapat digambarkan dengan menggambar garis melalui titik-titik pada grafik. Garis tersebut mewakili fungsi yang menjelaskan hubungan antara X dan Y (misalnya, setiap kali X meningkat 3, Y meningkat 2). Tujuan adalah menemukan “garis regresi” yang optimal, atau garis/fungsi yang terbaik sesuai dengan data.

Garis biasanya direpresentasikan oleh persamaan: Y = m*X + b. X merujuk pada variabel dependen, sedangkan Y adalah variabel independen. Sementara itu, m adalah kemiringan garis, seperti yang didefinisikan oleh “kenaikan” atas “jalan”. Praktisi pembelajaran mesin merepresentasikan persamaan garis kemiringan yang terkenal sedikit berbeda, menggunakan persamaan ini:

y(x) = w0 + w1 * x

Dalam persamaan di atas, y adalah variabel target, sedangkan “w” adalah parameter model dan input adalah “x”. Jadi persamaan tersebut dibaca sebagai: “Fungsi yang memberikan Y, tergantung pada X, sama dengan parameter model dikalikan dengan fitur”. Parameter model disesuaikan selama pelatihan untuk mendapatkan garis regresi yang terbaik.

Regresi Linear Berganda

Foto: Cbaf via Wikimedia Commons, Domain Publik (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Proses yang dijelaskan di atas berlaku untuk regresi linear sederhana, atau regresi pada dataset yang hanya memiliki satu fitur/variabel independen. Namun, regresi juga dapat dilakukan dengan beberapa fitur. Dalam kasus “regresi linear berganda”, persamaan diperluas oleh jumlah variabel yang ditemukan dalam dataset. Dengan kata lain, sementara persamaan untuk regresi linear biasa adalah y(x) = w0 + w1 * x, persamaan untuk regresi linear berganda akan menjadi y(x) = w0 + w1x1 plus bobot dan input untuk berbagai fitur. Jika kita merepresentasikan jumlah total bobot dan fitur sebagai w(n)x(n), maka kita dapat merepresentasikan rumus seperti ini:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Setelah menetapkan rumus untuk regresi linear, model pembelajaran mesin akan menggunakan nilai yang berbeda untuk bobot, menggambar garis yang berbeda. Ingat bahwa tujuan adalah menemukan garis yang terbaik sesuai dengan data untuk menentukan mana dari kombinasi bobot yang mungkin (dan oleh karena itu mana garis yang mungkin) yang terbaik sesuai dengan data dan menjelaskan hubungan antara variabel.

Fungsi biaya digunakan untuk mengukur seberapa dekat nilai Y yang diasumsikan dengan nilai Y yang sebenarnya ketika diberikan nilai bobot tertentu. Fungsi biaya untuk regresi linear adalah mean squared error, yang hanya mengambil rata-rata (kuadrat) kesalahan antara nilai prediksi dan nilai sebenarnya untuk semua titik data dalam dataset. Fungsi biaya digunakan untuk menghitung biaya, yang menangkap perbedaan antara nilai target yang diprediksi dan nilai target yang sebenarnya. Jika garis sesuai jauh dari titik data, biaya akan lebih tinggi, sedangkan biaya akan menjadi lebih kecil ketika garis semakin dekat dengan menangkap hubungan sebenarnya antara variabel. Bobot model kemudian disesuaikan sampai konfigurasi bobot yang menghasilkan jumlah kesalahan terkecil ditemukan.