Home » Uncategories » Rangkuman Model Linier

Rangkuman Model Linier

Edit
Pada artikel ini akan membahas beberapa Metode Linear diantaranya :
  1. Curve Fitting dan Eroor Function
  2. Binary Classification

Curve Fitting dan Error Function

Error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x, y) ∈ R sebagai random variable. Terdapat sebuah fungsi f(x) → y, yang memetakan x ke y, berbentuk seperti pada Gambar 5.1. sekarang fungsi f(x) tersebut disembunyikan (tidak diketahui), diberikan contoh-contoh pasangan (xi , yi); i = 1, 2, ..., 6 adalah titik pada dua dimensi (titik sampel), seperti lingkaran berwarna biru. Tugasmu adalah untuk mencari tahu f(x)! Dengan kata lain, kita harus mampu memprediksi sebuah bilangan riil y, diberikan suatu x. Kamu berasumsi bahwa fungsi f(x) dapat diaproksimasi dengan fungsi linear g(x) = xw + b. Artinya, kamu ingin mencari w dan b yang memberikan nilai sedemikian sehingga g(x) mirip dengan f(x). w adalah parameter sementara b adalah bias. Anggap kamu sudah berhasil melakukan pendekatan dan

menghasilkan fungsi linear g(x); seperti Gambar 5.2 (garis berwarna hijau). Akan tetapi, fungsi approksimasi ini tidak 100% tepat sesuai dengan fungsi aslinya (ini perlu ditekankan)1 . Jarak antara titik biru terhadap garis hijau disebut error.
Salah satu cara menghitung error fungsi g(x) adalah menggunakan squared error function dengan bentuk konseptual pada persamaan 5.1. Estimasi terhadap persamaan tersebut disajikan dalam bentuk diskrit pada persamaan 5.2. (xi,yi) adalah pasangan training data (input - desired output). Nilai squared error dapat menjadi tolak ukur untuk membandingkan kinerja suatu learning machine (model). Secara umum, bila nilainya tinggi, maka kinerja dianggap relatif buruk; sebaliknya bila rendah, kinerja dianggap relatif baik. Hal ini sesuai dengan konsep intelligent agent [5].
1 Kamu patut curiga apabila model pembelajaran mesinmu memberikan performa 100%


Secara konseptual, bentuk fungsi regresi dilambangkan sebagai persamaan 5.3 [9].

Persamaan 5.3 dibaca sebagai “expectation of y, with the distribution of q”. Secara statistik, regresi dapat disebut sebagai ekspektasi untuk y berdasarkan/ dengan input x. Perlu diperhatikan kembali, regresi adalah pendekatan sehingga belum tentu 100% benar (hal ini juga berlaku pada model machine learning pada umumnya). Kami telah memberikan contoh fungsi linear sederhana, yaitu g(x) = xw + b. Pada kenyataannya, permasalahan kita lebih dari persoalan skalar. Untuk x (input) yang merupakan vektor, biasanya kita mengestimasi dengan lebih banyak variable, seperti pada persamaan 5.4. Persamaan tersebut dapat ditulis kembali dalam bentuk aljabar linear sebagai persamaan 5.5.

Bentuk persamaan 5.4 dan 5.5 relatif interpretable karena setiap fitur pada input (xi) berkorespondensi hanya dengan satu parameter bobot wi. Artinya, kita bisa menginterpretasikan seberapa besar/kecil pengaruh suatu fitur xi terhadap keputusan (output) berdasarkan nilai wi. Hal ini berbeda dengan algoritma non-linear (misal artificial neural network, bab 11) dimana satu fitur pada input bisa berkorespondensi dengan banyak parameter bobot. Perlu kamu ingat, model yang dihasilkan oleh fungsi linear lebih mudah dimengerti dibanding fungsi non-linear. Semakin, suatu model pembelajaran mesin, berbentuk non-linear, maka ia semakin susah dipahami.
Ingat kembali bab 1, learning machine yang direpresentasikan dengan fungsi g bisa diatur kinerjanya dengan parameter training w. Squared error untuk learning machine dengan parameter training w diberikan oleh persamaan 5.2. (xi,yi) adalah pasangan input-desired output. Selain untuk menghitung squared error pada training data, persamaan 5.2 juga dapat digunakan untuk menghitungsquared error pada testing data. Tujuan dari regresi/machine learning secara umum adalah untuk meminimalkan nilailoss atau error baik pada training maupun unseen instances. Secara umum, kita lebih ingin meminimalkan loss, dimana error dapat menjadi proxy untuk loss. Selain error function, ada banyak fungsi lainnya seperti Hinge, Log Loss, Cross-entropy loss, Ranking loss [1].

Binary Classification

Klasifikasi Biner seperti namanya adalah tugas mengklasifikasikan elemen menjadi salah satu dari dua kelas / kelompok. Beberapa aplikasi klasifikasi biner adalah :
  • Menguji apakah seseorang memiliki penyakit tertentu atau tidak
  • Mengklasifikasikan email sebagai spam atau bukan spam
  • Deteksi penipuan kartu kredit, dll.
Ini adalah bentuk dari supervised learning di mana :
  • Diberikan seperangkat pengamatan
  • Sebuah model perlu dilatih berdasarkan pengamatan tersebut
  • Posting yang mana model harus dapat mengklasifikasikan pengamatan baru ke dalam salah satu kategori.
Metode
Beberapa metode yang paling umum digunakan untuk klasifikasi biner adalah :
  • k-Nearest Neighbour
  • Naive Bayes
  • Logistic Regression
  • Decision Trees
  • Random Forests
  • SVMs
  • Neural Networks
Tidak ada yang lebih baik dari yang lain dan itu benar-benar tergantung pada masalah / kasus penggunaan dan data yang tersedia. Dua algoritme pengoptimalan mana pun setara ketika kinerjanya dirata-rata untuk semua masalah yang mungkin terjadi. Tidak ada makan siang gratis. Meskipun dianjurkan bahwa kita harus mulai dengan sesuatu yang sederhana dan membuatnya lebih rumit jika dan hanya jika perlu.

Evalution

Metrik evaluasi yang paling sederhana dan paling umum untuk masalah klasifikasi biner adalah akurasi.

Akurasi = (# Prediksi Benar) / (# Pengamatan)

Meskipun tampaknya menjadi metrik yang sangat baik untuk evaluasi tetapi mungkin tidak diinginkan untuk setiap kasus penggunaan. Katakanlah, kami berusaha mendeteksi apakah seseorang menderita kanker atau tidak. Katakanlah, kami mencoba untuk mengklasifikasikan 1.000 orang dengan kanker atau tidak dan kami dapat memperoleh akurasi 95%. Meskipun ini mungkin terlihat seperti model yang sangat bagus tetapi ini adalah tangkapannya. Jika sebagian besar sampel negatif (tidak ada kanker) dan model memperkirakannya negatif, akurasinya akan tinggi bahkan jika beberapa sampel positif diprediksi negatif. Ini tidak diinginkan karena kami tidak ingin memberi tahu orang yang menderita kanker bahwa ia tidak menderita kanker tetapi kami dapat meminta orang yang tidak menderita kanker untuk menjalani beberapa tes, jika diperlukan. Jadi, kami ingin memilih model yang mencoba untuk tidak memprediksi kasus positif sebagai negatif, yaitu, memiliki daya ingat yang lebih tinggi.
Katakanlah bahwa pengamatan memiliki sampel positif (P) dan negatif (N). Model ini memberikan dua jenis prediksi: prediksi positif (P ') dan prediksi negatif (N'). Berdasarkan prediksi, kita dapat membuat matriks kebingungan :
Confusion Matrix (Source:MathWorks)

Dapat dilihat bahwa :
  • P + N = # Observations
  • TP + TN = True (Correct) Predictions
  • FP + FN = False (Incorrect) Predictions
  • TP + FN = P
  • TN + FP = N
  • TP + FP = P’
  • TN + FN = N’
Oleh karena itu, Akurasi (ACC) = (TP + TN) / (P + N)
Kita dapat memperoleh 8 metrik yang lebih berguna berdasarkan TP, FP, TN, FN. Ini adalah :
Derivasi Lebih Lanjut :
Metrik evaluasi lain yang umum digunakan adalah skor kurva AUC (Area di bawah kurva) / ROC (Receiver Operating Characteristic).
ROC Curve (Source:Wikipedia)

Ruang ROC didefinisikan oleh FPR dan TPR masing-masing sebagai sumbu x dan y, yang menggambarkan trade-off relatif antara true positive (benefit) dan false positive (costs). Kurva ROC dibuat dengan memplot true positive rate (TPR) terhadap false positive rate (FPR) di berbagai pengaturan ambang batas. AUC adalah area di bawah Kurva ROC. Skor AUC yang lebih tinggi menandakan model yang lebih baik.
Jika Anda ingin melihat pendekatan yang berfungsi untuk masalah klasifikasi biner, lihat ini.

Subscribe to receive free email updates:

0 Response to "Rangkuman Model Linier"

Posting Komentar

Langganan: Posting Komentar (Atom)