Metode Hopfield

John Hopfield memperkenalkan arsitektur jaringan yang kemudian dikenal sebagai jaringan Hopfield. John Hopfield menggambarkan suatu associative memory yang dapat diterapkan dan kemudian mendemonstrasikan masalah optimasi yang dapat diselesaikan oleh jaringannya. Unit-unit pengolah dalam jaringan Hopfield terhubung penuh. Hubungan-hubungan tersebut adalah langsung dan setiap pasang unit pengolah mempunyai hubungan dalam dua arah. Tiap-tiap hubungan mempunyai bobot. Bobot ini adalah suatu nilai skalar yang berdasarkan pada kekuatan hubungan (connection strength). Misalkan Tij merupakan bobot dari unit i ke unit j. Dalam jaringan Hopfield, bobot Tij dan Tji mempunyai nilai yang sama sehingga Tij = Tji . Dalam jaringan Hopfield prosedur pembelajarannya adalah prosedur pembentukan bobot koneksi Tij. Tiap kondisi dari jaringan Hopfield mempunyai sekumpulan energi. Nilai ini didefinisikan dengan
Keterangan : Tij = bobot koneksi antara neuron I dan neuron j
Ii = masukan prasikap atau bias
Pembaharuan dari jaringan Hopfield merupakan prosedur konvergen di mana energi dari keseluruhan jaringan akan menjadi semakin kecil.Pada akhirnya, jaringan akan berada pada kondisi stabil di mana pada kondisi ini energi berada pada nilai minimum. Pada tiap saat unit pengolah diperbaharui, energi dari jaringan akan berkurang atau tetap.Sebagai hasilnya, prosedur pembaharuan ini akan selalu membuat energi dari jaringan untuk konvergen pada nilai minimum. Dalam hubungannya dengan upaya untuk meminimumkan fungsi energi jaringan Hopfield, salah satu rumusan restorasi citra adalah meminimumkan fungsi error dari sistem. Dengan menjabarkan persamaan berdasarkan fungsi error, maka akan diperoleh bobot koneksi:

dan masukan prasikap atau bias:

Keterangan : Ti,j = bobot koneksi antara neuron i dan j
Ii = masukan prasikap
hi,j = elemen matriks fungsi PSF
di,j = elemen matriks high pass filter.
Ada dua constraint pada Hopfield Neural Network:
1. weight antara dua unit harus simetri. Hal ini berlawanan dengan derajat koneksi synapse pada biological neuron (neuron yang sebenarnya, dalam pengertian biologi, bukan artificial model). Koneksi synapse pada biological neuron sama sekali tidak simetri, sehingga dari sisi biologi, model yang dikembangkan Hopfield ini tidak dapat diterima. (kalau ini diikuti sebenarnya backprop juga tidak diturunkan dari fenomena biologi)
2. Aktivasi tiap unit/neuron pada Hopfield network bersifat asynchronous. Jadi tiap neuron beraktivasi sendiri-sendiri, secara independen. Dari sisi paralel computing, hal ini sangat menarik karena cocok karakteristiknya.
Tapi sayangnya model neural network ini tidak dapat berkembang lebih baik, dan memiliki keterbatasan dalam implementasinya. Misalnya saat diaplikasikan ke TSP problem, seringkali gagal kalau jumlah kota lebih dari 10.
Jaringan Hopfield Original
Algoritma jaringan Hopfield yang dipakai untuk merestorasi citra ada tiga macam, algoritma jaringan Hopfield original (JHO) yang memakai metode simple sum, algoritma jaringan Hopfield sekuensial (JHS) dan algoritma jaringan Hopfield modifikasi (JHM).

Prosedur pembaharuan untuk JHO dapat dirumuskan sebagai berikut :
Keterangan :
Ti,j = bobot koneksi antara neuron I dan j
Ii = masukan prasikap
ui = kondisi neuron ke I
xi = perubahan keadaan pada neuron ke (i,j)
f = perubahan energi yang disebabkan oleh perubahan keadaan neuron ke (i,k).
Algoritma JHO yang memakai metode simple sum dapat dijabarkan sebagai berikut :
1. Mengambil citra terdegradasi sebagai nilai awal.
2. Piksel citra diperbaharui secara berurutan. Setiap piksel diperbaharui dengan menggunakan persamaan (7), (8), (9) dan (10), kemudian dilanjutkan ke piksel berikutnya.
3. Memeriksa fungsi energi. Jika energi tidak berubah lagi atau semua neuron sudah diperbaharui, maka proses restorasi selesai. Jika masih berubah, maka kembali ke langkah 2.