Single-Output Regression Neural Network pada kasus Prediksi Kualitas Air¶

Notebook ini hanya contoh dan dibuat untuk pembelajaran mengenai Deep Learning/Neural Networks dan penggunaan praktis bidang sumberdaya air menggunakan Python. Notebook ini masih perlu dievaluasi kembali jika digunakan untuk kepenting riset/penelitian ataupun proyek.

Informasi Notebook¶

• notebook name: taruma_demo_ann_ka_2.0.0
• notebook version/date: 2.0.0/20190713
• notebook server: Google Colab
• hidrokit version: 0.2.0
• python version: 3.7

Deskripsi Kasus¶

Bagian ini akan menjelaskan gambaran umum mengenai dataset, permasalahan/tujuan, dan langkah penyelesaiannya

Dataset¶

Dataset merupakan data kualitas air bulanan dari Juni 2000 hingga Desember 2017 (211 data bulanan). Dataset memiliki 15 kolom yaitu (berurutan):

• 1 kolom berupa tanggal

• 11 kolom independent variables yang diperoleh di stasiun A:

  • temperatur udara (temp_udara), lama penyinaran (lama_sinar), kecepatan angin (kec_angin), $Q_{in}$ (debit_masuk), $Q_{out}$ (debit_keluar), volume (volume), temperatur air (temp_air), $O_2$, Oksigen (oksigen), $NO_2$, Nitrogen (nitrogen), $NO_3$, Nitrat (nitrat), $NH_3$, Amonia (amonia).

• 3 kolom dependent variables pada stasiun B:

  • $NO_2$, Nitrogen (out_nitrogen), $NO_3$, Nitrat (out_nitrat), $NH_3$, Amonia (out_amonia).

Permasalahan dan Tujuan¶

Permasalahan:

• Peneliti ingin mengetahui nilai tiga kualitas air berupa $NO_2, NO_3, NH_3$ pada stasiun B berdasarkan informasi yang diperoleh di stasiun A.

Batasan Masalah:

• Dalam notebook ini target yang digunakan hanya $NH_3$ (single-output).
• Arsitektur Neural Networks yang digunakan adalah Multi Layer Perceptron (MLP), dengan setidaknya hidden layers lebih dari satu.
• Kasus disini merupakan contoh permasalahan supervised learning.

Pertanyaan:

• Berapa nilai NH3 pada stasiun B pada waktu $t$ jika telah diketahui hasil pengukuran di stasiun A pada waktu $t$ dan hasil observasi stasiun B pada waktu sebelumnya ($t-1, t-2, ..., t-n$, dengan $n$ adalah jumlah timesteps)?
• Apa arsitektur NN yang optimal untuk melakukan prediksi kualitas air?

Catatan: Dalam kasus ini akan digunakan $2$ timesteps yang berarti data dua bulan yang lalu akan digunakan sebagai input untuk memprediksikan target pada waktu $t$.

Strategi Penyelesaian Masalah¶

Tahap 1: Data exploration and Data munging¶

1. Import dataset dari berkas excel ke dalam pandas.DataFrame.
2. Eksplorasi dataset berupa memeriksa kehilangan data disertai validasi dan verifikasi data. Data exploration dapat berupa visualisasi, deskripsi statistik, dan memeriksa jika terdapat nilai outlier atau tidak.
3. Jika terdapat data yang hilang, maka diasumsikan data memiliki sifat linear sehingga data yang hilang diisi dengan menginterpolasikan dengan metode linear. (Langkah ini dapat diganti dengan kesesuaian keahlian bidangnya)
4. Diperiksa kembali data yang telah diisi dan melakukan ekplorasi data lagi untuk memastikan dataset sudah siap untuk diolah di tahap berikutnya.

Tahap 2: Data Preprocessing¶

1. Membagi dataset menjadi dua bagian yaitu training set dan test set. Pemotongan data ini tidak acak. Training set merupakan potongan data dari Juni 2000 hingga Desember 2014. Test set merupakan potongan data dari Januari 2015 hingga Desember 2017. Untuk selanjutnya hanya training set yang akan diproses untuk training dan test set disimpan untuk tahap evaluasi model.
2. Dilakukan tahap ___Scaling___ yaitu menormalisasikan nilai pada dataset ke dalam skala yang sama. Digunakan metode MinMaxScaler karena diketahui data tidak terdistribusi normal.
3. Membuat kolom yang menunjukkan $2$ timesteps, sehingga dataset yang sebelumnya 14 kolom menjadi $feature_{original}\times(timesteps+1)=14\times(2+1)=42$.
4. Menampilkan hasil penambahan timesteps dalam bentuk pandas.DataFrame.
5. training set dibagi menjadi X_train dan y_train. Dengan X_train merupakan seluruh kolom kecuali nilai observasi dari stasiun B pada waktu $t$ (kolom: out_nitrogen_tmin0, out_nitrat_tmin0, out_amonia_tmin0) sebagai feature. Sedangkan y_train merupakan kolom out_amonia_tmin0 sebagai target.

Tahap 3: Building Neural Networks¶

1. Untuk Neural Networks digunakan Multi Layer Perceptron (MLP) dengan target single-output.
2. Membuat fungsi build_model yang memberikan fleksibilitas arsitektur sehingga memiliki hidden layer lebih dari satu dengan parameter hidden_layers.
3. Menggunakan GridSearchCV untuk mengetahui parameter terbaik.
4. Melalukan proses fit terhadap X_train, y_train. Besarnya validation split yang digunakan sebesar $0.2$.

Tahap 4: Evaluation Models¶

1. Pada tahap evaluasi, dataset yang digunakan adalah test set. test set yang diperoleh dari pembagian set perlu diproses lebih lanjut sebelum digunakan untuk memprediksi.
2. Dilakukan proses data preprocessing seperti tahap 2 langkah 2-5 pada test set.
3. Memprediksi nilai dengan model yang terbaik hasil Grid Search.
4. Mengembalikan nilai prediksi dan nilai y_test ke skala original dengan menggunakan method inverse_transform. Hal ini dilakukan dengan mentransfer atribut MinMaxScaler sebelumnya ke object baru, agar menyederhanakan proses pengembalian ke skala asli.
5. Evaluasi menggunakan metrik RMSE/MAE.
6. Evaluasi menggunakan grafik.
7. Menghitung nilai beda prediksi dan observasi, dan dilakukan statistik deskriptif disertai membuat histogram nilai residu tersebut.

Tahap 5: Conclusion and Interpretation¶

1. Tahap ini menyimpulkan hasil model dan menginterpretasikan model NN.
2. Langkah yang bisa meningkatkan hasil model dengan mengurangi kemungkinan overfitting ataupun underfitting.

Tahap 0: Pengaturan Awal¶

Bagian ini merupakan pengaturan awal pribadi, dapat diabaikan.

Tahap 1: Data Exploration and Data Munging¶

Ringkasan pada tahap ini:

1. Import dataset.
2. Eksplorasi dataset.
3. Mengisi data yang hilang.
4. Eksplorasi dataset kembali.

1.1 Import dataset¶

1.2 Eksplorasi dataset¶

Dari dataset dapat disimpulkan:

1. Kolom date digunakan sebagai acuan total jumlah data yang tersedia. Diketahui bahwa ada 211 data.

2. Kolom temp_udara, lama_sinar, kec_angin, debit_masuk, debit_keluar, volume, temp_air, amonia, out_nitrogen, out_amonia kehilangan 1 data, sehingga jumlah datanya hanya 210.

3. Kolom berikut memiliki kehilangan data lebih dari 1 data:

   • temp_air: total: 209 data, kehilangan 2 data.
   • nitrogen: total: 189 data, kehilangan 22 data.
   • nitrat: total: 208 data, kehilangan 3 data.
   • out_nitrat: total: 208 data, kehilangan 3 data.

Visualisasi¶

Dari grafik diatas terlihat ada data yang hilang.

1.3 Kehilangan Data¶

Dari proses diatas diperoleh informasi:

1. Pada bulan 2005/12 (Desember 2005), data tidak tersedia pada seluruh kolom.
2. Kolom temp_air, kehilangan data pada 2005/11 (November 2005).
3. Kolom nitrogen, kehilangan data pada dari 2007/04 (April 2007) sampai 2008/12 (Desember 2008).
4. Kolom nitrat dan out_amonia, kehilangan data pada 2005/06 (Juni 2005) dan 2005/07 (Juli 2005).`

Mengisi Kehilangan data¶

Diasumsikan bahwa data yang hilang dapat diisi dengan metode interpolasi linear. Dengan catatan metode tersebut digunakan dalam notebook ini untuk pembelajaran. Dimungkinkan untuk mengisi data hilang dengan teknik yang tersedia dalam bidang keahliannya.

1.4 Eksplorasi dataset¶

Visualisasi¶

Dari visualisasi diatas diketahui bahwa terdapat kolom yang memiliki distribusi tidak normal, sehingga dalam scaling digunakan MinMaxScaler.

Tahap 2: Data Preprocessing¶

1. Membagi dataset menjadi training set dan test set.
2. Scaling dengan MinMaxScaler.
3. Menambahkan kolom timesteps.
4. Menampilkan hasil penambahan timesteps.
5. Mempersiapkan data training dari training set menjadi X_train dan y_train.

2.1 Training set dan Test set¶

Dari new_dataset yang telah diinterpolasi, akan dibagi menjadi dua bagian data yaitu training dan testing.

• Training data merupakan data dari 2000/06 hingga 2014/12
• Testing data merupakan data dari 2015/01 hingga 2017/12

Menyimpan nilai dalam dataframe dalam bentuk numpy.array.

2.2 Scaling¶

Skala yang digunakan adalah MinMaxScaler.

2.3 Kolom Timesteps¶

Setelah scaling, dataset dibuat kolom tambahan yang merepresentasikan data timesteps sebelumnya. Untuk kasus ini dipilih timesteps sebanyak 2 bulan sebelumnya. Sehingga persamaan umumnya berupa:

$Output_t = f(Input_t, Input_{t-1}, Input_{t-2}, Output_{t-1}, Output_{t-2})$

Diketahui terdapat 14 kolom (termasuk output) dengan timesteps 2, sehingga dimensi array menjadi $14 \times (2+1)=42$.

Catatan:

• Karena hidrokit menggunakan input dalam bentuk DataFrame, hasil scaling yang masih berbentuk array dibuat DataFramenya.
• Dapat digunakan langsung dengan input array dengan menggunakan private function _multi_column_timesteps()

2.4 Tabel Training set¶

Tabel pandas.DataFrame untuk training set yang telah diberi kolom timesteps.

2.5 X_train dan y_train¶

Berdasarkan persamaan sebelumnya, kolom output pada waktu $t$ harus dipisahkan sebagai label training-nya. Dan karena dalam kasus ini fokus pada single-output, maka kolom output yang digunakan sebagai target hanya out_amonia_tmin0.

Catatan: Terdapat __39 _features___ dengan __1 _target___.

Tahap 3: Building Neural Networks¶

1. Fungsi build_model.
2. Penggunaan GridSearchCV.
3. Melalukan proses fit terhadap X_train, y_train

3.1 Fungsi build_model¶

3.2 Parameter GridSearchCV¶

3.3 Fit¶

3.3.1 Fitting¶

3.3.2 Saving¶

3.3.3 Loading (Jika sudah disimpan Model dan Hasil grid search)¶

Tahap 4: Evaluate Model¶

1. Data preprocessing pada test set.
2. Memprediksi nilai dengan model yang terbaik hasil Grid Search.
3. Mengembalikan ke skala aslinya.
4. Evaluasi Model pada test set.
5. Nilai beda prediksi dan observasi.

4.1 Data preprocessing pada test set¶

4.2 Prediksi model dari parameter terbaik hasil Grid Search¶

digunakan istilah predict sebagai nilai prediksi dari final_model, dan truth sebagai nilai observasi di stasiun B.

4.3 Mengembalikan ke skala aslinya¶

Nilai -1 menunjukkan posisi kolom out_amonia saat melakukan proses fit pada object sc (MinMaxScaler).

4.4 Evaluasi Model test set¶

4.4.1 Metrik¶

Fungsi loss yang digunakan saat training adalah mean_squared error. Dari informasi diatas diketahui bahwa nilai MSE dan MAE pada saat training hampir mendekati 0. Perlu dicatat bahwa nilai tersebut berdasarkan nilai yang telah ditransformasi dengan metode MinMaxScaler.

4.4.2 Visualiasi¶

Dari grafik diatas diketahui bahwa final_model mampu mengikuti fluktuasi data observasi.

Dari dua grafik diatas terlihat bahwa terdapat hasil prediksi yang negatif meski pada kejadian nyata bahwa nilai negatif tidak mungkin untuk kualitas air.

4.5 Nilai beda prediksi dan observasi¶

4.5.1 Metrik¶

4.5.2 Visualisasi¶

Tahap 5: Conclusion and Interpretation¶

1. Interpretasi model ANN
2. Evaluasi hasil GridSearch
3. Ringkasan
4. Saran dan langkah selanjutnya

5.1 Interpretasi Model Neural Networks¶

5.2 Evaluasi hasil GridSearchCV¶

5.3 Ringkasan¶

1. Model terbaik diperoleh dengan parameter:

   • activation: sigmoid
   • batch_size: 5
   • epochs: 200
   • first_layer: 20
   • hidden_layer: 20
   • optimizer: adam

2. Dalam evaluasi model dengan test set diperoleh informasi:

   • MSE dan MAE sebesar $0.1334$ dan $0.2325$ (dalam skala original).
   • Nilai rata-rata nilai beda (diff) sebesar $0.232529$ (MAE), dengan standar deviasi sebesar $0.285942$.

5.4 Saran dan Langkah Selanjutnya¶

• Diketahui bahwa terdapat nilai negatif pada prediksi, sehingga untuk model selanjutnya lebih baik bahwa pada output layer menggunakan aktivasi relu sehingga tidak mengeluarkan hasil negatif.
• Mengurangi vektor input, dengan menentukan kolom yang dirasa penting saja untuk pemberian kolom tambahan timesteps.
• Mengevaluasi pengisian data kosong, karena pendekatan linear belum tentu tepat.
• Memeriksa kondisi outlier. Dipilihnya output amonia karena pada nitrogen dan nitrat terdapat kondisi outlier.

Changelog¶

- 20190713 - 2.0.0 - Use hidrokit 0.2.0. refactoring document/code.
- 20190622 - 1.1.0 - Copyright/License notice
- 20190414 - 1.0.0 - Initial

Copyright © 2019 Taruma Sakti Megariansyah¶

Source code in this notebook is licensed under a MIT License. Data in this notebook is licensed under a Creative Common Attribution 4.0 International.