Text

Question Answering System Pada IndoSQuAD 2.0 Menggunakan Fine Tuning Bidirectional Encoder Representation From Transformer (BERT) Dengan Optimasi Hyperparameter Berbasis Bayesian Optimization

---

Informasi kini mudah ditemukan di sosial media dan internet. Namun, banyaknya sumber
data membuat orang sulit memahami informasi yang diterima. Salah satu bidang yang dapat
membantu dalam memahami informasi dan menemukan jawaban yang tepat serta relevan
dari sumber atau basis pengetahuan sesuai dengan pertanyaan yang diberikan adalah
question answering system. Terdapat beberapa penelitian terkait question answering yang
telah dilakukan dengan berbagai metode seperti Rule-Based, Logistic Regression, dan
LSTM. Akan tetapi ketiga metode tersebut memiliki masalah seperti Rule-Based yang
jawabannya sangat bergantung pada rules dan belum dapat menangani struktur kata yang
kompleks, Logistic Regression yang hanya mengandalkan word embeddings untuk
menghasilkan representasi fitur dari konteks dan pertanyaan, serta LSTM yang datanya
masih diproses secara berurutan sehingga membutuhkan waktu yang lama dalam melatih
data. Model Bidirectional Encoder Representations from Transformer (BERT) diterapkan
untuk mengatasi permasalahan pada metode-metode di atas dengan melakukan eksperimen
bayesian optimization untuk menemukan hyperparameter optimal dan fine tuning BERT
dengan hyperparameter optimal yang didapatkan guna menghasilkan kinerja model terbaik.
BERT memiliki kemampuan untuk mengatasi struktur kata yang kompleks dan menangkap
informasi konteks dengan lebih luas. Hasil penelitian ini diharapkan dapat membantu
menjawab pertanyaan-pertanyaan dari suatu konteks atau paragraph menggunakan model
terbaik yang didapatkan, serta dapat menjadi referensi untuk penelitian lebih lanjut pada
topik question answering. Data yang digunakan adalah Stanford Question Answering
Dataset (SQuAD) versi 2.0 yang diterjemahkan ke dalam bahasa Indonesia atau dapat
disebut sebagai IndoSQuAD 2.0 dengan total data sebanyak 142376 pasangan pertanyaan
dan jawaban. Model BERT dilatih dan diuji dengan dua skenario berdasarkan pre-trained
model yang digunakan yaitu IndoBERT dan Multilingual BERT. Model IndoBERT
mendapatkan hyperparameter optimal berupa learning rate 2.385 × 10−5 dan weight decay
0.003252 yang menghasilkan skor exact match 72.5 dan f1-score 84.04. Sedangkan, model
Multilingual BERT mendapatkan hyperparameter optimal berupa learning rate 3.904 ×
10−5 dan weight decay 0.006972 yang menghasilkan skor exact match 63 dan f1-score
75.78. Berdasarkan hasil evaluasi, IndoBERT memiliki kinerja yang lebih baik dan lebih
sesuai digunakan dalam tugas question answering pada IndoSQuAD 2.0 daripada
Multilingual BERT.
Kata kunci : Question Answering System, BERT, Bayesian Optimization, IndoSQuAD 2.0.

---

Ketersediaan

1194F2023

1194 F 2023

Perpustakaan FSM Undip

Tersedia

Informasi Detail

Judul Seri

-

No. Panggil

1194 F 2023

Penerbit

: .,

Deskripsi Fisik

-

Bahasa

Indonesia

ISBN/ISSN

-

Klasifikasi

NONE

Tipe Isi

-

Tipe Media

-

Tipe Pembawa

-

Edisi

-

Subjek

-

Info Detail Spesifik

-

Pernyataan Tanggungjawab

Salma Safira Ramadhanti

Versi lain/terkait

Lampiran Berkas

Komentar

---

Anda harus masuk sebelum memberikan komentar