ARIF, Daniel Abdillah (2026) Penerapan Semantic Chunking dan Semantic Reranking untuk Optimalisasi Performa Large Language Model pada Sistem Pembuatan Soal Otomatis Berbasis Website. Skripsi thesis, Universitas Jenderal Soedirman.

	PDF (Cover) COVER-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Download (191kB)
	PDF (Legalitas) LEGALITAS-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Restricted to Repository staff only Download (1MB)
	PDF (Abstrak) ABSTRAK-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Download (242kB)
	PDF (BabI) BAB-I-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Restricted to Repository staff only until 30 April 2027. Download (253kB)
	PDF (BabII) BAB-II-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Restricted to Repository staff only until 30 April 2027. Download (447kB)
	PDF (BabIII) BAB-III-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Restricted to Repository staff only until 30 April 2027. Download (330kB)
	PDF (BabIV) BAB-IV-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Restricted to Repository staff only Download (1MB)
	PDF (BabV) BAB-V-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Download (230kB)
	PDF (DaftarPustaka) DAFTAR PUSTAKA-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Download (225kB)
	PDF (Lampiran) LAMPIRAN-Daniel Abdillah Arif-H1D022055-Skripsi-2026.pdf Restricted to Repository staff only Download (327kB)

Abstract

Pengembangan sistem Automatic Question Generation (AQG) berbasis Large Language Model (LLM) menghadapi tantangan dalam mempertahankan relevansi konteks, terutama untuk menghasilkan soal kategori Higher Order Thinking Skills (HOTS). Masalah muncul ketika prapemrosesan data konvensional gagal menjaga hubungan semantik, yang memicu terjadinya halusinasi pada model akibat konteks yang terpotong. Penelitian ini bertujuan mengoptimalkan performa LLM pada sistem AQG berbasis website dengan menerapkan metode semantic chunking dan semantic reranking untuk meningkatkan kualitas dan konsistensi pertanyaan khususnya pada kategori HOTS. Pengujian yang dilakukan dibagi menjadi dua, yaitu pengujian fungsional menggunakan metode blackbox testing dan pengujian luaran model LLM menggunakan framework Deepeval. Hasil penelitian menunjukkan bahwa penerapan semantic reranking meningkatkan kualitas pengambilan informasi, dengan kenaikan skor contextual precision dari 0,604 menjadi 0,787 dan skor contextual recall dari 0,837 menjadi 0,850. Pada sisi luaran layanan AI, penerapan semantic chunking berhasil meningkatkan skor faithfulness dari 0,716 menjadi 0,855, skor answer relevancy dari 0,883 menjadi 0,961, serta skor answer correctness dari 0,777 menjadi 0,944. Secara keseluruhan, integrasi kedua metode semantik ini terbukti efektif meningkatkan ketepatan konteks dan validitas soal yang dihasilkan oleh sistem AQG.

Item Type:	Thesis (Skripsi)
Nomor Inventaris:	H26108
Uncontrolled Keywords:	Automatic Question Generation, Large Language Model, Semantic Chunking, Semantic Reranking, Higher Order Thinking Skills, Deepeval.
Subjects:	W > W84 Web sites Design
Divisions:	Fakultas Teknik > S1 Teknik Informatika
Depositing User:	Mr. Daniel Abdillah Arif
Date Deposited:	30 Apr 2026 07:49
Last Modified:	30 Apr 2026 07:49
URI:	http://repository.unsoed.ac.id:443/id/eprint/40862

Actions (login required)

View Item