Part of Speech Tagging Pada Teks Bahasa Indonesia dengan BiLSTM + CNN + CRF dan ELMo
Article Sidebar
Main Article Content
Abstract
Part of Speech Tagging atau POS Tag merupakan salah satu proses untuk mengelompokkan kata berdasarkan kelas kata seperti: kata benda, kata kerja, atau kata sambung. Kegunaan POS Tag antara lain dapat bermanfaat pada analisis sentimen, pengenalan entitas bernama, dan konversi teks ke suara. Dalam melakukan POS Tag, jika dilakukan secara manual dapat menghabiskan banyak waktu, oleh karena itu dibuatlah sistem berbasis machine learning untuk mengotomatisasi proses ini. Pada penelitian ini, dilakukan POS Tag dengan menerapkan transfer learning dengan model Embedding from Language Model (ELMo). Model ELMo cukup populer digunakan pada dataset bahasa Inggris karena dapat memberi hasil akurasi yang memuaskan namun pada dataset bahasa Indonesia belum ada paper yang membahas tentang model ini. Melalui penelitian ini ingin dilihat bagaimana performa ELMo pada dataset bahasa Indonesia. Model yang digunakan untuk menyelesaikan masalah POS Tag adalah model berbasis BiLSTM. Pada penelitian ini, juga ingin dilihat bagaimana performa model jika ditambahkan CNN setelah BiLSTM. Selain itu, juga diteliti bagaimana performa dari tiap lapisan ELMo. Dari penelitian ini diperoleh bahwa metode BiLSTM + CNN + CRF dengan embedding ELMo lapisan pertama memiliki akurasi terbaik, dengan nilai 95.62%. Selain itu, diperoleh bahwa penambahan CNN setelah BiLSTM dapat meningkatkan akurasi serta mengurangi overfitting pada masalah POS Tag bahasa Indonesia.
Downloads
Article Details
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Jurnal Eksplora Informatika bersifat open access, yaitu dapat diakses secara umum tanpa dikenakan biaya. Penulis yang menerbitkan artikelnya di Jurnal Eksplora Informatika setuju dengan ketentuan berikut:
- Penulis memegang hak cipta dan memberikan hak publikasi pertama kepada Jurnal Eksplora Informatika menggunakan lisensi Creative Commons Attribution-ShareAlike 4.0.
- Penulis diizinkan untuk mengarsipkan/menggunggah/meyimpan artikel mereka, misalnya dalam repositori institusional atau situs web/blog penulis, namun diharapkan agar memberikan rincian bibliografi yang menghargai publikasi di jurnal ini.
- Jurnal Eksplora Informatika berhak untuk menyediakan artikel dalam berbagai bentuk dan media, sehingga artikel dapat digunakan untuk teknologi terbaru bahkan setelah dipublikasikan.
- Jurnal Eksplora Informatika berhak untuk menegakkan hak-hak atas nama penulis pada artikel terhadap pihak ketiga. Misalnya dalam kasus plagiarisme atau pelanggaran hak cipta.
References
A. Kulkarni and A. Shivananda, Natural Language Processing Recipes: Unlocking Text Data with Machine Learning and Deep Learning using Python. 2019.
D. E. Cahyani and M. J. Vindiyanto, “Indonesian Part of Speech Tagging using Hidden Markov Model - Ngram Viterbi,” in 2019 4th International Conference on Information Technology, Information Systems and Electrical Engineering, ICITISEE 2019, Nov. 2019, pp. 353–358, doi: 10.1109/ICITISEE48480.2019.9003989.
R. S. Yuwana, E. Suryawati, and H. F. Pardede, “On Empirical Evaluation of Deep Architectures for Indonesian POS Tagging Problem,” 2018 Int. Conf. Comput. Control. Informatics its Appl. Recent Challenges Mach. Learn. Comput. Appl. IC3INA 2018 - Proceeding, no. November 2018, pp. 204–208, 2019, doi: 10.1109/IC3INA.2018.8629531.
Y. Munarko, Y. Azhar, M. Balqis, and S. Ekawati, “POS Tagger Tweet Bahasa Indonesia,” Kinetik, vol. 2, no. 1, pp. 9–16, 2017, doi: 10.22219/kinetik.v2i1.169.
N. Sabloak, “Part-of-Speech (POS) Tagging Bahasa Indonesia Menggunakan Algoritma Viterbi,” no. x, pp. 1–11, 2016.
G. Hinton, “Deep belief networks,” Scholarpedia, vol. 4, no. 5, p. 5947, 2009, doi: 10.4249/scholarpedia.5947.
P. Goyal, S. Pandey, and K. Jain, Deep Learning for Natural Language Processing: Creating Neural Networks with Python. 2018.
K. Kurniawan and A. F. Aji, “Toward a Standardized and More Accurate Indonesian Part-of-Speech Tagging,” Proc. 2018 Int. Conf. Asian Lang. Process. IALP 2018, pp. 303–307, 2019, doi: 10.1109/IALP.2018.8629236.
X. Ma and E. Hovy, “End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF,” 54th Annu. Meet. Assoc. Comput. Linguist. ACL 2016 - Long Pap., vol. 2, pp. 1064–1074, 2016, doi: 10.18653/v1/p16-1101.
W. Che, Y. Liu, Y. Wang, B. Zheng, and T. Liu, “Towards Better UD Parsing: Deep Contextualized Word Embeddings, Ensemble, and Treebank Concatenation,” CoNLL 2018 - SIGNLL Conf. Comput. Nat. Lang. Learn. Proc. CoNLL 2018 Shar. Task Multiling. Parsing from Raw Text to Univers. Depend., pp. 55–64, 2018, doi: 10.18653/v1/K18-2005.
E. V. Murhaf Fares, Andrey Kutuzov, Stephan Oepen, “Word Vectors, Reuse, and Replicability: Towards a Community Repository of Large-text Resources,” Proc. 21st Nord. Conf. Comput. Linguist. NoDaLiDa, 22-24 May 2017, Gothenburg, Sweden, no. 131, pp. 271–276, 2017.
A. Dinakaramani, F. Rashel, A. Luthfi, and R. Manurung, “Designing an Indonesian part of speech tagset and manually tagged Indonesian corpus,” Proc. Int. Conf. Asian Lang. Process. 2014, IALP 2014, pp. 66–69, 2014, doi: 10.1109/IALP.2014.6973519.
M. E. Peters et al., “Deep contextualized word representations,” NAACL HLT 2018 - 2018 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. - Proc. Conf., vol. 1, pp. 2227–2237, 2018, doi: 10.18653/v1/n18-1202.
M. Cogswell, F. Ahmed, R. Girshick, L. Zitnick, and D. Batra, “Reducing Overfitting In Deep Networks By Decorrelating Representations.”
F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” Online. Accessed: Feb. 08, 2021. [Online]. Available: https://huggingface.co/.
G. Lample, M. Ballesteros, S. Subramanian, K. Kawakami, and C. Dyer, “Neural Architectures for Named Entity Recognition.” Accessed: Feb. 08, 2021. [Online]. Available: https://github.com/.
