Presented at the International Congress on Human-Computer Interaction, Optimization and Robotic Applications (HORA2019), Ürgüp, Turkey, Jul 05, 2019

SETSCI Conference Proceedings, 2019, 8, Page (s): 132-135 , https://doi.org/10.36287/setsci.4.5.026

Published Date: 12 October 2019    | 666     20

Abstract – The manual preparation of exam questions gives rise to a major challenge, especially for lecturers who have limited time. Furthermore, it causes to be repetition of questions, lack of assessment and evaluation or security problems. The exam questions which are sufficient to measure the knowledge and skills of the students that take long time and mental effort. In this study, the model which is based on Bloom’s taxonomy using Genetic algorithm is presented to select exam questions in a question pool for minimizing waste of time and mental effort, a fitness function of the exams is determined as well. The proposed fitness function provides question-level diversity when it tries to bring difficulty level of the generated exam using GA closer to desired general difficulty level of the exam. If the fitness value of the exam is less value than others, the exam is to be desired distribution of selected questions. Presented GA try to minimize fitness function. A question pool which has classified questions according to difficulty, score weight and types is prepared and exam constraints is determined for object oriented programming course (OOP) in the curriculum of computer engineering department to test the proposed model. 100 exams are generated using the pool. While the initial mean of fitness function values is 73, the mean of fitness function values produced by the model is 63 in case general difficulty level of the exam is given 6. The best fitness function value of generated exams using the model is 60.

Özet – Sınav sorularının elle hazırlanması özellikle kısıtlı zamana sahip eğitimciler için büyük zorluk oluşturmaktadır. Ayrıca elle hazırlanan sınavlar soru tekrarı, ölçme ve değerlendirmeyi sağlayamama veya güvenlik sorunları gibi problemlere neden olmaktadır. Sınav sorularının öğrencilerin bilgi ve becerilerini ölçecek yeterlilikte olması uzun zaman ve efor almasına sebep olmaktadır. Bu zaman kaybı ve eforu minimize etmek için bu çalışmada genetik algoritma kullanımı ile Bloom’s taksonomi tabanlı bir sınav sorusu hazırlama modeli sunulmuş, ayrıca sınav testlerinin uygunluk fonksiyonu belirlenmiştir. Bu çalışmada sunulan amaç fonksiyonu soru seviyesi çeşitliliğini sağlarken bir taraftan da sınav için belirlenen genel zorluk seviyesine yaklaşmayı amaçlar, bu değer ne kadar küçükse ilgili sınav soruları istenilen dağılıma yakın olmuş olur. Modellenen genetik algoritma bu amaç fonksiyonunu minimize etmeye çalışır. Önerilen modelin testi için Bilgisayar Mühendisliği müfredatında bulunan Nesne Tabanlı Programlama dersi için bir soru havuzu hazırlanıp sorular zorluk, puan ağırlığı ve tiplerine göre sınıflandırılmış, sınav kısıtları belirlenmiştir. Bu soru havuzundan 100 farklı sınav sunulmuştur. Genel zorluk derecesi 6 olarak belirlenen bir sınav için başlangıçtaki ortalama amaç fonksiyonu 73 iken model sonucunda üretilen ortalama amaç fonksiyon değeri 63 olmuştur. İlgili modelden elde edilen minimum amaç fonksiyonu değeri 60 tır.

Keywords - Genetic Algorithm, Automated Exam Paper, Automated Question Generator, Bloom’s Taxonomy, Artificial İntelligence

[1] (2019) Yüksek Öğretim Kurumu website. [Online]. Available: https://istatistik.yok.gov.tr/

[2] Rahim, T.A., Aziz, Z.A., Rauf, R.H., & Shamsudin, N. Automated exam question generator using genetic algorithm. 2017 IEEE Conference on e-Learning, e-Management and e-Services (IC3e), 12-17, 2017.

[3] Immanuel and Tilasi.B, "Framework for Automatic Examination Paper Generation System, “International Journal of Computer Science and Technology, vol. 6, no. 1, pp. 128-130, 2015..

[4] K. Naik, S. Sule, S. Jadhav and S. Pandey, "Automatic Question Paper Generation System using Randomization Algorithm," International

[5] J. Yang, "Design on Generating Test Paper Based on Simulated Annealing Algorithm," in International Conference on Civil, Materials and Environemental Sciences (CMES 2015), 2015.

[6] Journal of Engineering and Technical Research (IJETR), vol. 2, no. 12. Liu, D., Wang, J., & Zheng, L. "Automatic Test Paper Generation Based on Ant Colony Algorithm". Journal of Software, vol. 8, pp 2600-2606, 2013.

[7] D. R. Krathwohl, “A revision of Bloom's taxonomy: An overview. Theory into practice,” Vol. 4 41, pp. 212-218, 2002.

[8] Bloom, B. S., Englehart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R.. The Taxonomy of educational objectives, handbook I: The Cognitive domain. New York: David McKay Co., 1956

[9] (2019) The University of Arkansas website. [Online]. Available: https://tips.uark.edu/using-blooms-taxonomy/

[10] L. Han and X. Li, "The Analysis of Exam Paper Component Based on Genetic Algorithm," 2014 Fourth International Conference on Communication Systems and Network Technologies, Bhopal, 2014, pp. 561-564.

[11] Hermawanto, D. (2013). Genetic Algorithm for Solving SimpleMathematical Equality Problem. ArXiv, abs/1308.4675.

[12] (2019) DEAP website. [Online]. Available: https://deap.readthedocs.io/en/master/api/tools.html#deap.tools.selBest