İleri Beslemeli Yapay Sinir Ağları için Donanım Uygulamasına Yatkın Çevrimiçi ELM Tabanlı Eğitim Algoritması

Bu bildiride, ileri beslemeli tek gizli katmanlı yapay sinir ağları için donanım uygulamasına uyumlu olan ve seyrek düzenlileştirilmiş bir aşırı öğrenme makinası (ELM) algoritması sunulmaktadır. Önerilen algoritma, düzenlileştirme için genelleştirilmiş minimaks konkav (GMC) ceza fonksiyonuna dayanmakta ve matris tersi alma veya norm hesaplaması gibi donanım mimarisi için karmaşıklığı arttıracak matematiksel işlemleri içermemektedir. Önerilen algoritma, çevrimiçi sıralı ELM (OS-ELM) algoritmasına benzer olarak, çevrimiçi öğrenmeyi destekleyecek şekilde değiştirilmiştir. Önerilen algoritma, UCI makine öğrenmesi veri deposundan alınan veri kümeleri ile test edilmiş ve genel olarak daha yüksek seyreklik seviyelerine ulaşmıştır. OS-ELM algoritmasına göre genellikle daha iyi sonuçlar vermiştir. Ek olarak, düzenlileştirme ile artan seyreklik seviyeleri sayesinde, önerilen algoritma yapay sinir ağından gereksiz değişkenleri elemekte ve test verileri için tahmin doğruluğunu artırmaktadır.

This paper presents a sparsely regularized extreme learning machine (ELM) algorithm compatible with hardware implementation for feedforward single-hidden-layer artificial neural networks. The proposed algorithm relies on a generalized minimax concave (GMC) penalty function for regularization and does not include mathematical operations that would increase complexity for the hardware architecture, such as matrix inversion or norm calculation. Similar to the online sequential ELM (OS-ELM) algorithm, the proposed algorithm has been modified to support online learning. The proposed algorithm was tested with datasets from the UCI machine learning data repository and generally achieved higher sparsity levels, yielding generally better results than the OS-ELM algorithm. Additionally, thanks to the increased sparsity levels through regularization, the proposed algorithm eliminates redundant variables from the artificial neural network and improves prediction accuracy for the test data.