Sun'iy intellekt (AI) va Alberta universitetining kompyuter olimlari zamonaviy sun'iy neyron tarmoqlarda yangi ma'lumotlardan o'rganishga to'sqinlik qiladigan halokatli unutish muammosini hal qilishdi. Nature jurnalida chop etilgan maqolada eslatib o'tilgan yangi yondashuv sun'iy intellektga cheksiz vaqtgacha o'rganishni davom ettirish imkonini beradi.
Qattiq unutishda yangi vazifani hal qilishni o'rganayotgan neyron tarmoq oldingi vazifani bajarish qobiliyatini yo'qotadi. Xuddi shu narsa katta til modellari (LLM), shu jumladan GPT oilasi uchun ham amal qiladi, chunki LLMlar sobit maʼlumotlar toʻplamidan oʻrganish uchun moʻljallangan.
Neyron tarmog'ini o'rgatishda sun'iy neyronlar orasidagi ulanishlarning og'irligini o'zgartiradigan matematik hisoblar sodir bo'ladi. Biologik miyadagi neyronlar orasidagi sinapslarning kuchi kabi, ulanishlarning og'irligi ham ushbu ulanishlar orqali uzatiladigan ma'lumotlarning ahamiyatini aniqlaydi. Zamonaviy ta'lim usullari stokastik gradient tushish va orqaga tarqalish kabi algoritmlarga asoslanadi. Biroq, bu algoritmlar hozirgi ko'rinishida eski va yangi ma'lumotlarni moslashtira olmaydi va buning sabablari hali to'liq tushunilmagan.
Yangi tadqiqotda olimlar standart o‘rganish algoritmlari hamda uzluksiz o‘rganish uchun o‘zgartirilgan klassik ImageNet va CIFAR-100 ma’lumotlar to‘plamlaridan foydalanganlar. Aniqlanishicha, chuqur o'rganish usullari moslashuvchanlikni yo'qotish deb ataladigan uzluksiz trening bilan ishlashni to'xtatadi.
Ushbu muammoni hal qilish va neyron tarmoqqa o'z moslashuvchanligini cheksiz saqlashga yordam berish uchun tadqiqotchilar mashg'ulotlar o'rtasida neyron tarmoqdagi kamroq foydalaniladigan tugunlarni qayta tortishni taklif qilishdi. Uzluksiz orqaga tarqalish deb ataladigan yangi algoritm tizimni dastlabki o'rnatishda qo'llanilgan usullardan foydalangan holda tasodifiy tanlangan va kamdan-kam ishlatiladigan birliklarni qayta ishga tushirishni o'z ichiga oladi. Bu neyron tarmoqlarga ilgari olingan bilimlarni yo'qotmasdan yangi ma'lumotlar to'plamlarida o'rganishni davom ettirish imkonini berishi ko'rsatildi.