Альберта университетінің жасанды интеллект (AI) және компьютер ғалымдары жаңа деректерден үйренуге кедергі келтіретін заманауи жасанды нейрондық желілердегі апатты ұмыту мәселесін шешті. Nature журналында жарияланған мақалада айтылған жаңа тәсіл AI-ға оқуды шексіз жалғастыруға мүмкіндік береді.
Қатты ұмыту кезінде жаңа тапсырманы шешуді үйренетін нейрондық желі алдыңғы тапсырманы орындау мүмкіндігін жоғалтады. Үлкен тіл үлгілеріне (LLM), соның ішінде GPT тобына да қатысты, өйткені LLM тіркелген деректер жиынынан үйренуге арналған.
Нейрондық желіні жаттықтыру кезінде жасанды нейрондар арасындағы байланыстардың салмақтарын өзгертетін математикалық есептеулер орын алады. Биологиялық мидағы нейрондар арасындағы синапстардың күші сияқты, байланыстардың салмағы да сол байланыстар арқылы берілетін ақпараттың маңыздылығын анықтайды. Қазіргі заманғы оқыту әдістері стохастикалық градиенттің түсуі және кері таралу сияқты алгоритмдерге негізделген. Дегенмен, бұл алгоритмдер өздерінің қазіргі түрінде ескі және жаңа деректерді сәйкестендіре алмайды және оның себептері әлі толық түсінілмеген.
Жаңа зерттеуде ғалымдар стандартты оқыту алгоритмдерін және үздіксіз оқыту үшін модификацияланған классикалық ImageNet және CIFAR-100 деректер жинақтарын пайдаланды. Терең оқыту әдістері икемділіктің жоғалуы деп аталатын үздіксіз жаттығулармен жұмысын тоқтататыны көрсетілді.
Бұл мәселені шешу және нейрондық желіге өзінің икемділігін шексіз сақтауға көмектесу үшін зерттеушілер нейрондық желідегі аз пайдаланылған түйіндерді жаттығулар арасында қайта өлшеуді ұсынды. Үздіксіз кері таралу деп аталатын жаңа алгоритм жүйені бастапқы орнату кезінде қолданылған әдістерді қолдана отырып, кездейсоқ таңдалған және сирек қолданылатын бірліктердің шағын санын қайта инициализациялауды қамтиды. Бұл нейрондық желілерге бұрын алынған білімді жоғалтпай, жаңа деректер жинақтарында оқуды жалғастыруға мүмкіндік беретіні көрсетілді.