Mašininio mokymosi hiperparametrai yra tie parametrai, kuriuos aiškiai apibrėžia vartotojas, norėdamas valdyti mokymosi procesą. Šie hiperparametrai naudojami modelio mokymuisi tobulinti, o jų reikšmės nustatomos prieš pradedant modelio mokymosi procesą.

Šioje temoje aptarsime vieną iš svarbiausių mašininio mokymosi sąvokų, ty hiperparametrus, jų pavyzdžius, hiperparametrų derinimą, hiperparametrų kategorijas, kuo hiperparametras skiriasi nuo mašininio mokymosi parametro? Tačiau prieš pradėdami pirmiausia supraskime hiperparametrą.

Kas yra hiperparametrai?

Mašininio mokymosi / giluminio mokymosi sistemoje modelis pavaizduotas jo parametrais. Priešingai, mokymo procesas apima geriausių / optimalių hiperparametrų, kuriuos naudoja mokymosi algoritmai, kad būtų pasiektas geriausias rezultatas. Taigi, kas yra šie hiperparametrai? Atsakymas yra, ' Hiperparametrai apibrėžiami kaip parametrai, kuriuos vartotojas aiškiai apibrėžia, kad galėtų valdyti mokymosi procesą.

Čia priešdėlis „hiper“ rodo, kad parametrai yra aukščiausio lygio parametrai, naudojami mokymosi procesui valdyti. Hiperparametro reikšmę pasirenka ir nustato mašininio mokymosi inžinierius, prieš mokymosi algoritmui pradėdamas treniruoti modelį. Vadinasi, jie yra išoriniai modeliui ir jų reikšmės negali būti keičiamos mokymo proceso metu .

laikotarpio raktas

Keletas mašininio mokymosi hiperparametrų pavyzdžių

• K kNN arba K artimiausio kaimyno algoritmas
• Neuroninio tinklo mokymosi greitis
• Traukinio ir bandymo padalijimo santykis
• Partijos dydis
• Epochų skaičius
• Filialai sprendimų medyje
• Klasterių skaičius klasterizacijos algoritme

Skirtumas tarp parametro ir hiperparametro?

Visada yra didelė painiava tarp parametrų ir hiperparametrų arba modelio hiperparametrų. Taigi, norėdami išspręsti šią painiavą, supraskime, kuo jie abu skiriasi ir kaip jie yra susiję vienas su kitu.

Modelio parametrai:

Modelio parametrai yra konfigūracijos kintamieji, kurie yra modelio viduje, ir modelis juos išmoksta pats. Pavyzdžiui , W Nepriklausomų kintamųjų svoriai arba koeficientai tiesinės regresijos modelyje . arba Nepriklausomų SVM kintamųjų svoriai arba koeficientai, neuroninio tinklo svoris ir poslinkiai, klasterio centroidas klasterizuojant. Kai kurie pagrindiniai modelio parametrų punktai yra šie:

• Modelis juos naudoja prognozėms sudaryti.
• Juos modelis išmoksta iš pačių duomenų
• Paprastai jie nenustatomi rankiniu būdu.
• Tai yra modelio dalis ir mašininio mokymosi algoritmo raktas.

Modelio hiperparametrai:

Hiperparametrai yra tie parametrai, kuriuos vartotojas aiškiai apibrėžia mokymosi procesui valdyti. Kai kurie pagrindiniai modelio parametrų punktai yra šie:

• Paprastai juos rankiniu būdu nustato mašininio mokymosi inžinierius.
• Negalima žinoti tikslios geriausios hiperparametrų reikšmės duotai problemai. Geriausia vertė gali būti nustatyta pagal nykščio taisyklę arba bandymų ir klaidų būdu.
• Kai kurie hiperparametrų pavyzdžiai yra mokymosi greitis lavinant neuroninį tinklą, K pagal KNN algoritmą,

Hiperparametrų kategorijos

Apskritai hiperparametrus galima suskirstyti į dvi kategorijas, kurios pateikiamos toliau:

Hiperparametras optimizavimui Hiperparametras konkretiems modeliams

Hiperparametras optimizavimui

Geriausių naudotinų hiperparametrų parinkimo procesas yra žinomas kaip hiperparametrų derinimas, o derinimo procesas taip pat žinomas kaip hiperparametrų optimizavimas. Optimizavimo parametrai naudojami modelio optimizavimui.

Toliau pateikiami kai kurie populiarūs optimizavimo parametrai:

Mokymosi rodiklis:Mokymosi greitis yra optimizavimo algoritmų hiperparametras, kuris kontroliuoja, kiek modelis turi keistis atsižvelgiant į įvertintą klaidą kiekvieną kartą, kai atnaujinami modelio svoriai. Tai vienas iš esminių parametrų kuriant neuroninį tinklą, taip pat lemia kryžminio patikrinimo su modelio parametrais dažnumą. Optimizuoto mokymosi greičio pasirinkimas yra sudėtinga užduotis, nes jei mokymosi greitis yra labai mažesnis, tai gali sulėtinti mokymo procesą. Kita vertus, jei mokymosi greitis yra per didelis, jis gali netinkamai optimizuoti modelį.

Pastaba: Mokymosi greitis yra esminis hiperparametras optimizuojant modelį, todėl, jei reikia derinti tik vieną hiperparametrą, siūloma sureguliuoti mokymosi greitį.

Partijos dydis:Siekiant pagreitinti mokymosi procesą, mokymo rinkinys yra padalintas į skirtingus pogrupius, kurie yra žinomi kaip paketas. Epochų skaičius: Epocha gali būti apibrėžta kaip visas mašininio mokymosi modelio mokymo ciklas. Epocha yra pasikartojantis mokymosi procesas. Epochų skaičius kiekvienam modeliui skiriasi, o įvairūs modeliai kuriami su daugiau nei viena epocha. Norint nustatyti tinkamą epochų skaičių, atsižvelgiama į patvirtinimo klaidą. Epochų skaičius didinamas tol, kol sumažės patvirtinimo klaida. Jei iš eilės einančių epochų redukcijos paklaida nepagerėja, tai reiškia, kad epochų skaičiaus didinimas nebebus.

Hiperparametras konkretiems modeliams

Hiperparametrai, dalyvaujantys modelio struktūroje, yra žinomi kaip specifinių modelių hiperparametrai. Jie pateikiami žemiau:

Keletas paslėptų vienetų:Paslėpti įrenginiai yra neuroninių tinklų dalis, kuri reiškia komponentus, susidedančius iš procesorių sluoksnių tarp įvesties ir išvesties vienetų neuroniniame tinkle.

Svarbu nurodyti neuroninio tinklo paslėptų vienetų hiperparametrų skaičių. Jis turėtų būti tarp įvesties sluoksnio dydžio ir išvesties sluoksnio dydžio. Tiksliau, paslėptų vienetų skaičius turėtų būti 2/3 įvesties sluoksnio dydžio, pridėjus išvesties sluoksnio dydį.

Sudėtingoms funkcijoms atlikti būtina nurodyti paslėptų vienetų skaičių, tačiau jis neturėtų per daug pritaikyti modeliui.

Sluoksnių skaičius:Neuroninį tinklą sudaro vertikaliai išdėstyti komponentai, vadinami sluoksniais. Daugiausia yra įvesties sluoksnius, paslėptus sluoksnius ir išvesties sluoksnius . 3 sluoksnių neuroninis tinklas veikia geriau nei 2 sluoksnių tinklas. Konvoliuciniam neuroniniam tinklui didesnis sluoksnių skaičius sudaro geresnį modelį.

Išvada

Hiperparametrai yra parametrai, kurie yra aiškiai apibrėžti siekiant valdyti mokymosi procesą prieš taikant mašininio mokymosi algoritmą duomenų rinkiniui. Jie naudojami modelio mokymosi pajėgumams ir sudėtingumui nurodyti. Kai kurie hiperparametrai naudojami modeliams optimizuoti, pvz., partijos dydis, mokymosi greitis ir kt., o kai kurie yra būdingi modeliams, pvz., Paslėptų sluoksnių skaičius ir kt.