Kas yra „Holdout“rinkinys? Kartais vadinamas „testavimo“duomenimis, išlaikymo poaibis pateikia galutinį mašininio mokymosi modelio našumo įvertinimą, kai jis buvo apmokytas ir patvirtintas. Išlaikymo rinkiniai niekada neturėtų būti naudojami priimant sprendimus, kuriuos algoritmus naudoti, arba siekiant tobulinti ar derinti algoritmus.
Ar kryžminis patvirtinimas yra geresnis nei išlaikymas?
Kryžminis patvirtinimas dažniausiai yra pageidaujamas metodas, nes jis suteikia jūsų modeliui galimybę treniruotis keliais traukinio bandymo padalomis. Tai leidžia geriau suprasti, kaip gerai jūsų modelis veiks su nematomais duomenimis. Kita vertus, sulaikymas priklauso tik nuo vieno traukinio bandymo padalijimo.
Kas yra išlaikymas?
Laikymo metodas yra paprasčiausias klasifikatoriaus įvertinimo metodas. Taikant šį metodą, duomenų rinkinys (duomenų elementų arba pavyzdžių rinkinys) yra padalintas į du rinkinius, vadinamus mokymo rinkiniu ir testų rinkiniu. Klasifikatorius atlieka tam tikros rinkinio duomenų elementų priskyrimo tikslinei kategorijai arba klasei funkciją.
Ar turėčiau visada atlikti kryžminį patvirtinimą?
Paprastai kryžminis patvirtinimas yra visada reikalingas, kai reikia nustatyti optimalius modelio parametrus, logistinei regresijai tai būtų C parametras.
Koks K-kartų kryžminio patvirtinimo pranašumas?
Jei lyginate bandomąjį, MSE yra geresni, kai CV yra k kartų, nei LOOCV. k-karto CV ar bet koks CV arba pakartotinio atrankos metodai nepagerinti bandymo klaidas. jie įvertina testo klaidas. k-karto atveju jis geriau įvertina klaidą nei LOOCV.
