15 popularnih mjernih podataka o strojnom učenju za Data Scientist

Strojno učenje jedan je od najistraženijih predmeta u posljednja dva desetljeća. Ljudskim potrebama nema kraja. Ali njihova su proizvodna i radna sposobnost ograničene. Zato svijet ide prema automatizaciji. Strojno učenje ima veliku ulogu u ovoj industrijskoj revoluciji. Programeri svakodnevno grade robusnije ML modele i algoritme. Ali ne možete svoj model samo baciti u proizvodnju, a da ga ne procijenite. Tu dolaze metrike strojnog učenja. Znanstvenici podataka koriste se ovim mjernim podacima kako bi izmjerili koliko dobar model predviđa. Morate imati dobru predstavu o njima. Kako bismo vam olakšali putovanje u ML, navest ćemo najpopularnije mjerne podatke strojnog učenja koje možete naučiti kako biste postali bolji znanstvenik podataka.

Najpopularnije metrike strojnog učenja

Pretpostavljamo da ste dobro upoznati s algoritmima strojnog učenja. Ako niste, možete provjeriti naš članak o algoritmima ML. Sada ćemo proći kroz 15 najpopularnijih mjernih podataka o strojnom učenju koje biste trebali znati kao znanstvenik podataka.

01. Matrica zbrke

Znanstvenici podataka koriste matricu zbrke za procjenu izvedbe klasifikacijskog modela. To je zapravo stol. Redci prikazuju stvarnu vrijednost, dok stupci izražavaju predviđenu vrijednost. Budući da se postupak ocjenjivanja koristi za klasifikacijske probleme, matrica može biti što veća. Uzmimo primjer da bismo ga jasnije razumjeli.

Pretpostavimo da postoji ukupno 100 slika mačaka i pasa. Model je predvidio da je njih 60 mačaka, a 40 njih nisu mačke. Međutim, u stvarnosti je njih 55 bilo mačaka, a ostalih 45 pasa. Pretpostavljajući da su mačke pozitivne, a psi negativni, možemo definirati neke važne pojmove.

• Model je točno predvidio 50 slika mačaka. Oni se nazivaju istinskim pozitivnim (TP).
• Predviđalo se da će 10 pasa biti mačke. To su lažno pozitivni (FP).
• Matrica je točno predvidjela da njih 35 nisu mačke. Oni se nazivaju istinskim negativima (TN).
• Ostalih 5 nazivaju se lažnim negativima (FN) jer su to bile mačke. No manekenka ih je predvidjela kao pse.

02. Točnost klasifikacije

Ovo je najjednostavniji postupak za procjenu modela. Možemo ga definirati kao ukupan broj točnih predviđanja podijeljen s ukupnim brojem ulaznih vrijednosti. U slučaju klasifikacijske matrice, može se reći kao omjer zbroja TP i TN prema ukupnom broju ulaza.

Stoga je točnost u gornjem primjeru (50 + 35/100), tj.e., 85%. Ali postupak nije uvijek učinkovit. Često može dati pogrešne informacije. Metrika je najučinkovitija kada su uzorci u svakoj kategoriji gotovo jednaki.

03. Preciznost i opoziv

Točnost ne funkcionira uvijek dobro. Može dati pogrešne informacije kada postoji nejednaka raspodjela uzoraka. Dakle, treba nam više mjernih podataka da bismo pravilno procijenili naš model. Tu ulaze preciznost i opoziv. Preciznost je istinska pozitivna vrijednost ukupnog broja pozitivnih vrijednosti. Možemo znati koliko naš model odgovara otkrivanjem stvarnih podataka.

Preciznost gornjeg primjera bila je 50/60, tj.e., 83.33%. Manekenki ide dobro u predviđanju mačaka. S druge strane, opoziv je omjer istinitog pozitivnog i zbroja istinski pozitivnog i lažno negativnog. Prisjećanje nam pokazuje koliko često model predviđa mačku u sljedećem primjeru.

Opoziv u gornjem primjeru je 50/55, tj.e., 90%. U 90% slučajeva model je zapravo točan.

04. F1 rezultat

Savršenstvu nema kraja. Opoziv i preciznost mogu se kombinirati kako bi se dobila bolja ocjena. Ovo je rezultat F1. Metrika je u osnovi harmonijska sredina preciznosti i opoziva. Matematički se to može zapisati kao:

Iz primjera mačaka i pasa, F1 ocjena je 2 *.9 *.8 / (.9+.8), tj.e., 86%. Ovo je daleko preciznije od točnosti klasifikacije i jedne od najpopularnijih metrika strojnog učenja. Međutim, postoji uopćena verzija ove jednadžbe.

Korištenjem beta verzije možete pridati veću važnost opozivu ili preciznosti; u slučaju binarne klasifikacije, beta = 1.

05. ROC krivulja

ROC krivulja ili jednostavno krivulja karakteristika operatera prijemnika pokazuje nam kako naš model radi za različite pragove. U klasifikacijskim problemima model predviđa neke vjerojatnosti. Tada se postavlja prag. Bilo koji izlaz veći od praga je 1, a manji od 0. Na primjer, .2, .4,.6, .8 su četiri izlaza. Za prag .5 izlaz će biti 0, 0, 1, 1 i za prag .3 bit će 0, 1, 1, 1.

Različiti pragovi rezultirat će različitim opozivima i preciznostima. To će na kraju promijeniti istinsku pozitivnu stopu (TPR) i lažno pozitivnu stopu (FPR). ROC krivulja je graf nacrtan uzimajući TPR na y osi i FPR na x osi. Točnost nam daje informacije o jednom pragu. Ali ROC nam daje puno pragova za odabir. Zato je ROC bolji od točnosti.

06. AUC

Area Under Curve (AUC) je još jedna popularna metrika strojnog učenja. Programeri koriste postupak ocjenjivanja za rješavanje binarnih problema klasifikacije. Već znate za ROC krivulju. AUC je područje ispod ROC krivulje za različite vrijednosti praga. To će vam dati ideju o vjerojatnosti odabira modela pozitivnog uzorka u odnosu na negativni uzorak.

AUC se kreće od 0 do 1. Budući da FPR i TPR imaju različite vrijednosti za različite pragove, AUC se također razlikuje za nekoliko pragova. S povećanjem vrijednosti AUC, izvedba modela se povećava.

07. Gubitak trupaca

Ako svladavate Strojno učenje, morate znati gubitak dnevnika. To je vrlo važna i vrlo popularna metrika strojnog učenja. Ljudi koriste postupak za procjenu modela koji imaju vjerojatnosne ishode. Gubitak dnevnika povećava se ako se predviđena vrijednost modela znatno razlikuje od stvarne vrijednosti. Ako je stvarna vjerojatnost .9 a predviđena vjerojatnost je .012, model će imati ogroman gubitak dnevnika. Jednadžba za proračun gubitka dnevnika je sljedeća:

Gdje,

• p (yi) je vjerojatnost pozitivnih uzoraka.
• 1-p (yi) je vjerojatnost negativnih uzoraka.
• yi je 1, odnosno 0 za pozitivnu i negativnu klasu.

Iz grafikona primjećujemo da se gubitak smanjuje s povećanjem vjerojatnosti. Međutim, povećava se s manjom vjerojatnošću. Idealni modeli imaju 0 gubitaka dnevnika.

08. Srednja apsolutna pogreška

Do sada smo raspravljali o popularnim mjernim podacima strojnog učenja za probleme klasifikacije. Sada ćemo razgovarati o mjernim podacima regresije. Srednja apsolutna pogreška (MAE) jedna je od metrika regresije. Isprva se izračunava razlika između stvarne i predviđene vrijednosti. Tada prosjek apsoluta tih razlika daje MAE. Jednadžba za MAE dana je u nastavku:

Gdje,

• n je ukupan broj ulaza
• yj je stvarna vrijednost
• yhat-j je predviđena vrijednost

Što je pogreška manja, to je model bolji. Međutim, ne možete znati smjer pogreške zbog apsolutnih vrijednosti.

09. Srednja kvadratna pogreška

Pogreška srednjeg kvadrata ili MSE još je jedna popularna metrika ML. Većina znanstvenika podataka koristi ga u problemima regresije. Kao i MAE, morate izračunati razliku između stvarnih vrijednosti i predviđenih vrijednosti. Ali u ovom slučaju razlike su na kvadrat i uzima se prosjek. Jednadžba je dana u nastavku:

Simboli označavaju isto što i MAE. MSE je u nekim slučajevima bolji od MAE. MAE ne može pokazati bilo koji smjer. U MSE-u nema takvog problema. Dakle, pomoću njega možete lako izračunati gradijent. MSE ima veliku ulogu u izračunavanju gradijentnog spuštanja.

10. Korijenska srednja kvadratna pogreška

Ovo je možda najpopularnija metrika strojnog učenja za probleme regresije. Korijenska srednja kvadratna pogreška (RMSE) u osnovi je kvadratni korijen MSE. Gotovo je sličan MAE, osim kvadratnog korijena, što pogrešku čini preciznijom. Jednadžba je:

Da ga usporedimo s MAE, uzmimo primjer. Pretpostavimo da postoji 5 stvarnih vrijednosti 11, 22, 33, 44, 55. A odgovarajuće predviđene vrijednosti su 10, 20, 30, 40, 50. Njihov MAE je 3. S druge strane, RMSE je 3.32, što je detaljnije. Zato je RMSE poželjniji.

11. R-kvadrat

Pogrešku možete izračunati iz RMSE i MAE. Međutim, usporedba dvaju modela nije baš prikladna za njihovu upotrebu. U problemima s klasifikacijom programeri uspoređuju dva modela s točnošću. Takvo mjerilo trebate u problemima regresije. R-kvadrat pomaže vam u usporedbi regresijskih modela. Njegova je jednadžba sljedeća:

Gdje,

• Model MSE je gore spomenuti MSE.
• Polazni MSE prosjek je kvadrata razlika između srednje predviđanja i stvarne vrijednosti.

Raspon R-kvadrata je od negativne beskonačnosti do 1. Veća vrijednost ocjene znači da model dobro odgovara.

12. Prilagođeni R-kvadrat

R-Squared ima nedostatak. Ne djeluje dobro kad se modelu dodaju nove značajke. U tom se slučaju vrijednost ponekad povećava, a ponekad ostaje ista. To znači da R-Squared nije briga ima li nova značajka nešto za poboljšanje modela. Međutim, ovaj je nedostatak uklonjen u prilagođenom R-kvadratu. Formula je: Gdje,

• P je broj značajki.
• N je broj ulaza / uzoraka.

U R-Squared Adjusted vrijednost se povećava samo ako nova značajka poboljša model. A kao što znamo, veća vrijednost R-Squared znači da je model bolji.

13. Nenadgledane metrike evaluacije učenja

Općenito koristite algoritam klasteriranja za učenje bez nadzora. To nije poput klasifikacije ili regresije. Model nema oznake. Uzorci se grupiraju ovisno o njihovoj sličnosti i različitosti. Da bismo procijenili ove probleme klasterizacije, potreban nam je drugačiji tip mjerne metrike. Koeficijent siluete popularna je metrika strojnog učenja za probleme klasteriranja. Radi sa sljedećom jednadžbom:

Gdje,

• 'a' je prosječna udaljenost između bilo kojeg uzorka i drugih točaka nakupine.
• 'b' je prosječna udaljenost između bilo kojeg uzorka i drugih točaka u najbližoj skupini.

Koeficijent siluete grupe uzoraka uzima se kao prosjek njihovih pojedinačnih koeficijenata. Kreće se od -1 do +1. +1 znači da klaster ima sve točke istih atributa. Što je veći rezultat, veća je gustoća klastera.

14. MRR

Kao i klasifikacija, regresija i klasteriranje, i rangiranje je problem strojnog učenja. Poredak navodi grupu uzoraka i rangira ih na temelju nekih određenih karakteristika. To redovito vidite na Googleu, navodeći e-adrese, YouTube itd. Mnogi znanstvenici podataka drže Srednji uzajamni rang (MRR) kao svoj prvi izbor za rješavanje problema s rangiranjem. Osnovna jednadžba je:

Gdje,

• Q je skup uzoraka.

Jednadžba nam pokazuje koliko dobro model rangira uzorke. Međutim, ima nedostatak. Uzima u obzir samo jedan atribut za popis stavki.

15. Koeficijent utvrđivanja (R²)

Strojno učenje sadrži ogromnu količinu statistike. Mnogi modeli posebno trebaju statističke metrike za procjenu. Koeficijent Određivanja statistička je metrika. Označava kako neovisna varijabla utječe na ovisnu varijablu. Relevantne jednadžbe su:

Gdje

• fi je predviđena vrijednost.
• ybar je srednja vrijednost.
• SStot je ukupni zbroj kvadrata.
• SSres je preostali zbroj kvadrata.

Model najbolje radi kada je = 1. Ako model predviđa srednju vrijednost podataka, bit će 0.

Završne misli

Samo će budala staviti svoj model u proizvodnju, a da ga ne procijeni. Ako želite biti znanstvenik podataka, morate znati o ML mjernim podacima. U ovom smo članku naveli petnaest najpopularnijih mjernih podataka strojnog učenja koje biste trebali znati kao znanstvenik podataka. Nadamo se da su vam sada jasne različite metrike i njihova važnost. Te mjerne podatke možete primijeniti pomoću Pythona i R.

Ako pažljivo proučite članak, trebali biste biti motivirani da naučite koristiti preciznim ML mjernim podacima. Odradili smo svoj posao. Sada ste na redu da postanete znanstvenik podataka. Griješiti je ljudski. U ovom članku možda nedostaje nekih. Ako ih pronađete, možete nas obavijestiti. Podaci su nova svjetska valuta. Dakle, iskoristite ga i zaradite svoje mjesto na svijetu.