Viimeksi Päivitetty 5. heinäkuuta 2019

Lempeä Johdatus Innovaatioita LeNet, AlexNet, VGG, perustamisesta Lähtien, ja ResNet Convolutional neuroverkkojen.

Convolutional neuroverkot koostuvat kaksi hyvin yksinkertaisia elementtejä, eli konvoluutio-kerrosta ja yhdistää kerrokset.

Vaikka yksinkertainen, on olemassa lähes ääretön tapoja järjestää nämä kerrokset tietyn tietokoneen visio ongelma.,

Onneksi on olemassa sekä yhteisiä kuvioita konfigurointiin nämä kerrokset ja arkkitehtuurin innovaatioita, jotka voit käyttää, jotta voidaan kehittää erittäin syvä convolutional neuroverkkojen. Opiskelu nämä arkkitehtoninen suunnittelu päätöksiä kehittää state-of-the-art kuva luokitus tehtäviä voi tarjota sekä logiikan ja intuition, miten käyttää näitä malleja, kun suunnittelet oman syvä konvoluutio neuroverkko malleja.

tässä opetusohjelmassa, voit löytää avain arkkitehtuurin virstanpylväitä käyttää convolutional neuroverkkojen haastava kuva-luokituksen ongelmia.,

suoritettuaan tämän opetusohjelman, sinun tulee tietää:

• Miten kuvio lukumäärä suodattimet ja suodatin koot toteutettaessa convolutional neuroverkkojen.
• Miten järjestää konvoluutio ja yhdistämällä kerrokset yhtenäinen malli kehittää hyvin toimivat mallit.
• miten alusta-moduulia ja jäännösmoduulia käytetään kehittämään paljon syvempiä konvolutionaarisia verkkoja.

Kick-aloittaa projektin, jossa minun uusi kirja, Deep Learning for Computer Vision, mukaan lukien askel-askeleelta opetusohjelmia ja Python lähdekoodi tiedostot kaikki esimerkkejä.

aloitetaan.,

• Päivitys Apr/2019: Korjattu kuvaus suodatin koot LeNet (kiitos Huang).

Opetusohjelma Yleistä

Tämä opetusohjelma on jaettu kuuteen osaan; ne ovat:

1. Arkkitehtoninen Suunnittelu CNNs
2. LeNet-5
3. AlexNet
4. VGG
5. Alusta ja GoogLeNet
6. Jäljellä olevan Verkon tai ResNet

Arkkitehtoninen Suunnittelu CNNs

elementtejä konvoluutio neuroverkko, kuten konvoluutio ja yhdistämällä kerrokset, on suhteellisen helppo ymmärtää.,

haastava osa käyttää convolutional neuroverkkojen käytännössä on, miten suunnitella malli arkkitehtuurit, että paras käyttää näitä yksinkertaisia elementtejä.

hyödyllinen lähestymistapa oppimiseen, miten suunnitella tehokas konvoluutio neuroverkko arkkitehtuurit on tutkia onnistuneita sovelluksia. Tämä on erityisen helppo tehdä, koska intensiivisen tutkimuksen ja soveltamisen CNNs kautta 2012-2016 ImageNet Suuressa Mittakaavassa Visuaalinen tunnistus Haaste, tai ILSVRC., Tämä haaste johtui sekä nopean etenemisen uusinta erittäin vaikeaa konenäkö tehtäviä ja kehityksen yleiset innovaatioita arkkitehtuurin konvoluutio neuroverkko malleja.

aloitamme LeNet-5, joka on usein kuvattu ensimmäinen onnistunut ja tärkeä soveltaminen CNNs ennen ILSVRC, sitten katsoa neljä eri voittaa arkkitehtonisia innovaatioita konvoluutio neuroverkko kehitetty ILSVRC, eli AlexNet, VGG, perustamisesta Lähtien, ja ResNet.,

ymmärtämällä nämä virstanpylväs mallit ja niiden arkkitehtuuriin tai arkkitehtuurin innovaatioita korkean tason, voit kehittää sekä arvostusta käyttää näitä arkkitehtonisia elementtejä modernin sovelluksia, CNN: n, konenäkö, ja pystyä tunnistamaan ja valita, arkkitehtuuri elementtejä, jotka voi olla hyödyllistä suunnitella omia malleja.

Haluan Tuloksia, Syvä Oppiminen konenäön?

ota ilmainen 7 päivän sähköpostiviesti crash course now (mallikoodilla).,

klikkaa ilmoittautuaksesi ja saat myös ilmaisen PDF Ebook-version kurssista.

Lataa ILMAINEN Mini-Kurssi

LeNet-5

Ehkä ensimmäinen laajalti tunnettu ja menestyksekäs soveltaminen convolutional neuroverkkojen oli LeNet-5, kuvattu Yann LeCun, et al. vuonna 1998 julkaisussaan ”Gradient-Based Learning Applied to Document Recognition” (get the PDF).

järjestelmä on kehitetty käytettäväksi käsinkirjoitettu character recognition ongelma ja osoitettu MNIST standardin aineisto, saavuttaa noin 99.,2% luokitustarkkuus (tai 0,8% virhetaso). Verkko oli sitten kuvata keski-tekniikka laajemmassa järjestelmässä, jäljempänä Kuvaaja Muuntaja Verkostoja.

– Se on pitkä kirja, ja ehkä parasta keskittyä on Osassa II. B., joka kuvaa LeNet-5 arkkitehtuuri. Kohdassa, paperi kuvataan verkkoon kuin ottaa seitsemän kerrosta input harmaasävy kuvia, joilla muoto 32×32, koko kuvia MNIST-datajoukon.

malli ehdottaa kuvio konvoluutio-kerros, jota seurasi keskimäärin jakava kerros, kutsutaan subsampling kerros., Tämä kuvio toistuu kaksi ja puoli kertaa ennen kuin lähtö ominaisuus kartat ovat litistetty ja syötetään useita täysin kytketty kerroksia tulkinta ja lopullinen ennustus. Lehdessä on kuva verkkoarkkitehtuurista ja se on esitetty alla.

kuvio korttelin convolutional kerroksia ja yhdistää kerrokset ryhmitelty ja toistetaan edelleen yhteinen malli suunnittelussa ja käyttämällä convolutional neuroverkkojen tänään, yli kaksikymmentä vuotta myöhemmin.

Mielenkiintoista, arkkitehtuuri käyttää pieni määrä suodattimia ensimmäinen piilotettu kerros, erityisesti kuusi suodattimet jokainen koko on 5×5 pikseliä., Ryhmittelyn jälkeen (kutsutaan subsampling kerros), toinen konvoluutio-kerros on paljon enemmän suodattimia, jälleen pienempiä, mutta pienempi kuin ennen konvoluutio-kerros, erityisesti 16 suodattimet, joiden koko on 5×5 pikseliä, taas seurasi yhdistäminen. Näiden kahden konvoluutio-ja poolauskerroksen toistamisessa trendi on suodattimien määrän kasvu.

Verrattuna modernin sovelluksia, suodattimien määrä on myös pieni, mutta trendi on kasvava määrä suodattimia syvyys verkko pysyy myös yhteinen malli moderni käyttö tekniikka.,

madaltumista ominaisuus karttoja ja tulkinta ja luokittelu uutettu ominaisuuksia täysin kytketty kerrosta edelleen myös yleinen malli tänään. Nyky-terminologiaa, viimeisessä osassa arkkitehtuuri on usein kutsutaan luokittimen, kun taas konvoluutio ja yhdistämällä kerrokset aikaisemmin mallissa käytetään nimitystä feature extractor.

Voimme tiivistää keskeiset näkökohdat arkkitehtuurin merkitystä nykyaikaisessa malleissa seuraavasti:

• Kiinteä-kokoinen input kuvia.
• ryhmä convolutionary ja pooling kerrokset lohkoiksi.,
• convolutionary-pooling-palikoiden toistaminen arkkitehtuurissa.
• lisää suodattimien määrää verkon syvyydellä.
• eri ominaisuus louhinta-ja luokitteluosat arkkitehtuurin.

AlexNet

työtä, että ehkä voisi olla hyvitetään kipinät uutta kiinnostusta neuroverkot ja alussa ylivoima syvä oppiminen monissa konenäkö sovelluksia oli vuoden 2012 paperi Alex Krizhevsky, et al. otsikolla ” ImageNet Classification with Deep Convolutionary Neural Networks.,”

paperi kuvataan malli, jäljempänä ”AlexNet” on suunniteltu vastaamaan ImageNet Suuressa Mittakaavassa Visuaalinen tunnistus Haaste tai ILSVRC-2010-kilpailun luokitella valokuvia esineitä yhdeksi 1000 eri luokkiin.

ILSVRC oli kilpailu järjestettiin vuosina 2011-2016, joiden tarkoituksena on kannustaa innovointia alalla konenäkö. Ennen Alexnetin kehittämistä tehtävää pidettiin erittäin vaikeana ja kaukana nykyaikaisten tietokonenäkömenetelmien kyvystä., AlexNet menestyksekkäästi osoittanut kykyä konvoluutio neuroverkko malli alalla, ja syttynyt tulipalo, joka johti monet enemmän parannuksia ja innovaatioita, monet osoitti samalla ILSVRC tehtävä seuraavina vuosina. Laajemmin, paperi osoitti, että on mahdollista kehittää syvä ja tehokas end-to-end-mallit haastava ongelma ilman valvontaa pretraining tekniikoita, jotka olivat suosittuja tuolloin.

tärkeä Alexnetin suunnittelussa oli joukko menetelmiä, jotka olivat uusia tai onnistuneita, mutta joita ei tuolloin hyväksytty laajalti., Nyt niistä on tullut vaatimukset käytettäessä CNNs kuvan luokitus.

AlexNet käyttänyt korjannut lineaarinen aktivointi toiminto, tai ReLU, kuten nonlinearly jokaisen konvoluutio-kerros, sen sijaan S-muotoinen toimintoja, kuten logistiikka-tai sista, jotka olivat yleisiä tuohon asti. Myös softmax aktivointi toiminto käytettiin output layer, nyt katkottua multi-luokan luokitus neuroverkkojen.,

keskimääräinen yhdistäminen käytetään LeNet-5 korvattiin max pooling-menetelmä, vaikka tässä tapauksessa, päällekkäisiä yhdistäminen todettiin päihittävät ei-päällekkäisiä yhdistäminen, joka on yleisesti käytetty tänään (esim. voittajana yhdistäminen toiminta on samankokoinen kuin yhdistämällä toiminta, esim. 2 2 pikseliä). Osoite overfitting, hiljattain ehdotettu keskeyttämisen menetelmää käytettiin välillä täysin kytketty kerroksia luokittelija osa malli parantaa yleistys virhe.

arkkitehtuuri AlexNet on syvä ja ulottuu joihinkin kuvioita perustettu LeNet-5., Kuva alla on otettu paperi, yhteenveto malli arkkitehtuuri, tässä tapauksessa jakaa kahteen putkistojen junassa GPU laitteisto aikaa.

malli on viisi convolutional kerrokset ominaisuus louhinta-osa malli ja kolme täysin kytketty kerrosten luokittelija osa mallia.

Tulokuvat vahvistettiin kokoon 224×224 kolmella värikanavalla., Vuonna ehdot määrä suodattimia käytetään kunkin konvoluutio-kerros, kuvio lisäämällä useita suodattimia syvyys nähty LeNet oli enimmäkseen kiinni, tässä tapauksessa, koko: 96, 256, 384, 384, ja 256. Vastaavasti, kuvio vähenee koko filter (kernel), jossa syvyys oli käytetty, alkaen pienempi koko on 11×11 ja vähentämällä 5×5, ja sitten 3×3 syvimpiin kerroksiin. Pienten suodattimien, kuten 5×5 ja 3×3, käyttö on nyt normi.,

malli a konvoluutio-kerros, jonka jälkeen jakava kerros oli käytetty alussa ja lopussa ominaisuus havaitseminen osa mallia. On kiinnostavaa, että käytössä oli konvolutionaarisen kerroksen malli, jota seurasi välittömästi toinen konvolutionaarinen kerros. Tämäkin malli on tullut nykyaikaiseksi mittapuuksi.

malli oli koulutettu data augmentation, keinotekoisesti lisäämällä koko koulutus-datajoukon, ja antaa malli mahdollisuuden oppia samat ominaisuudet eri suunnissa.,

Voimme tiivistää keskeiset näkökohdat arkkitehtuurin merkitystä nykyaikaisessa malleissa seuraavasti:

• Käyttö ReLU aktivointi toiminto, kun konvoluutio-kerrosta ja softmax output layer.
• Max Poolingin käyttö Keskivertokolossien sijaan.
• Dropout regularisaation käyttö Täysin kytkettyjen kerrosten välillä.
• Malli konvoluutio-kerros syötetään suoraan toiseen konvoluutio-kerros.
• Tiedonlisäyksen käyttö.,

VGG

syvien convolutional neuroverkkojen varten konenäkö tehtäviä näytti olevan hieman tumma taidetta jälkeen AlexNet.

tärkeä työ, joiden tavoitteena on yhtenäistää arkkitehtuurin suunnittelu syvä konvoluutio-verkkoja ja kehitetty paljon syvempi ja paremmin toimivia malleja prosessissa oli vuoden 2014 paperi otsikolla ”Erittäin Syvä Konvoluutio-Verkkojen laajamittainen Kuva Tunnustaminen” Karen Simonyan ja Andrew Zisserman.

niiden arkkitehtuuria kutsutaan yleensä VGG: ksi heidän laboratorionsa, Oxfordin visuaalisen geometrian ryhmän, nimen mukaan., Heidän mallinsa kehitettiin ja esiteltiin sameILSVRC-kilpailussa, tässä tapauksessa ilsvrc-2014-versiossa haasteesta.

ensimmäinen merkittävä ero, josta on tullut de facto-standardi, on lukuisten pienten suodattimien käyttö. Erityisesti, suodattimet kokoa 3×3 ja 1×1 kanssa voittajana yksi, eri suuri kokoinen suodattimet LeNet-5 ja pienempi, mutta edelleen suhteellisen suuri suodattimet ja suuri harppaus neljän AlexNet.,

Max-yhdistäminen kerrokset on käytetty sen jälkeen, kun useimmat, mutta eivät kaikki, konvoluutio-kerrosta, oppiminen esimerkiksi AlexNet, mutta kaiken yhdistäminen suoritetaan koko 2×2 ja sama voittajana, sekin on tullut de facto-standardi. Erityisesti VGG-verkoissa käytetään esimerkkejä kahdesta, kolmesta ja jopa neljästä convolutionaarisesta kerroksesta, jotka on pinottu yhteen ennen kuin käytetään max pooling-kerrosta. Perusteluna oli, että pinottu konvolusoiva kerros pienemmillä suodattimilla lähentää yhden konvolusoituneen kerroksen vaikutusta suuremmalla suodattimella, esim., kolme pinottu konvoluutio-kerrosta, jossa 3×3 suodattimet lähennetään yksi konvoluutio-kerros 7×7-suodatin.

toinen tärkeä ero on käytettyjen suodattimien suuri määrä. Suodattimien määrä kasvaa syvyys malli, vaikka alkaa suhteellisen suuri määrä 64 ja lisää kautta 128, 256 ja 512 suodattimet lopussa piirreirrotuksen osa mallia.

useita arkkitehtuurin variantteja kehitettiin ja arvioitiin, vaikka kahteen viitataan yleisimmin niiden suorituskyvyn ja syvyyden vuoksi., Ne ovat nimetty kerrosten lukumäärä: he ovat VGG-16 ja VGG-19 16 ja 19 oppinut kerrokset vastaavasti.

alla on paperista otettu taulukko; huomaa kaksi äärioikeistoa, jotka ilmaisevat arkkitehtuurin vggg-16-ja VGG-19-versioissa käytetyn konfiguraation (suodattimien määrän).

suunnittelu päätöksiä VGG malleja on tullut lähtökohta yksinkertainen ja suora käyttö convolutional neuroverkkojen yleensä.

Lopuksi, VGG työ oli ensimmäisten joukossa vapauttaa arvokasta malli painot alle salliva lisenssi, joka johti trendi syvä oppiminen konenäön tutkijoille. Tämä puolestaan on johtanut siihen, että raskas käyttää pre-koulutettu malleja, kuten VGG siirto oppimisen lähtökohtana on uusi konenäkö tehtäviä.,

Voimme tiivistää keskeiset näkökohdat arkkitehtuurin merkitystä nykyaikaisessa malleissa seuraavasti:

• Käytä hyvin pieniä konvoluutio suodattimet, esimerkiksi 3×3 ja 1×1, jossa on voittajana yksi.
• Käytä max yhdistämistä, joiden koko on 2×2 ja stride mitat ovat samat.
• on tärkeää pinota konvolutionaariset kerrokset yhteen ennen kuin käytetään yhdistävää kerrosta lohkon määrittelemiseksi.
• konvolutionaaris-pooling-lohkokuvion dramaattinen toistuminen.
• erittäin syvien (16-ja 19-kerroksisten) mallien kehittäminen.,

Alusta ja GoogLeNet

Merkittäviä innovaatioita käyttö konvoluutio-kerrokset olivat ehdotettu 2015 paperi Christian Szegedy, et al. nimeltään ” going Deeper with Convolutions.”

paperi, kirjoittajat ehdottavat arkkitehtuuri nimitystä lähtien (tai perustamisesta lähtien v1 erottaa sen laajennukset) ja tietty malli, jota kutsutaan GoogLeNet, että saavutetaan parhaat tulokset 2014 versio ILSVRC haaste.

avainnovaatiota inception-malleissa kutsutaan inception-moduuliksi., Tämä on estää rinnakkaisten convolutional kerrokset erikokoisia suodattimia (esim. 1×1, 3×3, 5×5) ja 3×3 max jakava kerros, jonka tulokset ovat sitten ketjutettu. Alla on esimerkki paperista otetusta aloitusmoduulista.

ongelma on naiivi täytäntöönpano lähtien malli on, että suodattimien määrä (syvyys tai kanavat) alkaa rakentaa nopeasti, varsinkin kun alusta moduulit ovat päällekkäin.,

Performing convolutions kanssa suurempi suodatin koot (esim. 3 ja 5) voidaan laskennallisesti kalliita suuri määrä suodattimia. Tämän korjaamiseksi käytetään 1×1 convolutionary-kerrosta, jotka vähentävät suodattimen määrää inception-mallissa. Erityisesti ennen 3×3 ja 5×5 konvoluutio-kerrosta ja sen jälkeen jakava kerros. Alla olevasta kuvasta, joka on otettu paperista, käy ilmi tämä muutos alkamismoduuliin.

toinen tärkeä suunnittelu päätös lähtien malli oli yhdistää tuotannon eri kohdissa mallia. Tämä saavutettiin luomalla pääverkosta pieniä off-shoot-lähtöverkostoja, jotka oli koulutettu tekemään ennustus. Tarkoitus oli tarjota ylimääräistä virhe signaalin luokittelu tehtävä eri kohdissa syvä malli, jotta voidaan puuttua vanishing kaltevuudet ongelma. Nämä pienet tuotosverkot poistettiin sitten koulutuksen jälkeen.,

Alla näyttää kierretty versio (vasen-to-oikea input-ja output) arkkitehtuurin GoogLeNet malli otettu paperia käyttäen Lähtien moduulien input vasemmalla lähtö luokitus oikealla ja kaksi ylimääräistä lähtö verkostoja, jotka olivat vain käyttää koulutuksen aikana.

Mielenkiintoista, päällekkäisiä max yhdistäminen oli käytetty ja suuri keskimääräinen yhdistäminen toimintaan käytettiin lopussa piirreirrotuksen osa mallin ennen luokittelija osa mallia.

Voimme tiivistää keskeiset näkökohdat arkkitehtuurin merkitystä nykyaikaisessa malleissa seuraavasti:

• Kehitys ja toistoa Alusta moduuli.
• 1×1 konvoluution runsas käyttö kanavien määrän vähentämiseksi.
• virhepalautteen käyttö verkon useissa kohdissa.
• erittäin syvien (22-kerroksisten) mallien kehittäminen.,
• globaalin keskijakauman käyttö mallin tuotokseen.

Jäljellä olevan Verkon tai ResNet

viimeinen tärkeä innovaatio konvoluutio-hermo verkot, että tarkistamme ehdotti Kaiming Hän, et al. vuonna 2016 julkaisussaan ”Deep Residual Learning for Image Recognition.”

paperi, kirjoittajat ehdotti erittäin syvä malli nimeltä Jäljellä oleva Verkko, tai ResNet lyhyt esimerkki, joka saavuttaa menestystä 2015 versio ILSVRC haaste.

heidän mallissaan oli vaikuttava 152 kerrosta., Avain mallin suunnitteluun on ajatus jäännöslohkoista, jotka hyödyntävät oikotieyhteyksiä. Nämä ovat yksinkertaisesti yhteyksiä verkkoarkkitehtuurissa, jossa tulo pidetään as-IS: n (ei painotettuna) ja siirretään syvemmälle kerrokseen, esim.ohitetaan seuraava kerros.

jäljellä oleva lohko on mallia kaksi convolutional kerroksia ReLU aktivointi, jossa lähtö lohko on yhdistetty tulo-lohko, esim. shortcut-yhteys. Ennustetaan versio input käyttää kautta 1×1 jos muoto tulo lohko on eri lähtö lohko, niin sanottu 1×1 convolutions., Näitä kutsutaan ennustetaan oikotie-yhteyksiä, verrattuna painottamaton tai identiteetin oikotie-yhteyksiä.

tekijät alkaa kanssa mitä he kutsuvat tavallinen verkko, joka on VGG-innoittamana syvä konvoluutio neuroverkko, jossa pienet suodattimet (3×3), ryhmitelty convolutional kerrokset jälkeen ilman yhdistämistä välillä, ja keskimäärin yhdistäminen lopussa ominaisuus ilmaisin osa mallin ennen täysin kytketty lähtö kerros softmax aktivointi toiminto.,

tavallinen verkko on muutettu, tulee jäljellä oleva verkko lisäämällä pikakuvakkeen liitännät, jotta voidaan määritellä jäljellä lohkot. Tyypillisesti muoto tulo pikakuvake-yhteys on saman kokoinen kuin lähtö jäljellä oleva lohko.

alla Oleva kuva oli otettu paperi ja vasemmalta oikealle vertaa arkkitehtuuri VGG malli, tavallinen konvoluutio-malli ja versio tavallinen konvoluutio, jonka jäljellä oleva moduulit, nimeltään jäljellä verkkoon.,

Voimme tiivistää keskeiset näkökohdat arkkitehtuurin merkitystä nykyaikaisessa malleissa seuraavasti:

• Käyttö oikotie-yhteyksiä.
• jäännöslohkojen kehittäminen ja toistaminen.
• erittäin syvien (152-kerroksisten) mallien kehittäminen.

lisää luettavaa

Tämä osio tarjoaa lisää resursseja aiheeseen, jos haluat mennä syvemmälle.,

Paperit

• Gradient-oppiminen soveltaa document recognition, (PDF) 1998.
• ImageNet Classification with Deep Convolutionary Neural Networks, 2012.
• Very Deep Convolutionary Networks for Large-Scale Image Recognition, 2014.
• Going Deeper with Convolutions, 2015.
• Syvä Jäljellä Oppiminen Kuva Tunnustaminen, 2016

API

• Keras Sovelluksia, API

Artikkelit

• 9 Syvä Oppiminen Paperit Sinun Täytyy Tietää
• Yksinkertainen Opas Versiot Lähtien Verkko, 2018.,
• CNN Arkkitehtuurit: LeNet, AlexNet, VGG, GoogLeNet, ResNet ja enemmän., 2017.

Yhteenveto

tässä opetusohjelmassa, sinun löysi avaimen arkkitehtuurin virstanpylväitä käyttää convolutional neuroverkkojen haastava kuvan luokitus.

Erityisesti, opit:

• Miten kuvio lukumäärä suodattimet ja suodatin koot toteutettaessa convolutional neuroverkkojen.
• Miten järjestää konvoluutio ja yhdistämällä kerrokset yhtenäinen malli kehittää hyvin toimivat mallit.,
• miten alusta-moduulia ja jäännösmoduulia käytetään kehittämään paljon syvempiä konvolutionaarisia verkkoja.

onko sinulla kysyttävää?
kysy kysymyksesi alla olevissa kommenteissa ja teen parhaani vastatakseni.