Quina és la fórmula matemàtica de l'operació de convolució en una imatge 2D?
L'operació de convolució és un procés fonamental en l'àmbit de les xarxes neuronals convolucionals (CNN), especialment en el domini del reconeixement d'imatges. Aquesta operació és fonamental per extreure característiques de les imatges, permetent als models d'aprenentatge profund comprendre i interpretar dades visuals. La formulació matemàtica de l'operació de convolució en una imatge 2D és essencial per comprendre com les CNN processen i analitzen imatges.
Matemàticament, l'operació de convolució d'una imatge 2D es pot expressar de la següent manera:
[ (I * K)(x, y) = suma_{i=-m}^{m} suma_{j=-n}^{n} I(x+i, y+j) cdot K(i, j ) ]on:
– ( I ) representa la imatge d'entrada.
– ( K ) denota el nucli o filtre.
– ( (x, y) ) són les coordenades del píxel de sortida.
– ( m ) i ( n ) són la meitat de l'amplada i la meitat de l'alçada del nucli, respectivament.
En aquesta equació, el nucli (K) llisca sobre la imatge d'entrada (I), realitzant la multiplicació per elements i sumant els resultats per produir un valor de píxel de sortida únic. Aquest procés es repeteix per a cada píxel del mapa de característiques de sortida, donant lloc a una imatge transformada que ressalta característiques específiques en funció dels valors del nucli.
L'operació de convolució es pot entendre millor mitjançant un exemple pas a pas. Considereu un nucli simple de 3×3 (K) i una imatge d'entrada de 5×5 (I):
[ K = començar{bmatrix}1 i 0 i -1 \
1 i 0 i -1 \
1 i 0 i -1
final{bmatrix} ] [ I = begin{bmatrix}
1 i 2 i 3 i 4 i 5 \
6 i 7 i 8 i 9 i 10 \
11 i 12 i 13 i 14 i 15 \
16 i 17 i 18 i 19 i 20 \
21 i 22 i 23 i 24 i 25
final{bmatrix}]
Per calcular la convolució, col·loquem el centre del nucli a cada píxel de la imatge d'entrada i realitzem els passos següents:
1. Col·loca el nucli: Col·loqueu el centre del nucli a la cantonada superior esquerra de la imatge.
2. Multiplicació per elements: Multipliqueu cada element del nucli per l'element corresponent de la imatge.
3. Suma: Suma els resultats de la multiplicació per elements.
4. Mou el nucli: Canvieu el nucli a la següent posició i repetiu els passos 2-3.
Per a la primera posició (cantonada superior esquerra), el càlcul és el següent:
[ començar{alineat}(I * K)(1, 1) &= (1 cdot 1) + (2 cdot 0) + (3 cdot -1) \
&quad + (6 cdot 1) + (7 cdot 0) + (8 cdot -1) \
&quad + (11 cdot 1) + (12 cdot 0) + (13 cdot -1) \
&= 1 + 0 – 3 + 6 + 0 – 8 + 11 + 0 – 13 \
&= -6
final{alineat}]
Aquest resultat, -6, és el valor del mapa de característiques de sortida a la posició (1, 1). Repetint aquest procés per a cada posició del nucli sobre la imatge d'entrada es genera tot el mapa de característiques de sortida.
L'operació de convolució normalment s'acompanya de conceptes addicionals com ara el farciment i el pas:
- encoixinat: Afegeix píxels addicionals al voltant de la vora de la imatge d'entrada, sovint amb zeros (encoixinat de zero), per controlar les dimensions espacials del mapa de característiques de sortida. El farciment garanteix que el mapa de característiques de sortida tingui les mateixes dimensions que la imatge d'entrada, preservant la informació espacial.
- Pas a pas: La mida del pas amb què el nucli es mou per la imatge d'entrada. Un pas d'1 significa que el nucli es mou un píxel alhora, mentre que un pas de 2 significa que el nucli es mou de dos píxels alhora. Stride afecta les dimensions espacials del mapa de característiques de sortida, amb passos més grans que donen lloc a dimensions de sortida més petites.
Les dimensions de sortida de l'operació de convolució es poden calcular mitjançant la fórmula següent:
[ text{Amplada de sortida} = frac{text{Amplada d'entrada} - text{Amplada del nucli} + 2 cdot text{Recoiximent}}{text{Stride}} pis dret + 1 ] [ text{Alçada de sortida} = frac{text del pis esquerre {Alçada d'entrada} - text{Alçada del nucli} + 2 cdot text{Padding}}{text{Stride}} rightrfloor + 1 ]Aquestes fórmules garanteixen que les dimensions espacials del mapa de característiques de sortida es determinen correctament en funció de les dimensions de la imatge d'entrada, la mida del nucli, el farciment i el pas.
En el context de les xarxes neuronals convolucionals, s'apilen múltiples capes convolucionals, cadascuna amb el seu propi conjunt de nuclis aprendre. Aquestes capes extreuen progressivament característiques de nivell superior de la imatge d'entrada, permetent a la xarxa reconèixer patrons i objectes complexos. Els nuclis de cada capa s'aprenen durant el procés d'entrenament mitjançant la retropropagació, optimitzant el rendiment de la xarxa en la tasca donada.
Les capes convolucionals solen anar seguides per funcions d'activació, com ReLU (Unitat lineal rectificada), que introdueixen no linealitat en el model. Aquesta no linealitat permet que la xarxa aprengui representacions més complexes. A més, s'utilitzen capes d'agrupació, com ara la agrupació màxima o la agrupació mitjana, per reduir les dimensions espacials dels mapes de característiques, fent que el model sigui més eficient computacionalment i menys propens a sobreajustar-se.
Un exemple pràctic d'una xarxa neuronal convolucional per al reconeixement d'imatges és la famosa arquitectura LeNet-5, dissenyada per al reconeixement de dígits escrits a mà. LeNet-5 consta de múltiples capes convolucionals i d'agrupació, seguides de capes completament connectades. Les capes convolucionals extreuen característiques de les imatges d'entrada, mentre que les capes completament connectades realitzen la classificació final.
Per il·lustrar l'operació de convolució en el context de LeNet-5, considereu la primera capa convolucional, que pren una imatge d'entrada de 32 × 32 i aplica sis nuclis de 5 × 5 amb un pas d'1 i sense farciment. Els mapes de característiques de sortida tenen unes dimensions de 28×28, calculades de la següent manera:
[ text{Amplada de sortida} = fracció del pis esquerre{32 – 5 + 2 cdot 0}{1} pis dret + 1 = 28 ] [ text{Alçada de sortida} = fracció del pis esquerre{32 – 5 + 2 cdot 0}{1} pis dret + 1 = 28]Cadascun dels sis nuclis produeix un mapa de característiques de 28×28 separat, capturant diferents aspectes de la imatge d'entrada. Aquests mapes de característiques es passen a través d'una funció d'activació de ReLU i una capa de agrupació màxima de 2 × 2 amb un pas de 2, donant com a resultat mapes de característiques de 14 × 14.
Les capes posteriors de LeNet-5 continuen aplicant operacions de convolució i agrupació, reduint progressivament les dimensions espacials alhora que augmenta la profunditat dels mapes de característiques. Les capes finals completament connectades realitzen la classificació en funció de les característiques extretes, donant sortida a la classe de dígits prevista.
L'operació de convolució és una pedra angular de les xarxes neuronals convolucionals, que permet l'extracció de característiques significatives de les imatges. La formulació matemàtica de l'operació de convolució implica fer lliscar un nucli sobre la imatge d'entrada, realitzar la multiplicació per elements i sumar els resultats. Conceptes addicionals, com ara el farciment i el pas, tenen un paper important en el control de les dimensions espacials del mapa de característiques de sortida. Les capes convolucionals, combinades amb les funcions d'activació i les capes d'agrupació, formen els blocs de construcció de potents models de reconeixement d'imatges com LeNet-5, capaços de reconèixer patrons i objectes complexos en dades visuals.
Altres preguntes i respostes recents sobre Visió per computador avançada:
- Quina és la fórmula per a una funció d'activació com la unitat lineal rectificada per introduir la no linealitat al model?
- Quina és la fórmula matemàtica de la funció de pèrdua a les xarxes neuronals de convolució?
- Quina és l'equació de l'agrupació màxima?
- Quins són els avantatges i els reptes de l'ús de circumvolucions 3D per al reconeixement d'accions en vídeos i com contribueix el conjunt de dades de Kinetics a aquest camp d'investigació?
- En el context de l'estimació del flux òptic, com utilitza FlowNet una arquitectura de codificador-descodificador per processar parells d'imatges i quin paper juga el conjunt de dades Flying Chairs en la formació d'aquest model?
- Com aprofita l'arquitectura U-NET les connexions de salt per millorar la precisió i el detall de les sortides de segmentació semàntica, i per què aquestes connexions són importants per a la propagació posterior?
- Quines són les diferències clau entre detectors de dues etapes com Faster R-CNN i detectors d'una etapa com RetinaNet pel que fa a l'eficiència de l'entrenament i al maneig de components no diferenciables?
- Com millora el concepte d'intersecció sobre unió (IoU) l'avaluació dels models de detecció d'objectes en comparació amb l'ús de la pèrdua quadràtica?
- Com les connexions residuals a les arquitectures ResNet faciliten l'entrenament de xarxes neuronals molt profundes, i quin impacte va tenir això en el rendiment dels models de reconeixement d'imatges?
- Quines van ser les principals innovacions introduïdes per AlexNet el 2012 que van avançar significativament el camp de les xarxes neuronals convolucionals i el reconeixement d'imatges?
Veure més preguntes i respostes a Visió per computador avançada