Com depèn la classificació d'un conjunt de característiques a SVM del signe de la funció de decisió (text{sign}(mathbf{x}_i cdot mathbf{w} + b))?

/ / Publicat a Intel·ligència Artificial, Aprenentatge automàtic EITC/AI/MLP amb Python, Màquina de suport de vectors, Admet l'optimització de màquines vectorials, Revisió de l'examen

Les màquines vectorials de suport (SVM) són un potent algorisme d'aprenentatge supervisat utilitzat per a tasques de classificació i regressió. L'objectiu principal d'un SVM és trobar l'hiperpla òptim que separi millor els punts de dades de diferents classes en un espai d'alta dimensió. La classificació d'un conjunt de característiques a SVM està profundament lligada a la funció de decisió, especialment al seu signe, que juga un paper important a l'hora de determinar en quin costat de l'hiperpla es troba un punt de dades determinat.

Funció de decisió en SVM

La funció de decisió per a un SVM es pot expressar com:

    \[ f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b \]

on:
- \mathbf{w} és el vector pes que defineix l'orientació de l'hiperpla.
- \mathbf{x} és el vector característica del punt de dades que s'està classificant.
- b és el terme de biaix que desplaça l'hiperpla.

Per classificar un punt de dades \mathbf{x}_i, s'utilitza el signe de la funció de decisió:

    \[ \text{sign}(f(\mathbf{x}_i)) = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b) \]

Aquest signe determina el costat de l'hiperpla on es troba el punt de dades.

Paper de la classificació d'inici de sessió

El signe de la funció de decisió (\text{signe}(\mathbf{w} \cdot \mathbf{x}_i + b)) determina directament l'etiqueta de classe assignada al punt de dades \mathbf{x}_i. Així és com funciona:

1. Signe positiu: Si \mathbf{w} \cdot \mathbf{x}_i + b > 0, el signe de la funció de decisió és positiu. Això vol dir que el punt de dades \mathbf{x}_i es troba al costat de l'hiperpla on es troba la classe positiva. Per tant, \mathbf{x}_i es classifica com a pertanyent a la classe positiva (normalment es denota com a +1).

2. Signe negatiu: Si \mathbf{w} \cdot \mathbf{x}_i + b < 0, el signe de la funció de decisió és negatiu. Això indica que el punt de dades \mathbf{x}_i es troba al costat de l'hiperpla on es troba la classe negativa. Per tant, \mathbf{x}_i es classifica com a pertanyent a la classe negativa (normalment es denota com -1).

3. zero: En el cas rar on \mathbf{w} \cdot \mathbf{x}_i + b = 0, el punt de dades \mathbf{x}_i es troba exactament a l'hiperpla. Aquest escenari és teòricament possible, però pràcticament rar a causa de la naturalesa contínua de les dades de valor real.

Interpretació geomètrica

La interpretació geomètrica de la funció de decisió és essencial per entendre com els SVM classifiquen els punts de dades. L'hiperpla definit per \mathbf{w} \cdot \mathbf{x} + b = 0 actua com a límit de decisió entre les dues classes. L'orientació i la posició d'aquest hiperpla estan determinades pel vector pes \mathbf{w} i el terme de biaix b.

1. Marge: El marge és la distància entre l'hiperpla i els punts de dades més propers de cada classe. SVM pretén maximitzar aquest marge per garantir que l'hiperpla no només separi les classes, sinó que ho faci amb la distància més gran possible des dels punts de dades més propers. Aquests punts de dades més propers es coneixen com a vectors de suport.

2. Vectors de suport: Els vectors suport són els punts de dades que es troben més a prop de l'hiperpla. Són crítics per definir la posició i l'orientació de l'hiperpla. Qualsevol canvi en la posició d'aquests vectors de suport alteraria l'hiperpla.

exemple

Considereu un exemple senzill on tenim un espai de característiques bidimensionals amb punts de dades de dues classes. Denotem la classe positiva amb +1 i la classe negativa amb -1. Suposem el vector pes \mathbf{w} = [2, 3] i el terme de biaix b = -6.

Per a un punt de dades \mathbf{x}_i = [1, 2], podem calcular la funció de decisió de la següent manera:

    \[ f(\mathbf{x}_i) = \mathbf{w} \cdot \mathbf{x}_i + b = (2 \cdot 1) + (3 \cdot 2) - 6 = 2 + 6 - 6 = 2 \]

Des f(\mathbf{x}_i) > 0, el signe de la funció de decisió és positiu i, per tant, el punt de dades \mathbf{x}_i es classifica com a pertanyent a la classe positiva (+1).

Per a un altre punt de dades \mathbf{x}_j = [3, 1], calculem la funció de decisió com:

    \[ f(\mathbf{x}_j) = \mathbf{w} \cdot \mathbf{x}_j + b = (2 \cdot 3) + (3 \cdot 1) - 6 = 6 + 3 - 6 = 3 \]

Un cop més, f(\mathbf{x}_j) > 0, de manera que el signe és positiu, i \mathbf{x}_j es classifica com a pertanyent a la classe positiva (+1).

Ara, considereu un punt de dades \mathbf{x}_k = [0, 0]:

    \[ f(\mathbf{x}_k) = \mathbf{w} \cdot \mathbf{x}_k + b = (2 \cdot 0) + (3 \cdot 0) - 6 = -6 \]

En aquest cas, f(\mathbf{x}_k) < 0, per tant el signe és negatiu, i \mathbf{x}_k es classifica com a pertanyent a la classe negativa (-1).

Formulació Matemàtica

La formulació matemàtica de SVM implica resoldre un problema d'optimització per trobar l'òptim \mathbf{w} i b que maximitzin el marge alhora que classifiquen correctament les dades d'entrenament. El problema d'optimització es pot expressar com:

    \[ \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \]

    \[ \text{subjecte a } y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i \]

where i_i és l'etiqueta de classe del punt de dades \mathbf{x}_i, i la restricció garanteix que tots els punts de dades estiguin classificats correctament amb un marge d'almenys 1.

Truc del nucli

En moltes aplicacions pràctiques, és possible que les dades no es puguin separar linealment a l'espai de característiques original. Per solucionar-ho, els SVM es poden estendre a la classificació no lineal mitjançant el truc del nucli. Una funció del nucli K(\mathbf{x}_i, \mathbf{x}_j) mapeja implícitament les dades a un espai de dimensions superiors on és possible una separació lineal. Les funcions del nucli més utilitzades inclouen el nucli polinomial, el nucli de la funció de base radial (RBF) i el nucli sigmoide.

La funció de decisió a l'SVM kernelitzat es converteix en:

    \[ f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b \]

where \alpha_i són els multiplicadors de Lagrange obtinguts de la forma dual del problema d'optimització.

Implementació de Python

A Python, la biblioteca `scikit-learn` proporciona una implementació senzilla de SVM mitjançant la classe `SVC`. A continuació es mostra un exemple de com utilitzar "SVC" per classificar un conjunt de dades:

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Select only two classes for binary classification
X = X[y != 2]
y = y[y != 2]

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create an SVM classifier with a linear kernel
clf = SVC(kernel='linear')

# Train the classifier
clf.fit(X_train, y_train)

# Predict the class labels for the test set
y_pred = clf.predict(X_test)

# Calculate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

En aquest exemple, la classe `SVC` s'utilitza per crear un classificador SVM amb un nucli lineal. El classificador s'entrena al conjunt d'entrenament i la precisió s'avalua al conjunt de prova. La classificació d'un conjunt de característiques a SVM depèn fonamentalment del signe de la funció de decisió. \text{signe}(\mathbf{x}_i \cdot \mathbf{w} + b). El signe determina a quin costat de l'hiperpla es troba un punt de dades, assignant-lo així a la classe corresponent. La funció de decisió, el procés d'optimització per trobar l'hiperpla òptim i l'ús potencial de les funcions del nucli per gestionar la separabilitat no lineal són components importants dels SVM. La comprensió d'aquests aspectes proporciona una visió completa de com funcionen els SVM i la seva aplicació en diverses tasques d'aprenentatge automàtic.

Altres preguntes i respostes recents sobre Aprenentatge automàtic EITC/AI/MLP amb Python:

Consulteu més preguntes i respostes a EITC/AI/MLP Machine Learning amb Python

Més preguntes i respostes:

Etiquetat sota: , , , , ,