Stima kernel di densità

Questa voce o sezione sugli argomenti matematica e statistica non cita le fonti necessarie o quelle presenti sono insufficienti.

Questa voce sull'argomento statistica è solo un abbozzo.

Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Segui i suggerimenti del progetto di riferimento.

In statistica, la stima kernel di densità^[1] (o kernel density estimation) è un metodo non parametrico utilizzato per il riconoscimento di pattern e per la classificazione attraverso una stima di densità negli spazi metrici, o spazio delle feature. Per ogni ${\displaystyle x}$ all'interno dello spazio delle feature, l'algoritmo permette di calcolare la probabilità di appartenere ad una classe ${\displaystyle C,}$ considerando la densità di ${\displaystyle C}$ in un intorno ${\displaystyle k}$ del punto ${\displaystyle x.}$ Il metodo si basa su un intorno di dimensione fissa calcolata in funzione del numero di osservazioni ${\displaystyle N.}$

È nota anche come metodo delle finestre di Parzen-Rosenblatt o delle finestre di Parzen,^[2] dagli statistici Emanuel Parzen e Murray Rosenblatt.

Un metodo di classificazione per prossimità (finestre di Parzen o k-nearest neighbors), propone di calcolare la probabilità condizionale in un punto ${\displaystyle x}$ con la seguente stima di densità:

${\displaystyle P(x|C)=K/NV,}$

dove:

• ${\displaystyle N}$ è il numero di osservazioni nel training set;
• ${\displaystyle V}$ è il volume dell'intorno del punto ${\displaystyle x}$;
• ${\displaystyle K}$ sono gli elementi nell'intorno ${\displaystyle V}$, appartenenti alla classe ${\displaystyle C}$.

L'algoritmo a finestre di Parzen propone di ridurre la dimensione della regione ${\displaystyle V}$ intorno ad ${\displaystyle x}$, in funzione del numero ${\displaystyle N}$ di osservazioni disponibili. Questa strategia si basa sull'idea di ridurre ${\displaystyle V}$ il più possibile, in maniera da ottenere una stima approssimata a quella reale del punto, allo stesso tempo cerca di non considerare una regione tanto piccola da avere ${\displaystyle K=0}$, non perché ${\displaystyle x}$ è impossibile per ${\displaystyle C}$, ma perché la regione non è troppo piccola per contenerlo.

Si consideri una funzione ${\displaystyle K(h,P)}$ che dipende dal parametro di scala ${\displaystyle h}$, e dalla distanza di ${\displaystyle P}$ a un punto fissato ${\displaystyle P}$₀. È richiesto che questa funzione abbia integrale unitario sul dominio ${\displaystyle P}$.

Consiste nell'assegnare ${\displaystyle P(x|C)}$ nel punto ${\displaystyle x}$ nel seguente modo:

${\displaystyle P(x|C)={\frac {1}{N}}\sum _{i}K(h,d(x,x_{i})).}$

Cioè la densità nel punto ${\displaystyle x}$ si ottiene considerando il contributo come la somma dei contributi forniti dalle osservazioni nel campione spalmate secondo la legge ${\displaystyle K(h,P)}$, normalizzati ad ${\displaystyle N}$.

La scelta di ${\displaystyle h}$ è un problema molto delicato, generalmente dipende dal problema in esame. Una regola molto diffusa e generalizzata è quella di prendere ${\displaystyle h=O(n^{-1/5})}$.

Un problema di questo metodo è dovuto alla scelta fissa della funzione ${\displaystyle K}$ per tutto lo spazio delle feature. Alla fine se si utilizza una finestra molto piccola, si introduce il rischio di overfitting. Se si utilizza una finestra troppo grande si hanno più errori nelle zone più addensate. Per questo motivo una finestra dinamica (algoritmo k-nn) potrebbe dare risultati migliori.

• Diagramma a violino

• Wikimedia Commons contiene immagini o altri file su stima kernel di densità

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Regole di associazione · Apprendimento non supervisionato · Apprendimento supervisionato · Apprendimento per rinforzo · Apprendimento profondo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random fields CRF · Modello di Markov nascosto · K-nearest neighbors · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modelli grafici · Macchine a vettori di supporto
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Rete neurale a base radiale · Rete bayesiana · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · Torch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Portale Informatica

Portale Matematica

Portale Statistica