Finalmente, dopo aver parlato di LSA, LSI e PLSA.. si parla di LDA (Latent Dirichlet Allocation = Analisi Latente di Dirichlet), argomento sino a qualche mese fa’ molto scottante per il team di SEOMoz, ora gli animi si sono un poco placati ma naturalmente gli sforzi che i motori stanno facendo per investire in queste tecnologie e modelli, renderanno tutte questa analisi e considerazioni attuali, credo nel giro di pochi mesi.

LDA (Latent Dirichlet Allocation). Ecco cos’è! (Slide 46-49)

Prima di vedere come funziona, dobbiamo fare un po’ di “pizzosa” teoria, so a cosa stai pensando… ma putroppo è indispensabile per poter comprendere a grandi linee come funziona il modello ideato dal matematico Peter Gustav Lejeune Dirichlet e come possa essere utilizzato nell’ambito della SEO.

LDA, in statistica è un modello generativo che permette di effettuare una serie di osservazioni per spiegare la correlazione fra le parole chiave e topic (argomenti) simili fra loro. Infatti si presume che un documento sia una miscela di un piccolo numero di argomenti e che l’utilizzo di ogni parola è attribuibile a uno dei temi del documento.

In altre parole, un contenuto viene frazionato in frasi più corte e semplici e si presuppone che ogni frase sia correlata semanticamente all’altra, ciò significa che se la prima frase parla di mele (argomento: FRUTTA), difficilmente o quanto meno improbabile la frase successiva parlerà di elefanti (argomento: ANIMALI).

Vengono quindi introdotte nuove variabili al modello PLSA, vediamo insieme quali e come:

1. Scegliere θd ~ Dirichlet (α)
2. Scegliere Φz ~ Dirichlet (β)
3. Per ogni WN (Parola osservata fra le parole del documento):
   • Scegliere un topic Z ~ multinomiale (θd)
   • Scegliere una parola  WN ~ multinomiale (Φz)

LEGENDA:

α  →   Dirichlet preliminare su θd

β  →   Dirichlet preliminare su Φk

D   →   numero dei documenti
Nd  →   numero delle parole nel   documento (d)
K  →   numero di argomenti latenti
θd   →   distribuzione di argomenti nel  documento “d”
Z   →   argomento latente (topic)
W  →   parola osservata
Φk  →   distribuzione delle parole   generate dall’argomento latente “Z”

In pratica vengono aggiunte due nuove variabili alla precedente formula della PLSA, si tratta delle due variabili latenti Dirichelet (α e β).

Questa soluzione permette di:

1. Superare l’overfitting (generazione di rumore) perchè il modello genera esclusivamente risultati coerenti ai vari argomenti (topic)

2. Generare tutti i collegamenti fra gli argomenti latenti e le parole osservate, basandosi sulla probabilità di correlazione e la distribuzione delle parole generate da quell’argomento

Naturalmente per affrontare, tutti questi temi matematici, mi sono avvalso di collaborazioni e analisi altrui che mi hanno permesso di “intuire” in modo semplice queste formule matematiche davvero complesse. Una di queste persone è Stefano Griggio (Netech Srl) che mi ha regalato una lettura semplificata della formula matematica:

La probabilità che la parola W appartenga all’argomento Z all’interno di un documento è proporzionale a quanto l’argomento è già stato trattato nel documento e al numero di volte che la parola è stata usata per quell’argomento

Questa sintesi di Stefano permette di capire il comportamento delle variabili latenti, che generano le varie correlazioni fra argomenti e parole utilizzate all’interno del documento analizzato.

Per rendere le cose ancora più semplici, ti faccio un esempio di correlazione semantica individuata tramite l’LDA:

Parole chiavi = astronomia e geologia

La navetta spaziale ha viaggiato a lungo nello spazio prima di arrivare sulla luna. Una volta arrivata, le sonde esamineranno il suolo per cercare di stabilire se si trova del ghiaccio nelle profondità dei crateri lunari.

Il significato semantico delle parole chiave, anche se non indicate esplicitamente (cioè non presenti nel testo del documento), vengono evidenziate dal topic di ogni singola frase.

Per completezza di informazione, qui trovi tutte le formule matematiche relative all’LDA.

Qui le slide:

Un abbraccio,
Michele