SEOMantica: esperimenti di Amit Gruber su LDA, HTTM e VHTMM1
Alcuni cenni e anticipazioni sugli esperimenti condotti da Amit Gruber, in ambito di risultati ottenuti utilizzando e comparando i modelli matematici LDA, HTTM e VHTMM1.
Gli esperimenti di Amit Gruber su LDA, HTTM e VHTMM1 (Slide 54-58)
Eccoti alcuni cenni e anticipazioni sugli esperimenti condotti da Amit Gruber
- NIPS Dataset (1740 documenti, 1557 per pratica, 183 per test)
- Pre-elaborazione dei dati: Estrazione parole dal vocabolario (J=12113, no stop words) + Suddiviso il testo in frasi in corrispondenza di “.?!”
- Comparazione fra i modelli LDA, HTTM e VHTMM1 (una variante di HTTM dove ε=1)
Ecco qui i risultati ottenuti da Amit:
Più bassa è la perplessità, migliore è il modello nella previsione delle parole invisibili (quindi dei topic nascosti/latenti).
HTMM
LDA
CONCLUSIONI SIGNIFICATIVE DELL’ESPERIMENTO
- HTMM è un’altra estensione dell’LDA, che facilita la selezione delle parole assumendo parte della modellazione dinamica dell’argomento tipica delle catene di Markov.
- Questa estensione porta ad un netto miglioramento della perplessità e rende possibili 2 deduzioni:
- Segmentazione in argomenti
- Disambiguazione del senso della parola (risolto il problema della polisemia)
- Viene richiesto un grosso salvataggio dell’intero documento che deve essere inserito come input nell’algoritmo, grande capacità di calcolo richiesta
- E’ applicabile esclusivamente su dati strutturati, in cui le frasi sono ben definite (senza punteggiatura perde ogni significato)
Qui il video dell’intervento di Amit del 2007:
Qui puoi scaricare la mappa mentale per ricordarti tutto il percorso che ci ha portato a queste conclusioni, in modo da memorizzarle meglio e collegarle fra loro nel modo migliore!
… e come sempre qui ti ripropongo le slide dell’intervento:
View more presentations from Michele De Capitani
Un abbraccio,
Michele