Латентно-семантический анализ

Шаблон:Не путать Латентно-семантический анализ (ЛСА) (Шаблон:Lang-en) — это метод обработки информации на естественном языке, анализирующий взаимосвязь между библиотекой документов и терминами, в них встречающимися, и выявляющий характерные факторы (тематики), присущие всем документам и терминам.

В основе метода латентно-семантического анализа лежат принципы факторного анализа, в частности, выявление латентных связей изучаемых явлений или объектов. При классификации / кластеризации документов этот метод используется для извлечения контекстно-зависимых значений лексических единиц при помощи статистической обработки больших корпусов текстов.

История

ЛСА был запатентован в 1988 году Scott Deerwester, Susan Dumais, George Furnas, Richard Harshman, Thomas Landauer, Karen Lochbaum и Lynn Streeter. В области информационного поиска данный подход называют латентно-семантическим индексированием (ЛСИ).

Впервые ЛСА был применен для автоматического индексирования текстов, выявления семантической структуры текста и получения псевдодокументов. Затем этот метод был довольно успешно использован для представления баз знаний и построения когнитивных моделей.

В последние годы метод ЛСА часто используется для поиска информации (индексация документов), классификации документов, моделях понимания и других областях, где требуется выявление главных факторов из массива информационных данных.

Описание работы ЛСА

Файл:Topic model scheme.webm

ЛСА можно сравнить с простым видом нейросети, состоящей из трех слоев: первый слой содержит множество слов (термов), второй — некое множество документов, соответствующих определённым ситуациям, а третий, средний, скрытый слой представляет собой множество узлов с различными весовыми коэффициентами, связывающих первый и второй слои.

В качестве исходной информации ЛСА использует матрицу термы-на-документы, описывающую набор данных, используемый для обучения системы. Элементы этой матрицы содержат, как правило, веса, учитывающие частоты использования каждого терма в каждом документе и участие терма во всех документах (TF-IDF). Наиболее распространенный вариант ЛСА основан на использовании разложения матрицы по сингулярным значениям (SVD — Singular Value Decomposition). С помощью SVD-разложения любая матрица раскладывается во множество ортогональных матриц, линейная комбинация которых является достаточно точным приближением к исходной матрице.

Говоря более формально, согласно теореме о сингулярном разложении, любая вещественная прямоугольная матрица может быть разложена на произведение трех матриц:

$\begin{array}{c}A=US{V}^T\end{array}$ ,

где матрицы $\mathbf{\text{U}}$ и $\mathbf{\text{V}}$ — ортогональные, а $\mathbf{\text{S}}$ — диагональная матрица, значения на диагонали которой называются сингулярными значениями матрицы $\mathbf{\text{A}}$. Буква Т в выражении ${\mathbf{\text{V}}}^T$ означает транспонирование матрицы.

Такое разложение обладает замечательной особенностью: если в матрице $\mathbf{\text{S}}$ оставить только $\mathbf{\text{k}}$ наибольших сингулярных значений, а в матрицах $\mathbf{\text{U}}$ и $\mathbf{\text{V}}$ — только соответствующие этим значениям столбцы, то произведение получившихся матриц $\mathbf{\text{S}}$ , $\mathbf{\text{U}}$ и $\mathbf{\text{V}}$ будет наилучшим приближением исходной матрицы $\mathbf{\text{A}}$ к матрице $\widehat{\mathbf{\text{A}}}$ ранга $\mathbf{\text{k}}$:

$\begin{array}{c}\hat{A}\approx A=US{V}^T\end{array}$ ,

Основная идея латентно-семантического анализа состоит в том, что если в качестве матрицы $\mathbf{\text{A}}$ использовалась матрица термы-на-документы, то матрица $\widehat{\mathbf{\text{A}}}$ , содержащая только $\mathbf{\text{k}}$ первых линейно независимых компонент $\mathbf{\text{A}}$, отражает основную структуру различных зависимостей, присутствующих в исходной матрице. Структура зависимостей определяется весовыми функциями термов.

Таким образом, каждый терм и документ представляются при помощи векторов в общем пространстве размерности $\mathbf{\text{k}}$ (так называемом пространстве гипотез). Близость между любой комбинацией термов и/или документов легко вычисляется при помощи скалярного произведения векторов.

Как правило, выбор $\mathbf{\text{k}}$ зависит от поставленной задачи и подбирается эмпирически. Если выбранное значение $\mathbf{\text{k}}$ слишком велико, то метод теряет свою мощность и приближается по характеристикам к стандартным векторным методам. Слишком маленькое значение k не позволяет улавливать различия между похожими термами или документами.

Применение

Существуют три основных разновидности решения задачи методом ЛСА:

• сравнение двух термов между собой;
• сравнение двух документов между собой;
• сравнение терма и документа.

Достоинства и недостатки ЛСА

Достоинства метода:

• метод является наилучшим для выявления латентных зависимостей внутри множества документов;
• метод может быть применен как с обучением, так и без обучения (например, для кластеризации);
• используются значения матрицы близости, основанной на частотных характеристиках документов и лексических единиц;
• частично снимается полисемия и омонимия.

Недостатки:

• Существенным недостатком метода является значительное снижение скорости вычисления при увеличении объёма входных данных (например, при SVD-преобразовании). Как показано в, скорость вычисления соответствует порядку ${\mathbf{\text{N}}}^{2*k}$, где $\mathbf{\text{N}}={\mathbf{\text{N}}}_{doc}+{\mathbf{\text{N}}}_{term}$ — сумма количества документов и термов , $\mathbf{\text{k}}$ — размерность пространства факторов.
• Вероятностная модель метода не соответствует реальности. Предполагается, что слова и документы имеют Нормальное распределение, хотя ближе к реальности Распределение Пуассона. В связи с этим для практических применений лучше подходит Вероятностный латентно-семантический анализ, основанный на мультиномиальном распределении.

Ссылки

• https://web.archive.org/web/20090131212818/http://www-timc.imag.fr/Benoit.Lemaire/lsa.html - Readings in Latent Semantic Analysis for Cognitive Science and Education. — Сборник статей и ссылок о ЛСА.
• http://lsa.colorado.edu/ - сайт, посвященный моделированию ЛСА.