Просмотр кода страницы Word2vec

'''Word2vec''' — общее название для совокупности моделей на основе [[Искусственные нейронные сети|искусственных нейронных сетей]], предназначенных для получения [[Векторное представление слов|векторных представлений слов]] на [[Естественный язык|естественном языке]]. Используется для анализа [[Семантика|семантики]] естественных языков, основанный на [[Дистрибутивная семантика|дистрибутивной семантике]], [[Машинное обучение|машинном обучении]] и векторном представлении слов. [[Программное обеспечение]] под названием «word2vec» было разработано группой исследователей [[Google (компания)|Google]] в 2013 году{{sfn|Mikolov et al.|2013a}}{{sfn|Mikolov et al.|2013b}}. Инструменты для создания векторно-семантических моделей существовали и ранее{{sfn|Bengio et al.|2003}}{{sfn|Collobert and Weston|2008}}, но word2vec стал первой популярной реализацией: в первую очередь из-за удобства использования, [[Открытый исходный код|открытого исходного кода]] и скорости работы.{{нет АИ|22|02|2020|комм=Утверждения об удобстве использования и скорости работы сомнительны. Возможно дело в популярности методов или области. Нужны дополнительные ссылки.}}<ref>{{Cite web|url=https://code.google.com/archive/p/word2vec/|title=word2vec|lang=en|website=[[Google Code|Google Code Archive]]|accessdate=2020-04-24|archive-date=2020-11-03|archive-url=https://web.archive.org/web/20201103052625/https://code.google.com/archive/p/word2vec|deadlink=no}}</ref>

== Описание ==
Работа программы осуществляется следующим образом: word2vec принимает большой [[Корпус текстов|текстовый корпус]] в качестве входных данных и сопоставляет каждому слову вектор, выдавая координаты слов на выходе. Из корпуса получается словарь корпуса. Затем для всех слов словаря вычисляется [[векторное представление слов]], «обучаясь» на входных текстах корпуса. Векторное представление основывается на контекстной близости: слова, встречающиеся в тексте рядом с одинаковыми словами (а следовательно, имеющие схожий смысл), будут иметь близкие (по [[Косинусная мера|косинусному расстоянию]]) векторы. Полученные векторные представления слов могут быть использованы для обработки естественного языка и машинного обучения. В работе 2013 года предложены методы  существенного ускорения работы алгоритма машинного обучения (вплоть до ускорения в 25-100 раз) благодаря использованию техник семплирования (sampling), и, в частности, техники отрицательного семплирования (negative sampling), благодаря чему [[векторное представление слов]] и получило после этого свое распространение во всех алгоритмах [[Обработка естественного языка|ОЕЯ]](NLP) основанных на [[нейронная сеть|нейронных сетях]] вообще и на сетях [[глубокое обучение|глубокого обучения]] в частности.

== Алгоритмы обучения ==
Слова в алгоритме обучения рассматриваются в контексте: в окне предварительно определенной ширины 2m+1. 

Word2vec имеет два варианта моделирования слов контекста (построения предсказывающей модели слов контекста), CBoW и Skip-gram: 
* CBoW ({{lang-en|Continuous Bag of Words}}, «непрерывный мешок слов», {{lang-en|bag}} — [[мультимножество]]) – вариант word2vec, который предсказывает текущее центральное слово окна контекста, исходя из окружающих его слов в окне контекста
* Skip-gram (n-грамма с пропущенным центральным словом) — вариант word2vec, который предсказывает окружающие слова в окне контекста на основе текущего центрального слова окна контекста.

В алгоритме word2vec порядок слов контекста внутри окна не влияет на результирующий вектор представления.

Можно представить алгоритм word2vec как минимализированную и ускоренную нейросеть. 

Базовый алгоритм машинного обучения алгоритма word2vec преследует целью максимизацию правдоподобия предсказываемых слов и с этой целью осуществляет нахождение минимума функционала J(Θ) отрицательного логаритмического правдоподобия (NLL, Negative Log Likelihood) функции потерь кросс-энтропии со-встречаемых слов в окне контекста.

Для нахождения минимума функционала NLL производится дифференциирование функции потерь (нахождение градиента ∇J= ∂J/∂Θ) и поиск минимума функции J(Θ) в пространстве векторных представлений слов Θ, с помощью алгоритма стохастического градиентного спуска (SGD). 

В процессе итераций алгоритма SGD,
с целью упрощения обработки векторов представлений слов, вектора слова 1) для случая когда оно центральное слово контекста и 2) когда оно не-центральное слово – эти 2 вектора одного и того же слова считаются отдельно, и в конце работы алгоритма обучения объединяются в один вектор путем взятия их среднего. Без применения этого трюка расчеты усложнятся из-за того что само слово не часто встречается в своём собственном контексте, но будучи встреченным породит искажение в расчетах. 

Параметром обучения алгоритма является множество векторов Θ:
Θ= [wc_1, wc_2, ..., wc_V, wo_1, wo_2, ..., wo_V], 

где Vocabulary={w_i} списокк слов встреченных в корпусе

V = |Vocabulary| мощность списка слов встреченных в корпусе, 

w_i – искомые векторные представления слов, d-мерные векторы, 
причём 

wc_i – вектор, соответствующий расчетам, когда слово w_i встретилось в центре контекстного окна, и 

wo_i – вектор, соответствующий расчетам, когда слово w_i является не центральным словом в окне контекста, 

i пробегает значения от 1 до V.

Алгоритм SGD, работая над матрицей Θ стремится найти значения Θ, при которых достигается минимум функции  потерь. 

В результате в Θ получаются векторные представления слов.

=== Ускорение алгоритмов обучения ===
Алгоритм word2vec (как и основанный на нем эффективный по скорости и как baseline по настоящее время алгоритм fastText) достиг своей популярности и признания благодаря своей повышенной скорости (в 25-100 раз) по сравнению со скоростью базового варианта алгоритма. 

Базовый вариант алгоритма использует чрезвычайно многократное вычисление функции softmax() на каждом шаге. 
 
Ускорение алгоритма word2vec достигается применением различных приемов. 

Эти приемы состоят, в том или ином виде, в отбрасывании существенной части расчетов, которыми можно пренебречь для целей задачи получения векторных представлений слов. 

Приемы можно разделить на 2 группы: 
* ускорение 
* разные виды сэмплирования (sub-sampling, отрицательное сэмплирование, hierarchical softmax и другие )

Идея отрицательного сэмплирования (negative sampling, SGNS), состоит в 
замене предсказания вероятности  встретить слова из словаря в данном контексте, на алгоритм отбрасывающий и для этого штрафующий слова не встречаемые в этих контекстах. 

Такую замену этой части алгоритма можно представить как переформулировку задачи в виде задачи классификации совместно встречаемых и не встречаемых слов в рамках окна контекста. И вычислить такую классификацию получается намного быстрее. 

Оказалось, что включение в расчеты невстречаемых слов (достаточно 5-20 слов на каждом шаге) дает существенно удешевление вычислительных затрат по сравнению с  вычислением точной вероятности вхождения всех слов словаря (вызов softmax()), на каждом шаге.

== Результаты ==
Получаемые на выходе [[векторное представление слов|векторные представления слов]] позволяют вычислять семантическое расстояние между словами.
Так, можно находить похожие по значению слова.
Обычно приводят пример с королём и королевой: 
:<math>\overrightarrow{\text{королева}}\approx\overrightarrow{\text{король}}-\overrightarrow{\text{мужчинa}}+\overrightarrow{\text{женщинa}}</math>
Word2vec выполняет [[прогноз]]ирование на основании контекстной близости этих слов.
Так как инструмент word2vec основан на обучении простой [[Искусственная нейронная сеть|нейронной сети]], чтобы добиться его наиболее эффективной работы, необходимо использовать большие корпусы для его обучения. Это позволяет повысить качество предсказаний.

== История ==
В 2010 году Томаш Миколов (на тот момент работавший в [[Брненский технический университет|Брненском техническом университете]]) вместе с соавторами применил простую [[рекуррентная нейронная сеть|рекуррентную нейронную сеть]] с одним скрытым слоем для языкового моделирования.<ref>{{cite conference | last1=Миколов | first1=Томаш | last2=Карафиат | first2=Мартин | last3=Буржет | first3=Лукаш | last4=Черноцкий | first4=Ян | last5=Худанпур | first5=Санджив | title=Interspeech 2010 | chapter=Рекуррентные нейронные сети для языкового моделирования | publisher=ISCA | publication-place=ISCA | date=26 сентября 2010 | pages=1045–1048 | doi=10.21437/interspeech.2010-343}}</ref>

Алгоритм Word2vec был разработан, запатентован<ref name="pat">{{Cite patent|title=Численное представление слов в многомерном пространстве|country=US|number=9037464|pubdate=2015-05-19|assign=[[Google Inc.]]|inventor1-last=Миколов|inventor1-first=Томаш|inventor2-last=Чен|inventor2-first=Кай|inventor3-last=Коррадо|inventor3-first=Грегори С.|inventor4-last=Дин|inventor4-first=Джеффри А.}}</ref> и опубликован в 2013 году группой исследователей под руководством Миколова в [[Google_(компания)|Google]] в двух научных статьях. Первоначальная статья была отклонена рецензентами конференции [[Международная конференция по обучению представлениям|ICLR]] в 2013 году. Также потребовались месяцы, чтобы код получил одобрение на публикацию с открытым исходным кодом. Позднее другие исследователи проанализировали и объяснили алгоритм.<ref name="explain">{{cite arXiv |first1=Йоав |last1=Голдберг |first2=Омер |last2=Леви |title=Объяснение Word2vec: Вывод метода негативной выборки из работы Миколова и др.|eprint=1402.3722|class=cs.CL |year=2014 }}</ref>

Векторы вложений, создаваемые с использованием алгоритма Word2vec, имеют преимущества по сравнению с ранними подходами, такими как n-граммы и [[латентно-семантический анализ]].

Алгоритм [[GloVe]], разработанный командой из Стэнфорда, был создан как конкурент Word2vec. В оригинальной статье о GloVe были указаны улучшения по сравнению с Word2vec.<ref>[https://www.aclweb.org/anthology/D14-1162 ''GloVe: Global Vectors for Word Representation'' (pdf)] {{Webarchive|url=https://web.archive.org/web/20200903022100/https://www.aclweb.org/anthology/D14-1162/|date=2020-09-03}} "We use our insights to construct a new model for word representation which we call GloVe, for Global Vectors, because the global corpus statistics are captured directly by the model."</ref> Однако Миколов утверждал, что сравнение было некорректным, так как GloVe обучался на большем объёме данных. Он также отметил, что проект [[fastText]] демонстрирует превосходство Word2vec при обучении на одинаковых данных.<ref>{{cite arXiv |eprint=1607.01759 |class=cs.CL |first1=Арман |last1=Жулин |first2=Эдуард |last2=Грейв |title=Bag of Tricks for Efficient Text Classification |date=9 августа 2016 |last3=Божановски |first3=Петр |last4=Миколов |first4=Томаш}}</ref>

По состоянию на 2025 год подход Word2vec считается устаревшим для большинства задач. Однако он продолжает использоваться в нишевых приложениях, где требуется высокая вычислительная эффективность или ограниченные ресурсы. Например, Word2vec используется для обработки текстов на редких языках и для задач с небольшими объёмами данных, где современные трансформерные модели оказываются слишком ресурсозатратными.

Модели на основе [[Трансформер_(модель_машинного_обучения)|трансформеров]], такие как [[ELMo]], [[BERT]], [[Generative pre-trained transformer|GPT]] и другие, стали стандартом в обработке естественного языка (NLP). Они превосходят Word2vec по многим метрикам, добавляя несколько слоёв внимания и позволяя учитывать контекст на уровне всего текста. Тем не менее, развитие Word2vec и подобных алгоритмов продолжается: появляются модификации, ориентированные на специфические задачи, такие как мультиязыковая обработка или интеграция с квантовыми вычислениями.

Современные исследования продолжают изучать взаимосвязь между традиционными методами, такими как Word2vec, и новыми архитектурами. Это позволяет находить компромиссы между точностью, скоростью работы и вычислительными затратами, что особенно важно для практического применения.

== См. также ==
* [[Дистрибутивная семантика]]
* [[Векторное представление слов]]

== Примечания ==
{{примечания}}

== Литература ==
* {{статья
  |автор = {{nobr|Mikolov T.}}, {{nobr|Chen K.}}, {{nobr|Corrado G.}}, {{nobr|Dean J.}}
  |заглавие = Efficient Estimation of Word Representations in Vector Space
  |ссылка = https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf
  |издание = In Proceedings of Workshop at ICLR
  |год = 2013a
  |ref = Mikolov et al.
  }}
* {{статья
  |автор = {{nobr|Mikolov T.}}, {{nobr|Yih W.-T.}}, {{nobr|Zweig G.}}
  |заглавие = Linguistic Regularities in Continuous Space Word Representations
  |ссылка = http://www.aclweb.org/anthology/N13-1090
  |издание = In Proceedings of NAACL HLT
  |год = 2013b
  |ref = Mikolov et al.
  }}
* {{статья
  |автор = {{nobr|Bengio Y.}}, {{nobr|Ducharme R.}}, {{nobr|Vincent P.}}
  |заглавие = A neural probabilistic language model
  |ссылка = http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
  |издание = In Journal of Machine Learning Research
  |год = 2003
  |ref = Bengio et al.
  }}
* {{статья
  |автор = {{nobr|Collobert R.}},  {{nobr|Weston J.}}
  |заглавие = A unified architecture for natural language processing: Deep neural networks with multitask learning
  |ссылка = https://thetalkingmachines.com/sites/default/files/2018-12/unified_nlp.pdf
  |издание = In Proceedings of the 25th ICML
  |год = 2008
  |ref = Collobert and Weston
  }}

== Ссылки ==
* https://code.google.com/archive/p/word2vec/
* [http://rusvectores.org RusVectōrēs] — пример применения к русскому языку
'''Реализации на разных языках программирования'''
* [https://github.com/dav/word2vec/ C]
* [https://github.com/w2vxx/w2vxx C++]
* [https://github.com/deeplearning4j/deeplearning4j Java/Scala]
* [https://github.com/tensorflow/tensorflow/blob/r1.1/tensorflow/examples/tutorials/word2vec/word2vec_basic.py Python]
* [http://radimrehurek.com/gensim/models/word2vec.html Python]

[[Категория:Компьютерная лингвистика]]
[[Категория:Корпусная лингвистика]]
[[Категория:Статистическая обработка естественного языка]]
[[Категория:Обработка естественного языка]]
[[Категория:Автоматическая обработка текстов]]