Просмотр кода страницы Векторное представление слов

'''Векторное представление''' ('''векторное вложение слов,''' '''вложение слов''' или '''эмбеддинги'''<ref>{{Cite web|url=https://www.nkj.ru/open/36052/|title=Что такое эмбеддинги и как они помогают искусственному интеллекту понять мир людей|lang=ru|first=Редакция журнала Наука и|last=жизнь|website=www.nkj.ru|date=2019-04-17|access-date=2024-04-14|archive-date=2023-06-08|archive-url=https://web.archive.org/web/20230608082805/https://nkj.ru/open/36052/|url-status=live}}</ref>) — общее название для различных подходов к [[Языковая модель|моделированию языка]] и [[Обучение признакам|обучению представлений]] в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из <math>\R^{n}</math> для <math>n</math>, значительно меньшего количества слов в словаре. Теоретической базой для векторных представлений является [[дистрибутивная семантика]].

Существует несколько методов для построения такого сопоставления. Так, используют [[Искусственная нейронная сеть|нейронные сети]]<ref>{{cite arXiv |eprint=1310.4546|last1=Mikolov|first1=Tomas|title=Distributed Representations of Words and Phrases and their Compositionality|last2=Sutskever|first2=Ilya|last3=Chen|first3=Kai|last4=Corrado|first4=Greg|last5=Dean|first5=Jeffrey|class=cs.CL|year=2013}}</ref> , методы [[снижение размерности|снижения размерности]] в применении к матрицам совместных упоминаний слов (word co-occurrence matrices)<ref>{{cite arXiv |eprint=1312.5542|last1=Lebret|first1=Rémi|title=Word Emdeddings through Hellinger PCA|last2=Collobert|first2=Ronan|class=cs.CL|year=2013}}</ref> и явные представления, обучающиеся на контекстах упоминаний слов (explicit representations)<ref>{{статья |заглавие=Linguistic Regularities in Sparse and Explicit Word Representations |издание=Proceedings of the Eighteenth Conference on Computational Natural Language Learning, Baltimore, Maryland, USA, June. Association for Computational Linguistics. 2014 |ссылка=http://www.cs.bgu.ac.il/~yoavg/publications/conll2014analogies.pdf |язык=en |тип=journal |автор=Levy, Omer; Goldberg, Yoav |archivedate=2014-08-14 |archiveurl=https://web.archive.org/web/20140814150429/http://www.cs.bgu.ac.il/~yoavg/publications/conll2014analogies.pdf }}</ref>.

Продемонстрировано, что векторные представления слов и фраз способны значительно улучшить качество работы некоторых методов автоматической обработки естественного языка (например, [[синтаксический анализ]]<ref>{{статья |заглавие=Parsing with compositional vector grammars |издание=Proceedings of the ACL conference. 2013 |ссылка=http://www.socher.org/uploads/Main/SocherBauerManningNg_ACL2013.pdf |язык=und |автор=Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew |archivedate=2016-08-11 |archiveurl=https://web.archive.org/web/20160811041232/http://www.socher.org/uploads/Main/SocherBauerManningNg_ACL2013.pdf }}</ref> и [[Анализ тональности текста|анализ тональности]]<ref>{{статья |заглавие=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank |издание=Conference on Empirical Methods in Natural Language Processing |ссылка=http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf |язык=en |тип=journal |автор=Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Chris; Ng, Andrew; Potts, Chris |archivedate=2016-12-28 |archiveurl=https://web.archive.org/web/20161228100300/http://nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf }}</ref>).

== Примеры эмбеддингов ==
В настоящее время существует большое количество моделей векторного представления слов и алгоритмов, для их эффективного обучения. К наиболее известным относятся:

* [[Word2vec]] — разработанный в 2013 году в компании Google набор инструментов для эффективного обучения моделей эмбеддингов<ref>{{Cite web|url=https://code.google.com/archive/p/word2vec/|title=Google Code Archive - Long-term storage for Google Code Project Hosting.|website=code.google.com|access-date=2024-04-14|archive-date=2020-11-03|archive-url=https://web.archive.org/web/20201103052625/https://code.google.com/archive/p/word2vec|url-status=live}}</ref><ref>{{Статья|ссылка=https://arxiv.org/abs/1301.3781|автор=Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean|заглавие=Efficient Estimation of Word Representations in Vector Space|год=2013|язык=en|издание=arXiv|archivedate=2023-02-16|archiveurl=https://web.archive.org/web/20230216094154/https://arxiv.org/abs/1301.3781}}</ref>
* {{iw|GloVe|GloVe|en|GloVe}} — модель и алгоритм [[Обучение без учителя|обучения без учителя]] для получения векторных представлений слов, разработанный в 2014 году в [[Стэнфордский университет|Стэнфордском университете]]<ref>{{Cite web|url=https://nlp.stanford.edu/projects/glove/|title=GloVe: Global Vectors for Word Representation|website=nlp.stanford.edu|access-date=2024-04-14|archive-date=2024-04-28|archive-url=https://web.archive.org/web/20240428055849/https://nlp.stanford.edu/projects/glove/|url-status=live}}</ref>
* {{iw|FastText|FastText|en|FastText}} — модель, разработанная компанией Facebook в 2015 году<ref>{{Статья|ссылка=https://github.com/facebookresearch/fastText|заглавие=facebookresearch/fastText|год=2024-04-14|archivedate=2024-04-15|archiveurl=https://web.archive.org/web/20240415170918/https://github.com/facebookresearch/FastText/}}</ref>. Её особенностью является использование эмбеддингов не только для целых слов, но и для их частей.<ref>{{Статья|ссылка=https://arxiv.org/abs/1607.04606|автор=Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean|заглавие=Efficient Estimation of Word Representations in Vector Space|год=2013|язык=en|издание=arXiv|archivedate=2024-04-19|archiveurl=https://web.archive.org/web/20240419171730/https://arxiv.org/abs/1607.04606}}</ref>

== Примечания ==
{{примечания}}

== Ссылки ==
* [https://neerc.ifmo.ru/wiki/index.php?title=Векторное_представление_слов Векторное представление слов] Викиконспекты ИТМО

{{вс}}
{{Генеративный ИИ}}
{{перевести|fr|Word embedding}}

[[Категория:Компьютерная лингвистика]]
[[Категория:Обработка естественного языка]]
[[Категория:Искусственные нейронные сети]]
[[Категория:Языковое моделирование]]