{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Word2Vec\n", "\n", "众所周知，机器处理原始文本数据。实际上，机器几乎不可能处理数据文本之外的其它文本。因此，以向量的形式表示文本一直是所有NLP任务的重要步骤。\n", "\n", "其中非常关键的一步是word2vec词嵌入的使用。该方法在2013年被引入NLP领域，完全改变了NLP的前景。\n", "\n", "这些嵌入法代表了处理词类比和相似度等任务可达到的最高水准。word2vec嵌入法也能实现King – man +woman ~= Queen（国王–男性 + 女性 ~= 女王等任务），近乎神迹。\n", "\n", "现在有两种word2vec模型——连续词袋模型与Skip-Gram模型。本文将使用后者。首先要了解如何计算word2vec向量或嵌入。" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 1. 如何生成word2vec词嵌入？\n", "\n", "word2vec模型是一个单个简单隐藏层的神经网络模型。模型任务用于预测语句中每个单词的临近单词。然而，我们的目标与此完全无关。我们想做的只是知道模型被训练后隐藏层所学习的权重。这些权重可做被用做词嵌入。\n", "\n", "下面的例子用于理解word2vec模型是如何工作的。思考以下句子：\n", "\n", "![img](images/word2vec_01.jpeg)\n", "\n", "假设“teleport（传输）”这个词作为输入词。该词拥有规格为2的上下文窗口。这意味着只将此词左右两侧的两个单词作为相近单词。\n", "\n", "注意：上下文窗口的规格非固定，可根据需要改变。\n", "\n", "现在，任务是逐一选择相近单词（上下文窗口中的单词）并确定词汇表中每个单词被选中的可能性。听起来很容易，对吗？\n", "\n", "通过另一个例子来理解这个过程。\n", "\n", "\n", "### 1.1 训练数据\n", "\n", "\n", "需要一个标签数据集来训练神经网络模型。这意味着数据集需要有一组输入，每组都会有相应输出。这时你可能会想问以下问题：\n", "\n", "* 何处寻找这样的数据集？\n", "* 该数据集需要包含什么内容？\n", "* 这组数据有多大？\n", "\n", "好消息！可以很容易地创建自己的标签数据来训练word2vec模型。如下阐述了如何从文本生成数据集。应用其中的一个句子并创建训练数据。\n", "\n", "第一步：黄色高亮单词作为输入，绿色高亮单词为输出。窗口规格为2个单词。将首单词作为输入词。\n", "\n", "![img](images/word2vec_02.jpeg)\n", "\n", "因此，该输入词的训练样本如下所示：\n", "\n", "![img](images/word2vec_03.jpeg)\n", "\n", "第二步：将第二个单词作为输入词。上下文窗口将同时改变。现在的相近单词变成了“we”、“become”和“what”。\n", "\n", "![img](images/word2vec_04.jpeg)\n", "\n", "新的训练样本将附于之前的样本后面，如下所示：\n", "\n", "![img](images/word2vec_05.jpeg)\n", "\n", "重复以上步骤直至最后一个单词。最后，完整的训练数据如下所示：\n", "\n", "![img](images/word2vec_06.jpeg)\n", "![img](images/word2vec_07.jpeg)\n", "\n", "一个句子能生成27个训练样本。太赞了！这是我喜欢处理非结构化数据的原因之一——能让标签数据集从无到有。\n", "\n", "\n", "### 1.2 生成word2vec词嵌入\n", "\n", "现在假设存在一组句子，用同样的方法提取出一组训练样本。将会得到大量训练数据。\n", "\n", "假设该数据集中唯一单词（即只出现一次的单词）的数量是5000，并且希望为每一个单词创建规格为100的单词向量。同时word2vec架构如下所示：\n", "\n", "* V=5000（词汇表规格）\n", "* N=100（隐藏单元数量或词嵌入长度）\n", "\n", "![img](images/word2vec_08.jpeg)\n", "\n", "输入是独热编码向量，**输出层是词汇表中各单词成为相近单词的概率**。\n", "\n", "为了将事物置于上下文中，词嵌入是文本的向量表示形式，它们捕获上下文信息。让我们看看下面的句子：\n", "\n", "* 我乘**巴士**去孟买\n", "* 我乘**火车**去孟买\n", "\n", "粗体字（公共汽车和火车）的向量将非常相似，因为它们出现在相同的上下文中，即粗体文本之前和之后的词。该信息对于许多NLP任务非常有用，例如文本分类，命名实体识别，语言建模，机器翻译等等。\n", "\n", "\n", "一旦模型被训练，很容易提取$W_V x N$ 矩阵的学习权重，并用以提取单词。\n", "\n", "![img](images/word2vec_09.jpeg)\n", "\n", "如上所示，权重矩阵的规格为5000x100。第一行对应词汇表中的第一个单词，第二行对应第二个，以此类推。\n", "\n", "![img](images/word2vec_10.jpeg)\n", "\n", "这就是通过word2vec生成固定规格的单词向量或单词嵌入的方法。数据集中的相似词会有相似向量，如指向同一方向的向量。比如，“car”和“jeep”两个词有着相似的向量。\n", "\n", "![img](images/word2vec_11.jpeg)\n", "\n", "这是对于NLP中如何应用word2vec模型的简要介绍。\n", "\n", "\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## References\n", "* 用Word2Vec建立你的私人购物助手 https://www.toutiao.com/a6730445169444782606\n", "* 使用DeepWalk从图中提取特征 https://www.toutiao.com/a6766104546411282947\n", "* 词向量详解：从word2vec、glove、ELMo到BERT https://www.toutiao.com/a6746020414075437579" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.8" } }, "nbformat": 4, "nbformat_minor": 2 }