@@ -222,3 +222,8 @@ Bert自从在 `BERT: Pre-training of Deep Bidirectional Transformers for Languag | |||||
CMRC2018Metric: f1=85.61, em=66.08 | CMRC2018Metric: f1=85.61, em=66.08 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/extend_1_bert_embedding.ipynb>`_) |
@@ -162,3 +162,9 @@ fastNLP中field的命名习惯 | |||||
- **chars**: 表示已经切分为单独的汉字的序列。例如["这", "是", "一", "个", "示", "例", "。"]。但由于神经网络不能识别汉字,所以一般该列会被转为int形式,如[3, 4, 5, 6, ...]。 | - **chars**: 表示已经切分为单独的汉字的序列。例如["这", "是", "一", "个", "示", "例", "。"]。但由于神经网络不能识别汉字,所以一般该列会被转为int形式,如[3, 4, 5, 6, ...]。 | ||||
- **target**: 表示目标值。分类场景下,只有一个值;序列标注场景下是一个序列 | - **target**: 表示目标值。分类场景下,只有一个值;序列标注场景下是一个序列 | ||||
- **seq_len**: 表示输入序列的长度 | - **seq_len**: 表示输入序列的长度 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_1_data_preprocess.ipynb>`_) |
@@ -128,4 +128,11 @@ fastNLP中的Vocabulary | |||||
首先train和test都能够从预训练中找到对应的vector,所以它们是各自的vector表示; only_in_train在预训练中找不到,StaticEmbedding为它 | 首先train和test都能够从预训练中找到对应的vector,所以它们是各自的vector表示; only_in_train在预训练中找不到,StaticEmbedding为它 | ||||
新建了一个entry,所以它有一个单独的vector; 而only_in_test在预训练中找不到改词,因此被指向了unk的值(fastNLP用零向量初始化unk),与最后一行unk的 | 新建了一个entry,所以它有一个单独的vector; 而only_in_test在预训练中找不到改词,因此被指向了unk的值(fastNLP用零向量初始化unk),与最后一行unk的 | ||||
表示相同。 | |||||
表示相同。 | |||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_2_vocabulary.ipynb>`_) |
@@ -451,3 +451,10 @@ fastNLP通过在 :class:`~fastNLP.embeddings.StaticEmbedding` 增加了一个min | |||||
tensor([[ 0.6707, -0.5786, -0.6967, 0.0111, 0.1209]], grad_fn=<EmbeddingBackward>) # unk | tensor([[ 0.6707, -0.5786, -0.6967, 0.0111, 0.1209]], grad_fn=<EmbeddingBackward>) # unk | ||||
可以看到a不再和最后一行的unknown共享一个表示了,这是由于a与A都算入了a的词频,且A的表示也是a的表示。 | 可以看到a不再和最后一行的unknown共享一个表示了,这是由于a与A都算入了a的词频,且A的表示也是a的表示。 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_3_embedding.ipynb>`_) |
@@ -208,3 +208,10 @@ Part V: 不同格式类型的基础Loader | |||||
"A person on a horse jumps over a broken down airplane.", "A person is training his horse for a competition.", "neutral" | "A person on a horse jumps over a broken down airplane.", "A person is training his horse for a competition.", "neutral" | ||||
"A person on a horse jumps over a broken down airplane.", "A person is at a diner, ordering an omelette.", "contradiction" | "A person on a horse jumps over a broken down airplane.", "A person is at a diner, ordering an omelette.", "contradiction" | ||||
"A person on a horse jumps over a broken down airplane.", "A person is outdoors, on a horse.", "entailment" | "A person on a horse jumps over a broken down airplane.", "A person is outdoors, on a horse.", "entailment" | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_4_load_dataset.ipynb>`_) |
@@ -238,3 +238,9 @@ | |||||
Evaluate data in 0.43 seconds! | Evaluate data in 0.43 seconds! | ||||
[tester] | [tester] | ||||
AccuracyMetric: acc=0.773333 | AccuracyMetric: acc=0.773333 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_5_loss_optimizer.ipynb>`_) |
@@ -413,3 +413,9 @@ Dataset个性化padding | |||||
AccuracyMetric: acc=0.786667 | AccuracyMetric: acc=0.786667 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_6_datasetiter.ipynb>`_) |
@@ -125,3 +125,9 @@ | |||||
self.evaluate将计算一个批次(batch)的评价指标,并累计。 没有返回值 | self.evaluate将计算一个批次(batch)的评价指标,并累计。 没有返回值 | ||||
self.get_metric将统计当前的评价指标并返回评价结果, 返回值需要是一个dict, key是指标名称,value是指标的值 | self.get_metric将统计当前的评价指标并返回评价结果, 返回值需要是一个dict, key是指标名称,value是指标的值 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_7_metrics.ipynb>`_) |
@@ -182,3 +182,10 @@ FastNLP 中包含的各种模块如下表,您可以点击具体的名称查看 | |||||
:class:`~fastNLP.modules.viterbi_decode` , 给定一个特征矩阵以及转移分数矩阵,计算出最佳的路径以及对应的分数 (与 :class:`~fastNLP.modules.ConditionalRandomField` 配合使用) | :class:`~fastNLP.modules.viterbi_decode` , 给定一个特征矩阵以及转移分数矩阵,计算出最佳的路径以及对应的分数 (与 :class:`~fastNLP.modules.ConditionalRandomField` 配合使用) | ||||
:class:`~fastNLP.modules.allowed_transitions` , 给定一个id到label的映射表,返回所有可以跳转的列表(与 :class:`~fastNLP.modules.ConditionalRandomField` 配合使用) | :class:`~fastNLP.modules.allowed_transitions` , 给定一个id到label的映射表,返回所有可以跳转的列表(与 :class:`~fastNLP.modules.ConditionalRandomField` 配合使用) | ||||
:class:`~fastNLP.modules.TimestepDropout` , 简单包装过的Dropout 组件 | :class:`~fastNLP.modules.TimestepDropout` , 简单包装过的Dropout 组件 | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_8_modules_models.ipynb>`_) |
@@ -130,3 +130,9 @@ fastNLP 中提供了很多常用的 Callback,如梯度裁剪,训练时早停 | |||||
callbacks = [MyCallBack()] | callbacks = [MyCallBack()] | ||||
train_with_callback(callbacks) | train_with_callback(callbacks) | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/tutorial_9_callback.ipynb>`_) |
@@ -196,4 +196,11 @@ fastNLP的数据载入主要是由Loader与Pipe两个基类衔接完成的,您 | |||||
[tester] | [tester] | ||||
SpanFPreRecMetric: f=0.641774, pre=0.626424, rec=0.657895 | SpanFPreRecMetric: f=0.641774, pre=0.626424, rec=0.657895 | ||||
可以看出通过使用Bert,效果有明显的提升,从48.2提升到了64.1。 | |||||
可以看出通过使用Bert,效果有明显的提升,从48.2提升到了64.1。 | |||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/%E5%BA%8F%E5%88%97%E6%A0%87%E6%B3%A8.ipynb>`_) |
@@ -368,3 +368,9 @@ fastNLP提供了Trainer对象来组织训练过程,包括完成loss计算(所 | |||||
{'AccuracyMetric': {'acc': 0.919167}} | {'AccuracyMetric': {'acc': 0.919167}} | ||||
---------------------------------- | |||||
代码下载 | |||||
---------------------------------- | |||||
`点击下载 IPython Notebook 文件 <https://sourcegraph.com/github.com/fastnlp/fastNLP@master/-/raw/tutorials/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb>`_) |