BERT¶
MLM¶
NSP¶
如何提升BERT下游任务表现¶
Question¶
1. BERT分为哪两种任务，各自的作用是什么¶
BERT（Bidirectional Encoder Representations from Transformers）主要用于两种任务：预训练任务和微调任务。
- 预训练任务：BERT通过无监督的方式在大规模文本数据上进行预训练。其中包括两个任务：
- 掩码语言建模（Masked Language Modeling，MLM）：BERT在输入句子中随机掩盖一些词汇，并试图通过上下文来预测这些被掩盖的词汇。这个任务有助于BERT理解上下文中的词汇关系。
- 下一句预测（Next Sentence Prediction，NSP）：BERT在输入的句子对中判断第二个句子是否是第一个句子的下一句。这个任务有助于BERT学习句子级别的语义关系。
- 微调任务：在预训练完成后，BERT可以在特定的下游任务上进行微调，例如文本分类、命名实体识别、问答等。通过在少量标记数据上微调BERT，可以使其适应具体任务并提供更好的性能。
2. 在计算MLM预训练任务的损失函数的时候，参与计算的Tokens有哪些？是全部的15%的词汇还是15%词汇中真正被Mask的那些tokens？¶
在计算MLM预训练任务的损失函数时，参与计算的是15%的词汇中真正被掩盖的那些tokens。在训练过程中，BERT会随机选择15%的输入词汇进行掩盖，并将这些被掩盖的词汇作为预测目标。而没有被掩盖的词汇则不参与损失函数计算。
3. 在实现损失函数的时候，怎么确保没有被 Mask 的函数不参与到损失计算中去¶
在实现损失函数时，可以使用特殊的掩盖标记（如"[MASK]"）来标记被掩盖的词汇，并将这些标记的位置与实际被掩盖的词汇对应起来。在计算损失函数时，只考虑这些被掩盖的词汇，并将预测结果与实际目标进行比较。通过这种方式，可以确保没有被掩盖的词汇不参与到损失计算中。
4. BERT的三个Embedding为什么直接相加¶
BERT的三个嵌入（Embedding）分别是：
- 词汇嵌入（Word Embedding）：将输入的词汇映射为固定维度的向量表示。BERT使用了WordPiece嵌入模型，将单词拆分为子词，然后将这些子词映射为词汇嵌入。
- 位置嵌入（Position Embedding）：为输入序列中的每个位置添加表示该位置的向量。位置嵌入帮助BERT理解词汇在句子中的顺序和位置关系。
- 分段嵌入（Segment Embedding）：对输入的句子进行分段，并为每个分段添加不同的嵌入向量。这样BERT可以区分来自不同句子的词汇。
这三个嵌入向量在BERT模型中直接相加，以获得最终的输入表示，其中每个词汇的表示是由这三个嵌入的向量相加得到的。
5. BERT的优缺点分别是什么¶
BERT的优点包括：
- 上下文理解：BERT通过使用Transformer模型进行预训练，能够学习上下文信息，从而更好地理解句子中的语义关系。
- 多功能性：BERT可以通过微调适应多种下游任务，包括文本分类、命名实体识别、问答等，具有广泛的应用领域。
- 预训练和微调：通过预训练和微调的方式，BERT不仅能够利用大规模无监督数据进行预训练，还能在特定任务上进行微调，获得更好的性能。
BERT的一些缺点包括：
- 大规模模型：BERT是一个庞大的模型，具有很大的参数量和计算需求，对计算资源要求较高。
- 预训练时间长：在大规模数据上进行预训练的过程需要大量时间和计算资源。
- 上下文限制：BERT是基于固定长度的上下文窗口进行训练的，对于较长的文本，可能无法完全捕捉到全局的语义关系。
6. 你知道有哪些针对BERT的缺点做优化的模型¶
- RoBERTa：RoBERTa是对BERT进行改进的模型，通过采用更大的批次大小、更长的预训练时间和更多的数据来提升性能。
- ALBERT：ALBERT采用了参数共享和跨层参数共享的方式，减少了BERT模型的参数量，提高了训练效率和泛化性能。
- ELECTRA：ELECTRA采用了生成对抗网络（GAN）的思想，通过对输入进行替换并预测被替换的部分来进行训练，以提高生成模型的质量和效率。
- DistilBERT：DistilBERT是对BERT进行蒸馏（knowledge distillation）的模型，通过使用更小、更快的模型来近似原始BERT模型。
7. BERT怎么用在生成模型中¶
将BERT用于生成模型时，一种常见的方法是使用条件生成的方式。
具体步骤如下：
- 输入编码：将输入序列（通常是一个句子或一段文本）通过BERT模型进行编码，得到输入序列的表示。
- 生成过程：在生成过程中，可以使用各种生成模型，例如循环神经网络（RNN）或变换器（Transformer）。输入表示和生成模型的隐藏状态可以作为生成模型的输入。
- 解码和采样：根据生成模型的输出和隐藏状态，进行解码和采样，生成下一个词汇或字符。可以使用不同的策略，如贪婪解码或采样解码。
- 重复生成：重复进行解码和采样的过程，直到生成所需长度的文本或遇到特定的停止标志。