BERT 为什么选择遮蔽约 15% 的 Token，这个比例能否调整？

知识专题：预训练、续训与 SFT题目类型：原理机制技术难度：进阶

题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

1 个来源，共1 份题集

模型架构与注意力

Firefly · llm_interview_note · 1 条原题

查看题集 →

- 为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？