注:术语来源请参照《人工智能论文术语集》
破坏性输入 ~ 掩码语言模型的方式就是破坏性输入
作为一种替代方案 ~
缩写 ~
不规则的 ~
印刷错误 ~
散列标签 ~
鉴于 ~
合理的替代性采样 ~ 在Electra中不没有使用mask遮掩,而是用生成器产生的token进行替代
底层模型 ~ 是指模型的核心结构(如attention)
投射,变换 ~ 张量或者embedding之间的投射和变换
被虐的还不过瘾?快关注我,查看更多粉丝可见内容!!!