比MAE更强，FAIR新方法MaskFeat用HOG刷新多个SOTA
选自arXiv 作者：Chen Wei等 机器之心编译 mask-and-predict 的方法可能会成为计算机视觉领域的新流派。 自监督预训练在自然语言处理方面取得了惊人的成功，其基本思路中包含着掩码预测任务。前段时间，何恺明一作的论文《Masked Autoencoders Are Scalable Vision Learners》提出了一种简单实用的自监督学习方案 MAE
mask
机器之心 . 2022-01-06 1 3343
我们真的需要那么多“超大模型”吗？
自2018年谷歌发布BERT以来，预训练大模型经过三年的发展,以强大的算法效果，席卷了NLP为代表的各大AI榜单与测试数据集。2020年OpenAI发布的NLP大模型GPT-3，实现了千亿级数据参数。GPT-3除了具备传统的NLP能力之外，还可以算术、编程、写小说、写论文摘要，一时之间成为科技圈中的爆点。到2021年，我们可以看到各大学术机构、科技企业都在打造自己的大模型，并且对其能力边
模型
虎嗅APP . 2021-10-27 3246
语言模型微调领域有哪些最新进展？一文详解最新趋势
选自ruder.io 作者：SEBASTIAN RUDER 机器之心编译 编辑：小舟 详解 2020 最具影响力的十大 ML、NLP 研究的 DeepMind 研究科学家又来了，这次来讲讲语言模型微调领域的最新进展。 对预训练语言模型（LM）进行微调已成为在自然语言处理中进行迁移学习的实际标准。在过去三年中（Ruder，2018），微调（Howard＆Ruder，2018）已经取代了使用预训练嵌入
语言模型
机器之心 . 2021-05-05 2541
- 1