人类似乎对不同的学习模式有着相似的认知,机器也应该如此!
自监督学习能在各种任务中学习到分层特征,并以现实生活中可使用的海量数据作为资源,因此是走向更通用人工智能的一种途径,也是深度学习三巨头之一、图灵奖得主 Yann LeCun 一直推崇的研究方向。
LeCun 认为:相比于强化学习,自监督学习(SSL)可以产生大量反馈,能够预测其输入的任何一部分(如预测视频的未来画面),从而具有广泛的应用前景。
自监督学习通过直接观察环境来进行学习,而非通过有标签的图像、文本、音频和其他数据源进行学习。然而从不同模态(例如图像、文本、音频)中学习的方式存在很大差异。这种差异限制了自监督学习的广泛应用,例如为理解图像而设计的强大算法不能直接应用于文本,因此很难以相同的速度推动多种模态的进展。
现在,MetaAI(原 Facebook AI)提出了一种名为 data2vec 的自监督学习新架构,在多种模态的基准测试中超越了现有 SOTA 方法。
data2vec 是首个适用于多模态的高性能自监督算法。Meta AI 将 data2vec 分别应用于语音、图像和文本,在计算机视觉、语音任务上优于最佳单一用途算法,并且在 NLP 任务也能取得具有竞争力的结果。此外,data2vec 还代表了一种新的、全面的自监督学习范式,其提高了多种模态的进步,而不仅仅是一种模态。data2vec 不依赖对比学习或重建输入示例,除了帮助加速 AI 的进步,data2vec 让我们更接近于制造能够无缝地了解周围世界不同方面的机器。data2vec 使研究者能够开发出适应性更强的 AI,Meta AI 相信其能够在多种任务上超越已有系统。
论文地址:https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language
项目地址:https://github.com/pytorch/fairseq/tree/main/examples/data2vec
ASC22总决赛将于今年5月7日-11日在位于合肥的中国科学技术大学举行。
ASC 世界大学生超级计算机竞赛(ASC Student Supercomputer Challenge)由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第十届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。
1. 极链AI云三大全新深度学习框架将于周一正式上线
1月24日,极链AI云平台将更新三个全新深度学习框架,分别是
- MegEngine 旷视天元
- PaddlePaddle 百度飞桨
- MindSpore 华为昇思
MySQL 8.0.28 发布
MySQL 服务器8.0.28和5.7.37是流行的开源数据库管理系统的新版本,已与8.0.28连接器和组件产品一起发布。MySQL Cluster 8.0.28(最新的 GA)以及7.6.21、7.5.25、7.4.35发布。MySQL Cluster 是 MySQL的分布式、无共享变体,官方建议生产系统使用以上版本
Linux取消对a.out格式的支持,并删除其相关代码
早在2019年,Linux就弃用了a.out文件格式,截止到2022年,a.out 代码已经从Linux内核中删除,并移除了对a.out支持的补丁。其他响应的上游开发人员都支持清除这种已弃用的a.out支持。一些旧的系统调用和其他未使用的内核代码也有可能在此过程中被清除。更多详情可查看https://www.phoronix.com/scan.php?page=news_item&px=Linux-Remove-a.out
Qt 6.3 首个Alpha发布
在Qt 6.3中新增了Qt语言服务器:实现语言服务器协议规范和JsonRpc 2.0协议,该模块不包含公共 API。Qt 6.3还重新引入了Qt 6.2中不存在的以下模块。所有列出的模块都移植到Qt 6和CMake构建系统。
Slackware 15.0发布最后一个RC版本
至今仍在维护的历史最悠久的Linux发行版Slackware发布了15.0 RC3,第三个也是最后一个预发行版本,正式版本的发布日益逼近,目前代码基本上99%冻结,发布前主要是修 bug或解决性能下降问题。Slackware的上一个稳定版本14.2是在2016年发布的。Slackware 15.0的主要变化包括:KDE Plasma 5.21、Xfce 4.16 和 GNOME 3.36/3.38,其它应用包括Python 3.9,Mozilla Firefox 91.3和Thunderbird 91.5等。(Solidot)