近日，阿里AI在常识QA领域的权威数据集CommonsenseQA上刷新世界纪录，超过微软取得第一名。这一技术是“95后”实习生叶志秀在达摩院科学家指导下完成的实习成果，显著提升了AI的常识推理能力。
CommonsenseQA是为了研究基于常识知识的问答而提出的数据集，比此前的SWAG、SQuAD数据集难度更高。目前最流行的语言模型BERT在SWAG、SQuAD上的性能已经接近或超过人类，但在CommonsenseQA上的准确率还远低于人类。
常识推理是难度最高的自然语言理解（NLP，Natural Language Processing）任务之一。在机器翻译、阅读理解等NLP任务上，AI的表现已经接近或超过人类水平。阿里AI先后在国际顶级的机器翻译赛事WMT、机器阅读理解赛事SQuAD、文本阅读理解挑战赛MS MARCO等赛事夺冠甚至赶超人类纪录。相比之下，AI的常识推理能力比人类差得多。
为此，阿里巴巴达摩院语音实验室提出一种AMS方法，显著提升BERT模型的常识推理能力。AMS方法使用与BERT相同的模型，仅预训练BERT，在不提升模型计算量的情况下，将 CommonsenseQA数据集上的准确率提升了5.5%，达到62.2%。
阿里AI技术的突破将大幅提升下一代人机交互产品的常识理解能力，可应用于语音导航、智能电视、语音售票机等产品。
全部评论