博客专栏

EEPW首页 > 博客 > 在AI“必争之地”,全球最大规模人工智能巨量模型诞生

在AI“必争之地”,全球最大规模人工智能巨量模型诞生

发布人:中国科学报 时间:2021-10-02 来源:工程师 发布文章
作者 | 张双虎


当学界和业界均相信“大力出奇迹”的时候,就该大模型闪亮登场了。
9月28日,浪潮人工智能研究院发布全球最大人工智能巨量模型——源1.0。
这个几乎把近5年中文互联网的浩瀚内容全部读完,在数据量、参数规模与模型精度方面均居全球之最的大模型,将以开源、开放、共享的策略,降低巨量模型研究和应用的门槛,推动AI产业化和产业AI化的进步。
中国工程院院士王恩东认为,人工智能的大模型时代已经到来,利用先进算法,整合大规模数据,汇聚大量算力,训练出巨量人工智能模型是未来的发展方向……



“博学”的模型  |



“战鼓催征千嶂寒,阴阳交会九皋盘。”
这句诗出自哪位边塞诗人之手?出自“初唐四杰”抑或“大历才子”?你也许有些恍惚,然而这些都不是,它出自一个名为“源1.0”的大模型。


前不久,浪潮招募近百人参与了一场“类图灵测试”,将源1.0大模型生成的对话、新闻、诗歌、对联,小说续写5类作品混杂在文学大师的作品中,由测试者判断该作品是“人为”还是“机为”。
测试中,人们会把自认为优秀的作品归功于人类,不够理想的判定为机器创作。
最后的测试结果“令人振奋”,在源1.0的挑战测试中,人们能够准确分辨人与“源1.0”作品差别的总体成功率低于50%。
“测试者的平均区分正确率是49.16%。”浪潮人工智能研究院首席研究员吴韶华对《中国科学报》说,“这意味着,多数人不能辨别作品出自文学大师之手还是由源1.0创作。”
在5类测试作品中,新闻类作品误判率最高,达到57.88%,即大多数人很难分别作品到底是人类作品还是机器创作。
在记者看到的一篇关于“中国稀土行业存在问题”的新闻作品中,从文体、布局到遣词造句,妥妥的规范“新华体”,难怪近6成参与测试者难以辨别。
即使误判率最低的诗歌类作品(37.69%),如文章开始提到那两句诗,也字顺意达,不仔细推敲,确实难以想到是机器创作。
图灵测试是判断机器是否具有智能的经典方法。通常认为,进行多次测试后,如果人工智能让平均每个参与者做出超过30%的误判,那么这台机器就通过了测试,并被认为具有人类智能。
以类图灵测试判断,这个能诗善文,可以和人对话、能给我们讲故事的源1.0 有资格被称为目前最“博学”的模型。
那么,是什么让机器如此“聪明”?



 大力出奇迹  |



“认知智能是人工智能研究者追求的方向之一。”中国工程院院士王恩东告诉《中国科学报》,“除了加速深度学习技术,开发全新的算法范式研究方向外,大规模数据训练超大参数量的巨量模型也是未来发展方向,即利用先进的算法,整合大规模的数据,汇聚大量算力,训练出巨量人工智能模型。”
2020年6月,OpenAI发布了参数量高达1750亿的大模型GPT-3,该模型一推出就引起人工智能学界和业界的轰动。
“语言模型是全球AI界的‘必争之地’。”一位人工智能研究领域的专家说,“参数规模大到远超我们想象的时候,会发生一些难以解释的现象。”
浪潮信息副总裁刘军同样认为,生命从简单进化到复杂,这种智能水平本身就是一种模型。如果把模型比作元宇宙中的生命,大模型的这种综合系统能力,可能会决定未来数字世界和智能世界里的智能水平。“人的神经元突触超过100万亿,而现有大模型的参数量还远远不够,所以我们还有很远路要走”。
伴随着人工智能应用广度与深度的不断提升,众多行业、诸多业务场景的智能化创新需求日益增多。
然而当前大多数AI模型只能用于某一特定领域,通用性不强,这对AI技术提出了挑战,也限制了AI的产业化进程。
大模型在今天初露峥嵘绝非偶然。技术、算力、资源、需求等多因素的“风云际会”,让被AI业界视为“核力量”的大模型崭露头角。



最大中文语言模型  |



源1.0几乎把近5年整个中文互联网的浩瀚内容全部读完,在收集并清洗数据后,最终获得5TB高质量数据,成为迄今业界最大的高质量中文数据集。
在语言智能方面,源1.0获得中文语言理解评测基准CLUE榜单零样本学习和小样本学习两类总榜冠军,获得小样本学习的文献分类、商品分类、文献摘要识别、名词代词关系等4项任务冠军。



“在数据量、参数规模与模型精度方面,源1.0均居全球之最。”浪潮人工智能研究院首席研究员吴韶华说。
对标OpenAI的GPT-3,源1.0参数规模为2457亿,训练采用的中文数据集达5TB。相比GPT-3模型1750亿参数量和570GB训练数据集,源1.0参数规模领先40%,训练数据集规模领先近10倍。
“得益于我们设计模型时,对精度和计算性能的协同。”吴韶华说,“在算法上,我们解决了巨量模型训练不稳定的业界难题,提出稳定训练巨量模型的算法,打造了巨量模型推理方法创新;在数据方面,我们生成了迄今业界最大的高质量中文数据集;在算力上,我们通过算法与算力协同优化,极大提升了计算效率,在实现业界训练性能第一的同时,还达到了业界领先的精度。”
人工智能模型目前存在诸多挑战。
一是语言模型的通用性不高,一个模型专用于特定领域,换个地方就效果欠佳。而训练超大规模模型能一定程度上解决通用性问题,可以被应用于翻译、问答、文本生成等,涵盖自然语言理解的所有领域,可被广泛地应用于各种AI场景。
二是模型开发成本高、周期长。而经过预训练的大模型可以让研究机构和企业“不必从0做起,可以在大模型的基础上,从60、或者从90开始做到100”。
“通过一个预训练的大模型,面向任务做小样本学习、零样本学习以及微调,可用于各行各业。”吴韶华说,“大模型最重要的优势是进入大规模可复制的工业落地阶段,只需小样本的学习也能达到比以前更好的效果,且模型参数规模越大这种优势越明显,这能大大降低各类用户的开发使用成本。”



共建“通天塔” |



发展大模型曾被称作“富人的烧钱游戏”。OpenAI为开发GPT-3花费了10亿美元,研发团队用了1万个GPU,训练了1个月。
国内某课题组为进行一项较复杂的计算,购置了数台服务器。运行起来后,该团队负责人坦言,“光电费每天得1万元”。
因为在算法、软硬件适配方面做了大量优化,源1.0比GPT-3用的CPU更少,训练时间更短。这让源1.0一定程度上摘下了“富人烧钱游戏”的帽子。
同时,得益于浪潮在服务器和人工智能计算方面的长期投入和深厚的积累,浪潮开发大模型就如鱼得水。浪潮并未细致切割出开发源1.0大模型到底投入了多大人力物力,但相信这也不会是个小数字。
在源1.0发布的专家研讨会前,几位自然语言处理方面的专家前后到场。
因为同在一个研究领域,他们或是故交、或相互听说过姓名,见面聊起当前大模型的热度,谈笑间,“这(发展大模型)是一场新的‘军备竞赛’”的共识已经达成。
学界普遍认为,大模型犹如“望远镜”“显微镜”一样,当人们没有这些设备时,不知道瀚瀚宇宙和原子分子等微观世界到底有什么,是什么样。有了大模型,人类或许就能发现一番崭新的天地。
因此,不管实力雄厚的头部企业、研究机构,还是课题小组、单个研究人员,都期望能尽快用上大模型。
业内人士认为,别说千亿量级的模型,百亿量级的模型对研究机构来说都难实现。而且,业界和学术界非常希望大模型能开放共享,开放模型可以让大家一起来开发应用,优化和构建共同生态。
“开放、开源、共享,是我们做这个事情的目的。”刘军说,“我们不希望这么一个强大的武器有很高的门槛,成为少数人的专利,我们希望把它变成一个普惠性的能力建设。”
刘军认为,巨量数据、巨量算法和巨量算力正在成为迈向通用人工智能的重要路径。巨量模型最后会变成创新的源头,变成不同应用场景里快速产生模型的源头。
“浪潮源1.0大模型只是一个开始,它只是提供一片广阔的肥沃土壤。浪潮未来将定向开放大模型API,服务于元脑生态社区内所有开发者,供全球的开发人员在我们的平台上开发应用于各行各业的应用程序。”刘军说,“源1.0将面向学术机构和产业界用户开源,降低巨量模型研究和应用的门槛,推动AI产业化和产业AI化的进步,为国家在人工智能研究创新和产业发展作出贡献。”
大模型时代已经到来,如果头部企业能站在行业发展的高处,以开源、开放、共享的理念来协同发展大模型,也许一场高损耗的“军备竞赛”会消弭于无形,一座通向智能世界的“通天塔”或许就能建成。
编辑 | 赵路
排版 | 郭刚


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。



关键词: 人工智能

相关推荐

技术专区

关闭