人工智能发展所涉及的数据、算法、算力、场景、人才等所有的资源在世界各地的分布并不均匀,不同的国家和不同的地区,各有自己的特点,各有短长。 但是,所有这些资源都是有限的,都需要得到合理地、优化地、最高效地利用,所以只有更加广泛,更加密切,更加深入的技术交流、数据共享、设施互联,只有面向共同市场,基于共同规则的健康的竞争,才能加速普遍受益的技术迭代创新和资源的全局优化,以服务全人类的利益。
2024-04-29
正常来讲,随着时间的发展,算力(的成本价格)应该越来越低,但是,如果我们选择把所有的数据放在一起形成一个超级大模型,每增加一倍的效果我们需要指数级的增加算力和能源消耗,那这显然不是一个合理的方式。所以,我们应该因地制宜的把行业所需要的垂直智能做好,最后把垂直智能汇聚成通用人工智能。
人工智能驱动产业新质生产力,从劳动者的角度来说,就是能够利用现代的技术设备,特别是能够掌握数据要素的思维,具有快速迭代能力的新型劳动者
大模型进入到各个行业形成行业大模型推理的这个场景,大模型推理服务的场景可能是要比训练这个场景要更加的丰富、也更加的重要。
2024-04-28
假设我们今天的算力资源、硬件资源相当一个大楼的硬件框架结构或者是地基,而我们的大模型就是这个大楼每个房间的住户,那么这个过程中,系统软件扮演什么角色呢?就扮演一个装修师和一个物业管理的角色。决定了我们整个应用的服务体验是否能够足够好。
那么我们怎么去把这些有限规模的局部算力给利用好,通过这种跨域的互联调度,其实不仅是硬件的问题,更重要是软件的问题。
在过去的十年,大模型每年或者是人工智能模型的发展,每年的算力增长是每18个月35倍,而我们熟悉的大模型,就是transformer这样的模型它的算力增长是每18个月约500倍。
真实的开发场景当中,我们在编写代码的时候不仅关注的是当前所写文件的上下文,经常也会用到文件所处项目的很多已经定义的方法类等等相关的知识,那么在这样一个跨文件代码补全的测评上,我们的模型同样取得了一个最强的效果。
为什么我们现在能够讨论大模型,它的技术基础在哪里,那肯定是继续学习,尤其是深度学习。深度学习它有三大主要支柱,一个是算力,一个是算法,一个是数据。
今天论坛叫“一带一路”,也许未来会有“一带一路”的老百姓参加的线上运动会,通过AI的方式在同样的体育竞赛的规则下实现不同地区老百姓共同享受一项运动的乐趣,这是我们说的群众体育。