大模型算力需求超过半导体增长曲线,Ch

·“从AI发展整个历史曲线来看,过去的算力需求是以倍数增加,现在是以指数的倍数增加,大模型本身就有10倍的跃迁,接下来还会继续保持这个速度增长,这超过了半导体能够提供的增长曲线。”

·“Chiplet正是满足当下对算力需求的关键技术,一方面,将更多算力单元高密度、高效率、低功耗地连接在一起,从而实现超大规模计算。另一方面,极大提高异构核之间的传输速率,降低数据访问功耗,从而实现高速预处理和数据调度。同时,降低存储访问功耗,满足大模型参数需求。”

奇异摩尔产品及解决方案副总裁祝俊东在国际集成电路展览会暨研讨会(IICShanghai)上。“大模型所需要的参数和训练数据量和DeepLearning(深度学习)时期相比,有了数量级的提升。以GPT-3为例,亿的模型参数,45TB的训练数据集,是之前的10倍以上。大模型的训练,需要更大规模互联的计算平台,和更大规模的片上存储。”3月30日,奇异摩尔产品及解决方案副总裁祝俊东在接受澎湃科技(


转载请注明:http://www.nicekoucai.com/fhcs/fhcs/83048.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了