高能所首次利用“超算快线”实现海量数据远程传输与处理
- 2024/3/12 11:46:55 11690
- 来源：中国科学院高能物理研究所
【仪表网 研发快讯】2024年3月6日，中国科学院高能物理研究所(简称“高能所“)联合中国电信研究院和国家超级计算成都中心(简称“成都超算“)，基于中国电信推出的“超算快线“解决方案，在中国电信大科创装置+城域网上提供了跨域10G数据专线，完成了业界首次跨2000公里把1.6TB数据在40分钟内从客户侧传输到成都超算中心的数据快速传输验证，本次验证将提升高海拔宇宙线观测站“拉索(LHAASO)” 利用超级计算机探索解决宇宙线起源问题的能力，为“东数西算”的大数据跨域自动调度提供了创新的解决方案。
试验过程中，高能所作业调度系统根据”拉索“计算任务特性、超算节点算力资源和计算数据传送要求，成功通过超算快线API接口申请夜间闲时带宽，把网络专线带宽在从50Mbps提升到10Gbps，服务类型从尽力而为切换到低时延保障(双向时延从72ms缩短至32ms)，在预定任务时间内把”拉索“部分数据传送到成都超算完成计算任务，计算完成后结果传送回高能所，网络恢复原状。试验充分验证了”超算快线“任务式协同调度、秒级弹性服务和G级跨域传输能力，试验效果获得了良好的效果。后续，高能所、中国电信研究院和成都超算中心将对该方案持续进行优化和完善，力争实现海量科学数据的远程按需访问和处理，为前沿科学研究提供强大的计算支撑。
为解决算力资源不足的难题，高能所努力探索利用超算中心等第三方算力资源作为补充，研发了跨算力中心的统一作业调度系统、数据存储系统和网络管理系统，面向用户提供单一的计算系统视图。但由于固定网络专线的费用和带宽等原因，科学大数据传输成为制约使用第三方算力资源的主要瓶颈，如何提高网络传输性价比已成为目前亟待解决的问题。中国电信研究院“超算快线“采用PON接入方案，通过支持IPv6+业务网关和业务网控制技术，实现了低成本、智能化的海量数据从客户侧传输到超算中心的需求，解决了一直困扰科研界的一大“痛点“难题。本次试验成功，将有助于高能所加快应用运营商提供的大带宽、高弹性、自助式的普惠易用的网络服务，支撑国家战略性科学研究以及国家数字经济高质量发展。
LHAASO是以宇宙线观测研究为核心的国家重大科技基础设施，位于四川省稻城县海拔4410米的海子山，是由5216个电磁粒子探测器和1188个缪子探测器组成的一平方公里地面簇射粒子探测器阵列、7.8万平方米水切伦科夫探测器阵列以及由18台广角切伦科夫望远镜组成的复合阵列。LHAASO于2021年7月建成并开始高质量稳定运行，是国际上最灵敏的超高能伽马射线探测装置，每年产生10PB级的科学数据，采用大规模的计算集群进行分析和处理，已经取得多项重要的科学发现成果。
全部评论