在近期举行的欧洲教育科研网络年度大会(TNC26)期间,全球科学网络论坛举行了一场“存储挑战”专题研讨会。来自泛欧超级计算机LUMI运营方、美国能源科学网ESnet、英国科研与创新署旗下科学与技术设施委员会UKRI-STFC、芬兰IT科学中心CSC、挪威国家科研教育网络SIKT和德国科研网DFN等机构的专家,以及70余位教育科研网络和科研基础设施从业者参加了讨论。
研讨会讨论的已不只是存储技术,而是数据怎样在不同科研基础设施之间流动。数据流动正从后台的技术问题,变成教育科研网需要认真面对的服务问题。
网络能发挥多大作用,往往取决于两端的存储和数据处理能力。链路带宽再高,如果源端读取跟不上、目标端写入受限,或者认证、权限、协议和安全策略衔接不畅,数据依然可能传得很慢,甚至无法完成传输。
换句话说,完成网络连接,并不等于完成服务交付。
过去,衡量网络服务,主要看网络是否接通、带宽是否充足、运行是否稳定。到了数据密集型科研和人工智能应用中,用户关心的问题更加具体:数据能否按时送到计算平台,任务能否顺利启动,出现故障后能否尽快找到卡点。
特别值得关注的,是一类尚未被现有服务很好覆盖的科研数据传输需求。大型科研项目通常拥有专业团队和成熟的数据传输系统,小规模文件也有通用工具可以解决;而对于数十GB到数TB的数据,在高校、实验设施、超算中心和云平台之间流转时,许多科研团队仍缺少便捷、可靠的服务支撑。
德国科研网专家Jakob Tendel将其概括为“数据移动问题”。真正的障碍通常不是骨干网带宽不足,而是传输、认证、安全和运维等环节缺少统一衔接。问题可能出在校园网、服务器、存储或应用软件,用户最直接的感受却只有一个:数据没有传过去。
为此,与会专家提出了“Data Movement Layer”(数据移动层)的设想,即在不同机构、存储和计算平台之间建立统一的服务层,降低数据移动的复杂度。对教育科研网而言,可以考虑把网络测试、路径诊断、跨机构认证、传输调度、断点续传和运行监测等能力组织起来,形成可重复使用的科研数据流转服务。
这并不要求教育科研网拥有全部存储和计算资源。其价值更多在于把原本分散在不同机构和技术环节中的能力衔接起来,减少各个项目反复协调和临时配置的成本。
研讨会中的讨论还指向一个明显变化:网络、存储和计算原本由不同团队分别建设,如今越来越需要围绕同一条数据工作流协同运行。网络的作用也不再限于连接不同地点,而是逐步延伸到数据读取、计算运行和结果返回等环节。
教育科研网的优势,未必在于拥有最多的存储和算力。它长期连接高校、科研机构、计算平台和国际网络,更重要的能力是制定标准、组织协同、建立信任,并在多个机构之间提供端到端保障。科研数据流转服务恰好需要这种能力。
带宽仍然是教育科研网的基础。但在带宽之后,网络还要回答一个更直接的问题:它能否把连接能力真正转化为科研服务能力。
监制:余兴真。本文主要观点源自GéANT 7月底发布的专题会议报道 >>>【详情链接】