数字经济加速发展,数据成为财经高校科研的重要基础,但下载受限、来源分散、流程繁琐,让科研人员长期陷在重复操作里。对外经济贸易大学数字经济实验室基于机器人流程自动化(RPA)技术,搭建通用数据库数据科研大数据获取平台,并把自动化延伸到数据库构建、报告生成和行业监测。
财经高校科研数据获取难题
财经高校科研数据量大,获取过程涉及大量重复性、可标准化的操作。获取难题主要体现在以下两方面:
一方面,通用数据库限制下载次数与数量。基于多维度和细颗粒的大数据研究,是财经高校科研的重点。但通用公开数据库对下载数量和次数有严格限制,比如中国海关总署数据库单次下载数据上限1万条。科研需求与平台限制的矛盾,迫使科研人员缩小查询范围、分批下载,重复操作既占用时间,也极易出错,影响数据质量和研究效率。
另一方面,多来源数据下载流程繁琐。繁琐体现在数据来源多样、认证过程复杂、下载权限受限、数据格式非标准化。由于各网站提供的数据格式不同,增加了数据整合与清洗的难度;数据库通常要求注册账号并通过身份验证,耗时且步骤繁多。
RPA的科研数据获取优势
机器人流程自动化(RPA)是在人工智能概念基础上建立起的软件机器人技术,这些软件机器人可模仿人类操作电脑的方式自动处理工作流程。它的优势集中在四个方面。
基础数据获取:RPA能自动登录数据库、网站或各类应用程序,自动抓取数据,把大批量下载工作做得高效、精准。
数据获取时效性:RPA可全天候运行,确保数据获取的及时性和连续性,让研究者随时取得全球最新数据。
数据转化:RPA能够识别和纠正数据中的错误与异常,对原始数据做清洗、整理、转换和格式化,保证数据的准确性、一致性;能按预设规则和逻辑,对数据进行分类、标记和归纳,使数据更易理解和使用。
数据管理和合规性:RPA具有可追溯性和自动化能力,高校可实现从数据入库管理、数据库与可视化平台链接、图表风格及大小适配调整,到图表更新等环节的全流程自动化。
RPA赋能科研数据获取实践
基于RPA技术,对外经济贸易大学数字经济实验室搭建了通用数据库数据科研大数据获取平台,并在构建系统化数据库、搭建学术报告自动生成平台、与AI技术深度融合搭建行业监测判断平台三个方向上深度探索。
1.通用数据库数据批量下载
部分通用数据库数据丰富,但下载繁琐,需多次登录、查询,且学习成本较高。实验室通过RPA搭建了通用数据库数据自动化下载平台,提高了获取效率,且无需过高学习成本。
平台以国内某重要数据库下载“北京市各辖区宏观经济数据”为例跑通流程:
启动客户端完成身份验证→导航到数据源页面,选择下载数据类型→输入时间范围、数据频率等条件,选定字段并提交查询,最终获取数据(若数据量大时由RPA分批次下载,确保单次不超过系统限制;数据保存到本地或服务器,可选CSV或Excel格式)→RPA对下载数据初步清洗,删除无效或重复数据。
图1 利用RPA自动下载某数据库中数据的流程架构实现路径
这一流程简化了通用数据库数据下载流程,用户只需根据各数据库特点稍作微调即可使用。此下载流程具有普适性,不限于单一平台,既降低了数据获取成本,也助力教学、科研的效率提升。
2.构建系统化数据库
在自动下载基础上,利用RPA机器人构建系统化数据库,打破“数据孤岛”,使数据更方便地入库和调用。
以SQL Server为例,在下载“北京市各辖区宏观经济数据”的基础上构建系统化数据库(见图2):确认连接凭据与权限无误、空数据库已就绪后,在SQL Server Management Studio中打开目标数据库,通过右键“导入数据”选项启动导入流程,按提示完成数据导入并检查确认。
新增指标时,每月初把检索数据的全局变量改为新增指标名称后重启RPA程序;已有指标新增数据时,在下载步骤添加子模块,把观察值开始日期设为当月1日后继续操作,以此保证数据库的时效性与完整性。
图2 系统化数据库构建路径
目前,对外经济贸易大学数字经济实验室已实现数据入库管理、数据库与可视化平台链接、图表调整与更新的全流程自动化,并能快速获取多来源大数据以拓展平台数据源,定制化获取公开来源数据,实现自动入库管理与调取。
3.搭建学术报告自动生成平台
在系统化数据库的基础上,可进一步构建学术报告自动生成平台。RPA与Python结合,可完成从数据库取数、数据分析到数据填充的学术报告自动生成流程。为提高效率和准确性,对外经济贸易大学数字经济实验室开发出一套完整的经贸报告自动生成RPA流程,每月更新数据并发布多个货物、省份贸易报告,为RPA在学术报告自动生成中的应用提供了实践经验和范本。
4.与AI技术深度融合的行业监测判断平台
行业监测和判断是财经研究的重要环节。RPA负责数据的自动采集和预处理,AI负责深度学习和智能判断,可实现对行业动态的实时监测和智能分析,提供更精准的洞察与预测。
RPA可以从多个新闻网站、社交媒体平台和行业报告中抓取行业动态信息,确保数据全面性和时效性。结合自然语言处理(NLP)技术,RPA可开展情感分析和趋势预测,帮助研究人员及时了解行业动态和市场变化。AI则对大量数据深度学习,发现隐藏的模式与趋势,为行业未来提供科学依据。
这种自动化和智能化的行业监测系统,不仅提升了数据处理效率,还为企业的战略决策提供了有力支持。
结语
数字化转型背景下,RPA在财经高校科研数据获取中展现出巨大潜力。它给高校带来的不仅是科研效率的提升,也促进了教学质量和管理水平的全面提升。
“新文科”建设强调学科交叉融合与创新能力培养,RPA的应用为财经学科与其他学科交叉提供了新的路径和方法。对外经济贸易大学的实践表明,把重复性的数据获取交给软件机器人,可以让科研人员从繁琐操作中解放出来。这为财经高校数字化转型、以数智赋能提升教学科研效率、深化“新文科”建设提供了参考样本。
本文核心观点源于《中国教育网络》杂志2025年12月刊《RPA赋能财经高校科研数据获取》。作者:胡腾 马心语* 李燕红 王玺(对外经济贸易大学数字经济实验室;* 为通讯作者) 责编:胡暄悦