2.5 异常数据的处理机制 2.5.1 数据接收方触发
2.5.1.1
非批次上传接口
数据接收方(集中化经分系统)对源数据提供方(各数据源系统)生成的接口文件,经过校验并发现错误后,数据接收方需以报告文件方式提交请求,源数据提供方根据请求重新生成接口文件。 ? 异常发现
数据接收方在处理接口数据时,将对接口文件进行文件校验和业务逻辑校验,校验中发现的问题和异常将在校验报告中描述。 ? 异常处理
源数据提供方在对校验报告进行分析后,需要根据校验中的错误信息情况,完成相应的数据重抽工作。
2.5.1.2
? 异常发现
分批次上传接口
数据接收方在处理接口数据时,将对接口文件进行文件校验和业务逻辑校验,校验中发现的问题和异常将在校验报告中描述。 ? 异常处理
针对分批次接口的异常处理,可有以下两种处理方法: 方式一:周期内重抽
(1) 可以重传错误批次的数据(包括:接口数据文件、接口校验文件),但
该批次重传时需要重传序号+1。
(2) 也可以在本周期内没有上传的批次内包含错误批次的数据一起上传。 方式二,跨周期重抽
对于某一接口单元当前或过去某周期的接口数据,只要总部已启动或完成数据入库和应用作业的,再发现数据异常(如数据错误、出现漏传)等情况,为保障数
21
据一致性、减轻中间环节复杂性,省公司需要将该周期所有批次数据进行重传。可以有以下两种处理方法:
(1) 可以把该周期接口数据,作为一个批次上传(包括:接口数据文件、接
口校验文件),重传序号需要+1。
(2) 可以把该周期接口数据,分为多个批次上传(包括:接口数据文件、接
口校验文件),重传序号需要+1。
以上两种方法,都需根据最新机制上传批次结束文件,并且批次结束文件重传序号需要+1。
2.5.2 源数据提供方触发
当源数据提供方(各数据源系统)发现已上传的(非本抽取周期上传)数据异常时(上传的数据错误、漏传等),需要重新上传本周期接口数据。重新上传的数据包含数据文件及对应的校验文件。
异常处理方式参照上章节。
3 接口文件格式要求及说明
集中化经分系统与各数据源系统的数据交换采用文本文件方式,文件格式采用ASCII码格式。为保证接口数据的一致性,避免各类数据类型和格式错误,在形成所传输的ASCII格式文件之前,将数据转成本接口规范所规定的数据类型和格式。
接口文件均按规范要求的数据内容、数据类型及顺序采用各分册定义的方式进行每行数据生成,每行数据以回车换行符0x0D0A结束(抽取的数据内容中不能包含此符号)。
记录格式要求说明
记录分割方式 说明 备注 如果数据的实际字节长度小于规范中要求的字段长度,则必须用空格补齐(右补齐),如果数据的实际长度大于规定长方式 范中的要求,则需要截断(如字符描述) 按照规范的字段顺序进行文件的生成,字段之间按照各分分割符方式 册定义的分隔符进行分割,数据内容中不能包含此符号
22
3.1 接口数据的抽取周期
1) 初始抽取
初始抽取是指首次从数据源系统中将相关历史及当前数据一次性的抽取,数据范围包括抽取时最新状态为有效的所有数据、或历史变化数据记录。
初始抽取时对接口数据的具体要求将在上线通知中详细明确。 2) 定期抽取
定期抽取是指根据不同的数据内容,按照数据抽取周期,在指定的时间内对数据进行抽取的方式。定期抽取分为新增、增量或全量抽取。
对于某些接口单元的数据,抽取周期既有日增量或者日新增数据抽取又有月全量抽取时,其抽取月全量数据的当日,同时需要抽取此日增量或者日新增数据。
3.2 接口单元分类及编码
接口单元编码为5位数字,标识各数据源系统中某一数据实体的数据内容。接口单元编码中头两位数字可作为不同数据主题域的分类编码,后三位留作该主题域内的不同接口编码。
如经分系统分册的接口单元分类:
接口单元类别名称 客户主题 服务主题 帐务主题 服务使用主题 结算主题 资源主题 客服主题 营销主题 详单汇总 其它数据 接口单元类别编码 01 02 03 04 05 06 07 08 21 22 分为基础数据及抽样数据两类 财务数据及其它第三方数据源的数据 备注 23
集中化经分系统向各省下发的文件 91 集中化经分定期向省经分下发数据 3.3 文件分类及命名规则 3.3.1 文件的分类
文件类型 接口数1、初始数据时:z_机构编码_源系统编码_据文件 接口单元编码_数据日期__重传序号_序列号.dat.gz 2、正常数据时: 2.1非批次接口 增量/全量/新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_重传序号_序列号.dat.gz 2.2分批接口 增量/全量/新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_批次序号_重传序号_序列号.dat.gz 如正常数据为: 非批次接口: a_10100_BAS_01001_20031201_00_001.dat.gz 增量_机构编码_源系统编码_接口单元编码_数据日期_重传序号_序列号.后缀名 批次接口: s_10100_BAS_04002_20031201_000_00_001.dat.gz 新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_批次序号_重传序号_序列号.dat.gz 接口校1、初始数据时:z_机构编码_源系统编码_验文件 接口单元编码_数据日期_重传序号.verf 2、正常数据时: 2.1非批次接口 增量/全量/新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_重传序对同一个抽取周期同一个接口单元产生的接口数据,如果有文件拆分的,需要将这些文件的校验信息写在同一个接口校验文件内。 对分批接口的校验文件分为两类:1)正常批次的校验文件,即上传本批次数文件名格式 备注 24
号.verf 2.2批次接口 2.2.1非批次结束文件 增量/全量/新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_批次序号_重传序号.verf 2.2.2批次结束文件 增量/全量/新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_999_重传序号.verf 业务指1.日业务指标校验接口: 标校验文件 数据文件:s_机构编码_源系统编码_数据日期_00000_重传序号_序列号.dat 校验文件:s_机构编码_源系统编码_数据日期_00000_重传序号.verf 2.月业务指标校验接口: 数据文件:s_机构编码_源系统编码_数据日期_99999_重传序号_序列号.dat 校验文件:s_机构编码_源系统编码_数据日期_99999_重传序号.verf 据后的说明文件。又称非批次结束文件;2)批次结束文件,即本日期所有批次正常传完的标识。约定批次结束文件的批次号为999 具体内容参见业务指标校验文件。 文件级1、初始数据时:f_z_机构编码_源系统编码校验报_接口单元编码_数据日期_重传序号_序列告 号.verf 对于业务指标校验报告,其初始数据的文件级校验报告命名为:f_z_机构编码_系统日期.verf 2、正常数据时: 2.1非分批接口 f_增量/全量/新增数据标志_机构编码_源系统编码_接口单元编码_数据日期_重传序号_序列号.verf 2.2分批接口 汇总报告每日生成。 25