【SAM+案例详解】数据库自动备份功能失效

发布时间：2024-06-17

点击量：0

关键字：SAM+ 数据库自动备份、失效

故障现象描述

RG-SAM+ 数据库自动备份功能失效：开启自动备份功能，但对应磁盘下未生成备份数据库文件

故障排查分析

1. SAM+每日凌晨2点定时任务会队列执行数据库备份等任务，具体执行结果会记录在运维日志里。

2. 查看现场运维日志，发现定时任务只执行到某一天，之后就未打印执行日志。判断是此时定时任务异常了未执行，则需要进一步分析产品定时任务执行情况。
3. 查看系统日志中有提示系统定时器超时而终止。（正常是提示“系统定时器执行完毕!”）
   
   
4. 查看底层对应时间的LOG日志：
5. LOG日志分析方法：先用“系统定时器超时而终止”过滤，在用“billingScheduler_Worker”任务线程去过滤
   
   
6. 发现提示“系统定时器超时而终止“之前的一个任务：用户用网使用详情（时长）定时器执行时间过长，且结束时间为10:22，执行时间超过3小时，进而整个定时任务截止。
7. 备注定时任务机制说明：5、6两个任务是在凌晨2点开始执行，到9点08秒截止，已开始的任务会继续执行完毕。
8. 针对运维日志里“数据库定时任务”。如果有一个任务执行超过3小时，只停这一个任务，不会打印截止日志。
9. 截止日志只对于开始新任务时判断时间是否超过9点08秒，超过了就打印截止，就比如下图，用户用网使用详情这个任务就没有执行直接被截止了。
   
   
10. 针对用户用网使用详情（时长）定时器执行时间过长的可能原因分析：

备注：可以拿回现场数据库后台测试执行时间。

11. 已检查现场服务器CPU内存满足安装要求，磁盘IO稳定在300M/S以上，数据库分配的最大可用内存是物理内存的一半，所以排除。
12. 该任务是基于用户上网明细表做统计，将ONLINE_DETAIL统计这个表插入到AGGR_RECORD这个表里，需要检查索引是否有丢失，可以参考如下，有少的话说明有存在丢失，可以联系400获取解决对策。（客户现场通过核查也排除这一点）
    
    
    
    

故障根因说明

软件问题：

RG-SAM+ 数据库自动备份功能失效的根因是“凌晨2点的数据库自动备份”定时器被截断未正常执行，截断的原因是“用户用网使用详情定时器”定时器执行时间过长导致整个系统定时器截止，执行时间过长的原因是该任务聚合逻辑存在缺陷，在大数据情况下执行非常慢，超过产品限制的3小时。

故障解决方案

更新补丁：将原来只有1个线程执行凌晨定时任务调整为3个线程并行处理，提升执行速率

该补丁已合并至4.22P6标准版本，若是4.22P3版本需要打上补丁合集20231025及以上（补丁下载）

如遇故障无法定位解决可转：售后闪电兔 处理

• •【SAM+案例详解】数据库自动备份功能失效

• •【SAM+案例详解】数据库还原失败提示还原失败

• •【SAM+案例详解】安装过程提示无法连接数据库

• •【SAM+案例详解】安装过程提示数据库 / 操作系统不合规

• •【经典案例】接入交换机管理vlan ping不通核心

• •【经典案例】RSR77-XA 灾备演练后与友商BFD建立失败

• •交换机端口聚合（链路聚合）

• •【经典案例】核心上 终端ping网关大包不通

• •【经典案例】交换机二层直连不通排查指导

• •【经典案例】交换机三层直连不通排查指导