服务器“异常”的几个可能性预警请重视！

更新时间：2020/4/28 9:41:20信息编号：2056-936420

所属分类：
所在区域：: 深圳　福田
详细地址：: 福州
联系人：: 诸葛孔明
电　　话：: 17605910693
联系QQ：: 65835569

收录查询： 百度搜狗 360 分享更易传播

小生活网提醒您：1、在办理服务前请确认对方资质, 夸大的宣传和承诺不要轻信！2.任何要求预付定金、汇款至个人银行账户等方式均存在风险，谨防上当受骗！

详细介绍

提到服务器宕机检测，大家会想到，宕机能够很快知道，这个有什么可做的?实际上，很多时候服务器宕机，并不总是被及时感知小.百.姓.网。服务器宕机，ping或者ssh这是最简单的做法，但真正的工程实践，没这么简单。
想要获知服务器宕机怎么办?可以通过服务器宕机实时检测：
1)发现宕机
2)提前告警。
3)告知宕机的详细原因，如硬件故障，内核bug，网络异常等等。
4)自动报修生成工单。
我们知道，进行全网物理机宕机准确探测与实时发现，可以给宕机分析提供第一现场，获取第一现场的日志x b a i x i n g c o m。也可以尽早将宕机数据推送给业务或运营感知并处理，如自动报修，业务迁移等，从而尽可能将业务影响降到最低。
更重要的是，准确的宕机发现数据可以为宕机预测提供准确的标注数据，为后期宕机预测提供数据基础，并且这些数据提供给运营部门进行整体分析，提升处理效率。
那么，如何可以准确发现宕机，减少误报呢?我们可以有以下操作，比如：
心跳源检测异常
顾名思义，通过心跳源，初步发现异常。通常心跳变化会有三类消息，update消息，delete消息和insert消息。心跳逻辑在于，正常情况下SA服务端与NC建立长连接，每数秒缓存一次心跳，每几分钟打包上报一次，但当NC异常时，长连接感知后，立即上报异常，并修改路由表小_百_姓_网。所以心跳异常做到秒级感知。
update消息，在有心跳发生变化情况下都会有，心跳异常和心跳恢复正常时都会发起，是主要的心跳来源。
delete消息，在心跳异常，并且SA判断ping不通，且ssh不通情况下发起，删除该条消息，避免延迟太长。
insert消息，在新增加机器，或者重装后重新上位的机器发起，该消息对宕机发现价值不大，配合uptime使用。
心跳源检测任务逻辑，主要是监听并缓存uptime消息，同时避免时间窗内多次消息冲突，导致信息被覆盖小+百+姓+网。
异常排除
排除非物理机器，将系统中暂时不关注的VM等产生的异常信息排除掉。
排除非业务状态的机器，如装机状态中的，包括生产中，维修中，迁移中，重装中，销毁中，重启中，无管控状态，只监控正常状态的机器。
排除非正在工作的机器，如非working状态机器。
网络干扰排除
宕机分析中，较多误报是由于网络问题干扰，无法准确判断出物理机是否宕机，有可能是网络问题。
排除上联网络设备异常导致的误报，包括机房断网演练，小面积网络故障，上联网络故障，如通过探测丢包情况，使用一些逻辑初步判断网络问题来自www.xbaixing.com。
服务器本身未丢包的误报，除了需要过滤出网络问题，还要通过丢包数据分析，过滤掉SA误报问题， SA异常会上报心跳异常，被误理解为宕机。
icmp及tcp丢包分析，icmp采集频率为固定数秒，tcp采集频率固定数秒，包括多个不同大小包(16，32，64，128，256等)的丢包情况，根据分析时间窗内两项数据的丢包情况
特殊情况干扰排除
个别机房有时候会出现大面积风暴式的无故心跳异常，同时网络ping包异常，但上联网络设备ping包正常，这种误报，一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率，排除干扰。
进一步识别误报