周峰的博客 | Mr.Zhou Blog

Elastic数据类型转换记录

Elastic Fields type转换（string到number）

背景 ELK接Nginx日志需求，日志已成功接入，但Kibana上显示sc_bytes字段为string，无法进行聚合操作，无法为该字段配置曲线图。问题查看logstash的grok规则，单独为其配置转换规则后，重启服务后仍然无效： mutate { convert => ["sc_bytes", "float"] } 查看索引的数据结构，发现非stri...

Posted by Mr.Zhou on September 28, 2018

salt批量下发文件任务导致核心交换机性能瓶颈的问题记录

慎用salt批量文件下发功能！

背景为配合我司服务器利用率服务上线，需要在某机房所有Linux服务器上线客户端脚本，脚本本身十分简单，就一个Go程序，同时下发启动命令，以及添加开机自启配置。这个脚本已经在其他几个机房上线过了，基本没遇到什么问题，很顺利就上线了，而今天却遇到了幺蛾子。问题中午网络组突然接到几个产线开发反馈，说是服务器有丢包，造成程序异常。包括我自己也受到了报警。已经稳定跑了将近1个月的E...

Posted by Mr.Zhou on September 26, 2018

bash warning setlocale LC_ALL cannot change locale问题解决记录

locale/yum/rpm填坑记录

背景同事反馈有台服务器中文显示有问题，搞了几天都没能解决，反馈到了我这边。登陆上服务器后，具体现象如下：登录服务器后，console提示语言分配异常 $ ssh X.X.X.X Last login: Tue Sep 18 21:09:55 2018 from 192.168.13.14 Authorized uses only. All activity may be ...

Posted by Mr.Zhou on September 19, 2018

谷歌新版Chrome浏览器不再信任赛门铁克老签发证书

还没更新赛门铁克签发证书？是时候更新了！

背景赛门铁克仗着自己CA大厂的身份，随意签发证书，更危险的是，签发的这些证书中，有部分证书权限很大，被签发者拥有自签权限，给各浏览器带来了严重的安全风险。谷歌早就发现了这个问题，认为赛门铁克的这些行为严重违反了Chrome浏览器的根证书政策，提出正式反馈后，仍然我行我素，不知悔改，最后越过了谷歌的底线，最终决定逐渐不再信任赛门铁克签发的证书，邮件链接。实际影响从实际情况来看，...

Posted by Mr.Zhou on September 12, 2018

GO语言高并发模式在监控的使用

GO语言高并发模式在监控的使用提到GO语言，各位朋友可能和我一样，想到是GO语言具有强大的并发处理能力。但是具体怎么实现GO的高并发呢，怎么控制并发，防止并发过度呢？下面我和大家分享一种高效，并发度可控的并发结构。为了能够更好说明，文中以并发获取域名证书的过期时间为例。程序结构这种结构分为了四个模块，分别是数据读入模块、证书时间获取模块、数据写出模块、程序调度模块。 ...

Posted by 刘同升 on September 11, 2018

XenServer 5.5.0无法安装salt

只能通过升级glibc来实现吗？还是放弃了……

背景为了维护CMDB的准确性，而CMDB又依赖于salt，所以需要将线上所有服务器都部署salt-minion客户端，但今天遇到的XenServer 5.5.0服务器，遇到了麻烦。问题安装salt repo源文件首先是salt源的问题，查看了salt官网repo文档，获得了repo文件，注意CentOS5已不是salt支持的操作系统版本，所以用默认的2018.3.2是没办法找...

Posted by Mr.Zhou on August 29, 2018

华住酒店用户数据泄露引发的思考

还请珍视你的隐私！

今天安全圈子又炸开了锅，华住酒店用户数据疑造泄露，号称涉及上亿条用户个人信息以及开房记录。说时迟那时快，同时又爆出已有不法分子开始在所谓的“暗网”（非公开的互联网）上进行贩卖，相信用户数据已造泄露，究竟多少人拿到了这些数据，我们不得而知。借着这个话题，我们今天来聊聊隐私与安全。企业用户成就了企业，没有一个个用户的积累，企业便无法做大做强。在企业逐渐扩张后，掌握的用户信息便越来...

Posted by Mr.Zhou on August 28, 2018

CAS单点登录异常问题排查记录

先解决问题，再填坑

背景快下班的时候，接到北研的同事反馈CAS登录异常的反馈，所有用到单点登录的场景，点击登录后均跳500错误。问题自己尝试重现了下，但无法重现，同时问了下北研其他同学，单点登录也OK，说明不是大范围异常，属个别用户问题。看到ticket过期提示，以为是session相关问题，建议用户清楚浏览器缓存、换浏览器访问、重启电脑、换别人电脑等等方式，最后尝试均告失败。由此看...

Posted by Mr.Zhou on August 27, 2018

业务日志突增造成ES索引瓶颈

可预期的日志突增必须提前考虑ES集群扩容

背景一早上班就接到微信ELK索引量报警，该报警逻辑是监控5分钟内各个索引的数量，我们主要以这个性能指标来衡量ELK运行状态。 9点06分的时候索引量突增超阈值报警： 9点24分的时候索引量跌至0：跌落至0后未自行恢复，感觉有点不太妙。问题看报警内容，又看了下zabbix图，发现9点的时候索引量明显突增，基本达到了均值的1.5倍！在找到了日志量异常的站点域名后，...

Posted by Mr.Zhou on August 22, 2018

ES集群节点硬件升级，ES索引性能优化过程记录

质量比数量更重要！

背景开发的日志数量及单位日志的大小一直在增加，但ES集群整体架构不变，不扩容、不升级，导致ES集群无法满足当前实时索引及查询的需求，频繁出现日志索引延迟报警。升级计划本次优化操作不扩容ES数据节点，而是替换现有配置较差的ES数据节点，具体原因如下： ES索引效率不和ES数据节点数量成正比，节点数量越多，但节点硬件配置低，反而会影响索引效率，遵循“木桶效应” 服务器及机房...

Posted by Mr.Zhou on August 21, 2018

Mr.Zhou