Mr.Zhou

小风不再小啦

zookeeper源码编译(mvn)

背景 老版的zk是通过ant进行编译的,但最新的zk源码中已经没了build.xml,而多了pom.xml,也就是说构建方式由原先的Ant变成了Maven,源码下下来后,直接编译、运行是跑不起来的,有一些配置需要调整,这边做下总结。 注意点 导入项目类型 导入类型是Maven,不要再选Eclipse了。 构建项目 点击IDEA最右侧的“Maven”,点击第二个小图标:“Gener...

IDEA快捷键使用入门

IDEA快捷键使用入门 Mac快捷键符号 ⌘、⌥、⇧、⌃、↑、↓、←、→、⌫、⎋、⏎、⇪、⇥、 注:在 Mac 上快速输入 ⌘、⌥、⇧ 等特殊字符 Editor ⏎ Actions ⌘⇧A About/ show line Select 选中光标所选:⌥⇧→ 选中代码块(依次增加):⌥↑ 反选代码块(依次减少):⌥↓ 全选:⌘A Comment Line 备注:⌘...

k8s configmap配置问题导致容器崩溃

背景 线上K8S ELK集群中的logstash及gohangout所在容器的配置文件均以Config Maps方式进行配置,昨晚K8S集群突然抛大量异常,挂了一批logstas/gohangout服务,进而导致es索引出现延迟。 问题 有些挂,有些没挂,是何原因?先以恢复业务为主,重启那些崩掉的服务,果然重启之后容器马上就拉起来了: 启动后单独查看pod信息,还是能够发现F...

corosync+pacemaker脑裂问题处理

背景 办公网DNS使用Nginx作为反向代理服务器,服务器配有corosync+pacemaker,用来实现高可用。 问题 今天在维护这几台服务器时,突然发现2台Nginx的corosync发生了脑裂的现象,各自都分配了vip: NodeA # crm status Stack: classic openais (with plugin) Current DC: pr-v1...

kafka副本扩容(笔记)

背景 某机房kafka集群因其中一台节点服务器意外宕机,导致其中一个broker不可用,而gohangout在该情况下进程崩溃,无法继续消费,es索引出现延迟。 该问题记录在:kafka集群中某broker宕机后gohangout panic 问题 gohangout进程崩溃存在问题,但kafka topic的配置也有问题,我们线上kafka topic都配置了0副本,如配置多副本的...

k8s-elastic(利用k8s部署elk集群)版本升级记录(v6.5.1 -> v7.2.0)

背景 随着elk版本不断升级,特别是4月份es出了7.0大版本,到最近的7.2.0小版本,有了很多实用新功能,这边准备进行升级。 由于我司全面推广k8s项目,所有新上项目都会考虑部署至k8s集群,因此本次升级也是在k8s环境下进行的。 升级步骤 官网上分别拉取elasticsearch/kibana/logstash最新7.2.0版本镜像,修改tag,并上传至公司私有镜像。 ...

ES集群间数据传输量超千兆,网卡限流导致ES索引异常

背景 某机房ES集群近期一到晚高峰,索引速度出现不稳定情况,这段时间内ES可用性降低,无论数据索引还是查询,都会出现慢或超时的情况。 问题 登录集群中某es节点服务器,查询es日志发现很多集群内部通信异常的报错,我们挑几个贴出来: [2019-06-26T18:39:10,870][WARN ][o.e.t.n.Netty4Transport ] [x.x.50.187] wr...

k8s集群升级时es集群运行状况记录

背景 我司最大的一个es集群部署在k8s集群上,由于新版k8s能够解决不少业务上诸如响应超时等无解问题,于是升级k8s集群版本也算是一个常规操作了。 升级过程 es集群为有状态服务,重启k8s集群后,内部service会中断几秒钟,导致内部发现失败,es进程异常进而导致es集群崩溃。 在升级完毕后,由于通信恢复正常,es master及datanode分别进行重启,其中master通...

Kafka版本升级记录(v1.1.1 -> v2.2.1)

背景 从1.1.x升级到2.2.x,跨越了1个大版本,主要提升了SSL、安全验证、内存使用优化、程序健壮性、新版本java支持、API改进等功能。 升级步骤按照官方文档即可,值得注意的是,从1.1.x升级至2.2.x,无需指定消息格式配置,也即:log.message.format.version这项,只有低于0.11.0.x版本才需单独制定。 升级步骤 首先下载新版kafka程序,...

Harbor版本升级记录(v1.5.4 -> v1.8.0)

背景 原harbor版本:v1.5.4 待升级版本:v1.8.0 由于harbor从v1.6.0版本开始,后端数据库由MariaDB改为Postgresql,所以在升级过程中,必须先升级到v1.6.0版本,再升级至v1.8.0。 升级步骤 v1.5.4 -> v1.6.0 该步骤中,由于数据库变更,所以需对数据库进行迁移。另外在升级过程中会改变数据库文件(database s...