西门飞冰的博客-专注于Linux运维

通过时间戳对es进行时间范围查询

前言今天对公司对一个报警脚本进行改造，遇到了一个ES查询问题，在此进行记录，已做备忘。报警脚本逻辑，通过查询es中对访问日志，判断微服务接口的错误信息和微服务接口响应延迟进行报警，报警内容包含48小时内此微服务的错误信息和响应延迟出现次数，供运维和研发判断重要性。但是由于晚...

4天前 37℃ 0喜欢

前言通常情况下，我们将日志数据通过logstash收集到es，然后用kibana进行实时查询，可视化分析，这就是我们常用的elk架构。但是基于elk的日志分析，通常比较常用的是实时分析，日志存储一段时间就会删掉。那么在一些情况下，我需要将日志数据也存储一份到hdfs用来做大数据...

4天前 20℃ 0喜欢

neo 4j 介绍 neo4j 是世界领先的开源图数据库。它完全由java语言编写实现，具有高可用性，可伸缩性，可以轻易扩展到上亿级别的节点和关系，通过遍历工具高速检索数据。因为阐述图数据库概念需要大量篇幅，所以本文不做过多解释。详细内容可以查询neo4j中文手册：http:/...

7天前 53℃ 0喜欢

今天在某技术交流群，发现了一张总结的非常好的运维交接脑图，特粘贴到此分析给搭建，同时也给自己作一个备忘转载请注明：西门飞冰的博客-专注于Linux运维 » 运维交接引导图...

1周前 (07-12) 76℃ 0喜欢

前言因为工作需求，有一批windows服务器需要管理，因为数量较多，所以研究了一下ansible自动化管理windows服务器，在此记录一下。环境说明 ansible 服务器：centos 7.2 windows客户端：windows 7 ansible服务器配置 1、需要P...

2个月前 (06-02) 242℃ 0喜欢

需求说明公司微服务，为了在出现5xx状态码或特殊4xx状态码的时候，快速定位问题和解决问题，决定在nginx访问日志中加入错误请求的的响应（response）信息。经过调研和充分测试后决定使用openresty来实现，这里记录下实现方法。 openresty 简介 OpenRe...

3个月前 (04-12) 495℃ 0喜欢

出发库布齐筹备了半个多月的库布齐沙漠穿越之行，于2018年，4月4日晚8:40分正式从北京出发。出发当天我们碰到了30年一遇的4月风雪交加的夜晚，在没有出发前谁也没有想到会碰到这样的天气，直到出发的前几小时突然的变天，超大暴风雪冰雹，此时也仅只有1小伙伴退出，其他的人依然特别坚...

3个月前 (04-09) 482℃ 1喜欢

前言我们公司数据库这段时间由于数据量过大，导致备份的时间过长，一次全量备份的备份时间从凌晨12点到了早上八九点，这个时间段备份还没有结束就会占用服务器大量的网络和磁盘io，导致出现很多慢查询，影响到用户体验。这时我们就上mysql延迟复制技术，来解决mysql备份时间过长的问题...

4个月前 (03-31) 334℃ 0喜欢

问题今天添加了一个mysql5.7的 slave数据库，部署完成之后，启动新部署的slave一切正常，但是收到了老slave数据库的主从同步报警。登陆故障数据库查询到，Mysql主从同步报错如下 Last_IO_Error: Got fatal error 1236 from...

4个月前 (03-29) 412℃ 0喜欢

前言在执行elasticsearch查询的时候，有些查询会占用大量的资源导致响应很慢，这个时候就需要ES对慢查询进行监控。找到那些响应很慢的请求。ES的请求主要分为搜索和索引，ES也分别提供了这两种类型请求的慢查询日志。搜索慢日志慢搜索日志配置可以记录响应慢的搜索（查询和获...

4个月前 (03-16) 790℃ 0喜欢