简介
nifi 是一个数据同步的框架，像是flume和datax可以完成的操作，nifi都可以完成，本文展示了两个nifi的实际案例，来学习nifi的使用。
案例一：使用nifi离线同步mysql数据到hdfs，模拟datax的常用场景
案例二：使用nifi实时监控Kafka数据...
1年前 (2023-04-27) 932℃
1喜欢
前言
我们公司数据库这段时间由于数据量过大，导致备份的时间过长，一次全量备份的备份时间从凌晨12点到了早上八九点，这个时间段备份还没有结束就会占用服务器大量的网络和磁盘io，导致出现很多慢查询，影响到用户体验。这时我们就上mysql延迟复制技术，来解决mysql备份时间过长的问题...
7年前 (2018-03-31) 6935℃
0喜欢
问题
今天添加了一个mysql5.7的 slave数据库，部署完成之后，启动新部署的slave一切正常，但是收到了老slave数据库的主从同步报警。
登陆故障数据库查询到，Mysql主从同步报错如下
Last_IO_Error: Got fatal error 1236 from...
7年前 (2018-03-29) 12529℃
7喜欢
前言
mysql作为互联网公司都会用到的数据库，如果在使用过程中出现性能问题，会采用mysql的横向扩展，使用主从复制来提高读性能，要是解决写入问题，需要进行分库分表。本文不会去介绍mysql的高可用，主要介绍mysql的访问中间件（DAL）的一些实现方案。
Atlas
官网：h...
8年前 (2017-02-12) 14643℃
1喜欢
MHA介绍
MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在My...
8年前 (2017-02-12) 7078℃
4喜欢
前言
运维工程师在工作中一定会使用到mysql数据库的主从复制，那么肯定会有扩展从库的需求，比如数据库当前吞吐量比较大或者需要单独加一台从库做专门的数据分析。那么生产环境如何添加mysql从库，就是本文要说明的内容。
前提
在添加mysql的从库的时候，从库需要先导入一次主库的全...
8年前 (2017-01-14) 8276℃
2喜欢
前言
作为运维，在和开发人员调试mysql数据库故障的时候，你一定碰到过这样的需求，就是输出mysql执行的所有语句，用来分析问题。默认情况下mysql记录语句的执行只是开启了binlog日志，但是binlog不会记录select语句，这个时候就需要打开数据库的general l...
8年前 (2016-12-18) 9486℃
2喜欢
Mysql route介绍
什么是mysql route
MySQL Router是处于应用client和dbserver之间的轻量级代理程序，它能检测，分析和转发查询到后端数据库实例，并把结果返回给client。是mysql-proxy的一个替代品。其架构图和功能如下。
（1...
8年前 (2016-12-17) 45509℃
22喜欢
前言
在mysql数据库主从环境，总会出现各种原因，导致数据库主从环境的不一致；本文就是介绍在mysql数据库主从出现了不一致的情况，如何进行修复，保持数据的一致性。
本文使用:percona-toolk，这个工具包提供pt-table-checksum（检查数据），pt-tab...
8年前 (2016-10-15) 12936℃
1喜欢
