HBase表数据倾斜治理_HBase依赖jar包源码修改与替换1.HBase开源代码修改得益于HBase数据库代码是java开发的，且在github上开源了，网址是https://github.com/apache/hbase。 现在由于HBase团队服务更新换代中，导致他们服务器集群上的压缩队列格式与我们集群上的压缩队列格式不同，使得我是用开源jar包读取hbase快照时发生压缩格式错误的问题。 ...

HBase表数据倾斜治理_HBase行数计算1.主备一致性验证数据库最常见的主备一致性验证主要有两个方面：一个是数据准确性验证，这方面主要通过同一个查询语句得到的查询结果是否相同来验证；另一个是数据量的一致性验证，这方面主要通过行数计算来验证，比如全量数据条数、某个时间段内数据条数。如京东当前的clickhouse、hbase、durid数据库都是采用这种方式来验证主备一致性。 2.使用Filte ...

数据开发之离线计算_MapReduce计算过程详解1.MapReduce流程总结1.1 流程图 1.2 Job创建与提交job创建和提交步骤中，首先需要创建yarn计算集群的代理对象，然后创建存储任务文件的staging路径，将split切片信息、配置文件、jar包保存到该路径，然后将该路径中的文件通过代理对象提交给yarn集群去运行。 MapTask的并行度，也就是map任务的个数取决于I ...

HBase_HBaseConnection&Filter&Coprocessors&SQL1.Connection1.1 HBase Connection原理hbase client中的一个Connection对象包含了对Zookeeper、Master、RegionServer三种socket连接的封装。一个Connection对象中包含一个Zookeeper连接对象、一 ...

HBase_HBaseAPI执行流程与Request&Quota计数1.API汇总1.1客户端的HTable类与服务端的RSRpcServices类HBase client提供的java api主要在HTable类中： 123456Result get(Get get);Result[] get(List<Get> gets);void put(Put put);void pu ...

Java服务_xml配置实现Quartz执行jar包方法1.Quartz与ScheduledExecutorService的区别Quartz和ScheduledExecutorService都可以用来执行定时轮询任务，但是Quartz的功能更加强大一些： Quartz提供了很多任务监控和维护工具，如Job Persistence，Transactions，Clustering等； Quartz使 ...

Java服务_并发TP90&TP99性能与可用率监控1.监控原理1.1基本概念方法性能就是指方法的调用时间，主要用TP50、TP90、TP99等(top percent)表示。 TP90就是在监控单位时间内的所有调用中，90%调用完成所需要的最短时间。统计1分钟内的所有调用所需时间，从小到大排序，前90%中的最后一个即为1分钟内的TP90。 方法可用率是指方法调用成功率，不发生异常的概率。 ...

Java服务_使用Guava缓存实现服务限流1.Guava Cache原理guava cache就是单个应用运行时保存在本地内存中的缓存，是单机版的。本质与concurrentmap相似，但是concurrentmap只能显式地remove数据，guava cache提供了很多自动回收机制。guava cache常用于服务限流。 guava cache适用于小量被读取频繁的数据，本质是以空间换时间 ...

数据开发之离线计算_HDFS高可用集群&联邦集群1.HA结构1.1 HA原理高可用是一种用来解决namenode的单点故障问题，避免namenode故障或者升级维护导致集群不可用。 ha通过在集群中运行2个namenode，分别出与active和standby状态，当active namenode发生故障或者管理人员主动维护升级时，可以被动或主动切换另一个namenode为active。 ...

Java服务_使用SLF4J&Log4j1.log发展1.1 JDK Logging在编写程序过程中，常常使用system.out.println()来打印过程变量，测试代码逻辑是否正确。当代码出问题时又要删除这些system.out.println()语句，这样非常麻烦，替代方式就是使用日志。 java标准库内置了日志工具包java.util.logging，可以直接使用。 代码示例： ...