发表于 | 分类于
Java服务_分布式服务日志追踪工具MDC1.情景介绍MDC 是解决分布式服务日志追踪方案中的有效工具。比如现在有个分布式的项目：alearner-api、alearner-service，该项目使用了阿里开源的框架dubbo，alearner-api作为consumer端，是和前端浏览器直接交互的模块，alearner-service作为provide端，是为consumer端提供一系列数据支持 ...
阅读全文 »

发表于 | 分类于
Java服务_SV服务缓存全量更新和增量更新方案一、背景目前元数据更新方案： 此处说的元数据中心是指分布式缓存Redis中的指标服务元数据，元数据每5分钟更新一次，更新全量元数据。 为什么需要增量更新： a、数据一致性：全量更新每5分钟元数据更新一次，用户影响路由的变动需要至多5分钟才能生效，影响用户体验，特别是对于频繁发生变动（调试）的预发环境来说。 b、稳定性：生产消费联动的能力基础，比如某张 ...
阅读全文 »

发表于 | 分类于
Java服务_Spring事物与分布式事务一、Spring事务1.事务的属性事务具有ACID四个属性，这四种属性也可以看作是一种因果关系，A、I、D是手段，C是目的： 原子性（Atomicity）:事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性（Consistency）：事务必须使数据库从一个一致性状态变换到另外一个一致性状态。 隔离性（Isolation）：指一个事 ...
阅读全文 »

发表于 | 分类于
Java服务_SpringAOP&Filter&Interceptor比较与实战一、SpringAOP1.SpringAOP概述1.1 AOP与SpringAOPAOP与Spring并不是一个强绑定的关系，AOP是指面向切面编程，是一种编程思想；SpringAOP是指Spring框架提供的一套AOP的快捷实现封装。AOP本省不是某种语言或某个框架特有的，它实现的是将横向逻辑与业务逻 ...
阅读全文 »

发表于 | 分类于
Java服务_Redis实现限流与锁策略Redis实现分布式锁的7种方案常开发中，秒杀下单、抢红包等等业务场景，都需要用到分布式锁，而Redis非常适合作为分布式锁使用。 1.概要的说一下七种方法： 方案一：SETNX + EXPIRE。使用SETNX命令来抢占锁，如果成功，再使用EXPIRE命令给锁设置一个过期时间。这种方案的缺点是SETNX和EXPIRE不是原子操作，可能导致锁无法释放。 方 ...
阅读全文 »

发表于 | 分类于
京东商智_Python和Shell脚本中执行CMD和HTTP命令1.背景当我们无法远程登录到目标节点时，我们需要将想要执行的逻辑写成代码并打包上传到目标节点，然后指定代码包，最常见的就是Shell脚本和Python脚本。CMD命令是所有操作系统都支持的语言，也就不需要安装编译器、执行器，整个操作系统都是CMD命令的上下文环境。Shell脚本本身就是一批CMD命令组成的，直接使用sh命令即可执行；P ...
阅读全文 »

发表于 | 分类于
京东商智_Python并发处理模块multiprocessing1.背景在python脚本中经常有一些逻辑需要使用多线程并发处理，以此来加快处理速度，缩短处理时间。和java中一样，可以通过new Thread新建线程等方式来实现多线程处理，但是往往还需要处理线程通信、数据共享、加锁等问题，所以java基础库中封装了线程池来帮助用户快捷使用多线程。同样的，python基础库也封装了类似的线程池工具 ...
阅读全文 »

发表于 | 分类于
Java服务_Java指标度量工具Metrics与Micrometer一、Metrics工具包1.简介Metrics是一个给JAVA服务的各项指标提供度量工具的包，在JAVA代码中嵌入Metrics代码，可以方便的对业务代码的各个指标进行监控，同时，Metrics能够很好的跟Ganlia、Graphite结合，方便的提供图形化接口。基本使用方式直接将core包导入pom文件即可，配置如下： 123 ...
阅读全文 »

发表于 | 分类于
HBase_Java离线脚本或单机部署服务中使用Queue队列实现限流和削峰实战1.Queue读写缓冲区在HBase推数脚本中，当用到多线程并发写入来提升写入速度时，涉及到多线程交流。一个实例只创建一个数据库连接，则需要将多个线程中的数据合并到一起写入到数据库中，涉及到线程通信，为了避免数据不一致问题，创建一个Queue来承接所有线程写入。 另外还可以配合AtomicLong属性，控制Queue队 ...
阅读全文 »