发表于 | 分类于
Java服务_数据服务通过反射快速路由实现类并进行AOP增强话不多说，直接开始实战! 1.创建数据服务service层的抽象类 在抽象方法中新建一个getAllMethods()方法，因为后续透出给使用方的接口名或者说服务名就是该service类中的一个个实现方法。 1234567891011public abstract class BrandService { public M ...
阅读全文 »

发表于 | 分类于
Java服务_数据服务缓存策略实战梳理与常见分布式缓存实现方案1.hbase服务缓存策略1. 将请求参数进行排序 12//将请求参数进行排序String cacheKey = ReqUtils.sortReqToString(req); 其中这个将请求参数进行排序方法sortReqToString，本质就是将object类型按key的字典序排序，将array类型按元素的字典序排序。有一个点要注意 ...
阅读全文 »

发表于 | 分类于
京东商智_块存储&文件存储&对象存储&HDFS的区别与存算分离1.背景1.1 存算分离背景随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本的需求，也能够更加灵活地实现针对计算或者存储资源的扩缩容。例如商智HBase离线集群存储高密，造成CPU资源严重浪费，而实时集群计算高密，造成磁盘利用率较低；又例如希望实现白天qps高则动态扩充计算资源，晚 ...
阅读全文 »

发表于 | 分类于
京东商智_湖仓一体优点与具体场景方案&网易有道实时湖仓实践之路概念介绍：1、数据仓库：面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 关键词：结构化数据、数据清洗、预定义模型、面向主题、高度规范化、面向业务报表和分析 2、数据湖：数据湖 是一个存储企业的各种各样原始数据的大规模存储库，其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存 ...
阅读全文 »

发表于 | 分类于
Java服务_观察者模式实现不同维度过滤类型解析1.观察者模式简介如我自己的博文【基础知识】_设计模式所述，观察者模式是定义对象间的一对多依赖关系，使得当一个被观察者对象状态发生改变时，多个观察者对象皆得到通知并被自动更新。 观察者模式最大的优点就是实现层和逻辑层的分离，抽象了更新接口，使得可以有各种各样不同的表示层作为具体观察者角色；且符合开闭原则（对拓展开放，对修改关闭）的要求。 2.使用场景 ...
阅读全文 »

发表于 | 分类于
京东商智_工程架构高可用设计浅析大家下午好，今天分享的主题是“工程架构高可用设计”。为什么选择这个topic呢，我们通过各种新闻也知道，上个月的阿里云、滴滴以及这个月前两天腾讯视频都比较密集的分别出现了大面积系统瘫痪，服务不可用的事故，尤其是就在上周滴滴的事故恢复时间长达12H，影响上千万笔订单，营收损失4个亿。这里有技术因素也有非技术因素，“前车之鉴，后事之师”，里面有哪些规律性质的信息我们可以 ...
阅读全文 »

发表于 | 分类于
Java服务_服务稳定性和标准化建设六件套_缓存&监控&限流&日志&异常&响应体服务稳定性在常见服务开发中，为了保障服务稳定性，一定都需要建立缓存、监控和限流机制的，这个一般通过AOP的方式建立在抽象方法的周围。 服务标准化服务的标准化建设主要是方便自己，方便他人的一些规范性建设，我觉得主要有三点： 日志标准化：1）格式化添加uuid、erp、tracei ...
阅读全文 »

发表于 | 分类于
Java服务_服务全局异常处理与告警收敛实战一、Java异常相关概念1.异常类Throwable类 Java中所有异常类的父类，它包含了最终要的两个类Exception和Error。 Error类 属于程序无法处理的错误，是JVM需要承担的，无法通过try-catch进行捕捉，例如系统崩溃、内存不足、堆栈溢出，编译器不会对这类异常进行检查，一旦发生就容易导致程序运行终止，仅靠程序本身无法恢复。 E ...
阅读全文 »

发表于 | 分类于
HiveSQL实战积累_分时累计趋势图的多种实现方案与比较分时累计趋势图定义分时累计趋势图一般是指一天内的累积趋势图，与之对应的就是分时窗口趋势图。比如小时累积的24个点中第一个点就是0-1点的数据，第二个点就是0-2点的数据，每个点都是0点到该点的累积数据；小时窗口的第一个点就是0-1点的数据，第二个点就是1-2点的数据，每个点就是一个被等分的时间窗口中的聚合数据。 分时窗口趋势图比较好出数，直 ...
阅读全文 »