岩手县小森的博客

努力将眼前的每一天过得精彩


  • 首页

  • 标签

  • 分类

  • 归档

通用工具_高效协作共识与红线

发表于 2025-01-03 | 分类于 通用工具
通用工具_高效协作共识与红线规则制定时充分讨论,规则制定后必须严格、持续执行 个人要求篇红线: 事不过二: 同样问题不犯第二次 所有评审和问题讨论,不超过2次 部门内信息披露、规则同步,不超过2次 高标准高要求: 数据资产各成员务必维护个人、项目、团队口碑,要求做事可靠、可依赖、有效率,并积极扩大团队的影响力。 主人翁意识: 认真负责是工作的底线,对交付结果负责,对自己负责的项目 ...
阅读全文 »

通用工具_程序员画图技巧与样例

发表于 2025-01-02 | 分类于 通用工具
通用工具_程序员画图技巧与样例1.前言作为一个程序员,当我们在进行方案设计、架构review、晋升答辩等场景,给别人讲解我们项目时,要让别人快速看懂和理解我们的流程、架构时,一定不能通过直白的文字来介绍,没有人乐意去看直白的文字然后自己去脑海中凭空构建架构。我们一定要画好架构图、流程图等图为主,再以简练的文字为辅,最后在必要时加上详细的文字说明,确保别人能够通过图和简练文字就大致明白你要表达的逻辑 ...
阅读全文 »

通用工具_周报与答辩撰写经验

发表于 2025-01-01 | 分类于 通用工具
通用工具_周报与答辩撰写经验1.周报1.1 周报的正确看待有一句之前看到一直牢记至今的话:周报是唯一的比较正式的、常态化的能够和领导沟通的机会,一定要重视这个机会,工作描述一定要用心总结精炼,让领导一目了然;有什么新的想法或者个人思考也可以加上,要善于利用这个来之不易的机会。 1.2 周报要点 工作需求说清楚背景、本周进展、下周规划,尤其注意点明提测、上线时间、有无延期风险。 注意功能建设累需求 ...
阅读全文 »

大模型_基于大模型与数据服务语义层的要素关联发现及智能生成助手

发表于 2024-12-30 | 分类于 大模型
大模型_基于大模型与数据服务语义层的要素关联发现及智能生成助手一、背景先发优势 在交流过程中发现,很多公司在做数据治理方面就需要很大成本,只有几十张表的时候,通过数据集建模等方式去建模做数据治理,跨表查询成为难题。如果天然已经建设好了完备的语义层,直接解决了很多公司无法进入的门槛问题,而且还是极高的门槛。在这个基础之上再去做基础应用建设,甚至通用服务建设,agent模型串联应用,进度直接领先2年。 ...
阅读全文 »

大模型_SuperSonic项目本地实战调试笔记

发表于 2024-12-23 | 分类于 大模型
大模型_SuperSonic项目本地实战调试笔记一、相关工程https://github.com/tencentmusic/supersonic.git 二、环境配置本地运行OLLAMA并配置大模型 Model Name:qwen:0.5b Base URL:http://127.0.0.1:11434/ 配置OLLAMA运行的Embedding向量模型 Model Name:mofanke/dm ...
阅读全文 »

大模型_SpringAI&Ollama&pgvector实现RAG本地实战笔记

发表于 2024-12-01 | 分类于 大模型
大模型_SpringAI&Ollama&pgvector实现RAG本地实战笔记一、相关工程https://github.com/littleforestjia/ragdemo.git 二、环境准备1.Embedding模型部署使用Ollama本地部署embedding模型 1ollama pull mofanke/dmeta-embedding-zh Embeddi ...
阅读全文 »

Doris_Hive2Doris推数组件

发表于 2024-11-04 | 分类于 Doris
Doris_Hive2Doris推数组件一、Doris常见离线数据导入方式Broker Load 在Broker Load模式下,通过部署的Broker程序,DorisDB可读取对应数据源(如HDFS, S3、阿里云 OSS、腾讯 COS)上的数据,利用自身的计算资源对数据进行预处理和导入。这是一种异步的导入方式,用户需要通过MySQL协议创建导入,并通过查看导入命令检查导入结果。 Spark ...
阅读全文 »

京东商智_指标服务请求接口统一协议

发表于 2024-02-22 | 分类于 京东商智
京东商智_指标服务请求接口统一协议1.查询接口协议1.1 maven坐标(调用方引用)12345<dependency> <groupId>com.jd.bdaa.arch</groupId> <artifactId>dataservice-provider</artifactId> <version> ...
阅读全文 »

ClickHouse_行业模块ClickHouse明细数据上卷实战

发表于 2024-02-21 | 分类于 ClickHouse
ClickHouse_行业模块ClickHouse明细数据上卷实战一、前置操作1.函数原理uniqState() uniqState(element):该函数用于将传入的元素转化为去重中间聚合状态AggregateFunction state,就是将去重指标的字段元素以bitmap的形式存储起来,以便在此基础上再次进行聚合计算。一般输入就是string类型,输出就是AggregateFunctio ...
阅读全文 »

ClickHouse_行业模块ClickHouse服务优化实战

发表于 2024-02-20 | 分类于 ClickHouse
ClickHouse_行业模块ClickHouse服务优化实战1.行业底表基本数据统计1.1 典型二级类目数据量统计与超时请求统计2022-10-12至2022-11-15的总数据行数与对应的时间较长自定义请求,使用到的索引只有:secondIndId+terminal+shopType 二级类目 底表粒度 (sku+browerAcct) 聚合表粒度 (sku) 数据量缩减倍数 行业趋势 ...
阅读全文 »
123…18
zju岩手县小森

zju岩手县小森

看的远固然重要 但是走好眼前的路才是关键

176 日志
15 分类
143 标签
Instagram Bilibili
© 2025 zju岩手县小森