-
基于ClickHouse的用户行为大数据架构
- 网站名称：基于ClickHouse的用户行为大数据架构
- 网站分类：技术文章
- 收录时间：2025-08-18 04:51
- 网站地址：
“基于ClickHouse的用户行为大数据架构” 网站介绍
SDK埋点采集行为数据来源终端包括iOS、安卓、Web、H5、微信小程序等。不同终端SDK采用对应平台和主流语言的SDK，埋点采集到的数据通过JSON数据以HTTP POST方式提交到服务端API。
服务端API由数据接入系统组成，采用Nginx来接收通过 API 发送的数据，并且将之写到日志文件上。使用Nginx实现高可靠性与高可扩展性。
对于Nginx打印到文件的日志，会由Flume的 Source 模块来实时读取Nginx日志，并由Channel模块进行数据处理，最终通过Sink模块将处理结果发布到 Kafka中。
Kafka是一个广泛使用的高可用的分布式消息队列，作为数据接入与数据处理两个流程之间的缓冲，同时也作为近期数据的一个备份。
在Flume处理时，根据版本号识别到是测试数据，会写入kafka的测试分支，此分支会将行为日志的JSON数据写入MySQL，为开发人员提供埋点开发调试过程中的确认。对线上业务没有影响。
在Flume识别到生产数据，会写入kafka的生产分支。后端由Flink将Kafka中数据进行必要的ETL与实时维度join操作，形成规范的明细数据，并写回Kafka以便下游与其他业务使用。再通过Flink将明细数据分别写入ClickHouse和Hive打成大宽表，前者作为查询与分析的核心，后者作为备份和数据质量保证。
更多相关网站
- 数据体系建设-数据血缘(1)（数据体系规划）
- Spark+ClickHouse实战企业级数据仓库:ClickHouse常用的数据格式
- MySQL数据一键同步至ClickHouse数据库
- 大数据ClickHouse进阶(一):ClickHouse使用场景和集群安装
- Node.js 连接 ClickHouse 并执行 SQL 的方式
- BI产品工具Tableau使用相关问题汇总
- clickhouse填坑之除数为0完美解决
- ClickHouse学习笔记四ClickHouse基础语法
- 趣头条基于Flink+ClickHouse的实时数据分析平台
- 那些年我们踩过的一些坑之 ClickHouse
- ClickHouse在自助行为分析场景的实践应用
- ClickHouse的应用场景 和使用约束
- ClickHouse学习笔记一ClickHouse入门
- 大数据ClickHouse(三):客户端命令行参数
- ClickHouse 可观测性最佳实践（clickhouse高可用）
- 大数据ClickHouse进阶(八):ClickHouse的with子句
- Clickhouse多磁盘存储，实现冷热数据分离
- 快速安装 ClickHouse（快速安装展会桁架出租）
- 最近发表
- 标签列表
-
- mydisktest_v298 (35)
- sql 日期比较 (33)
- document.appendchild (35)
- 头像打包下载 (35)
- acmecadconverter_8.52绿色版 (25)
- 梦幻诛仙表情包 (36)
- java面试宝典2019pdf (26)
- disk++ (30)
- 加密与解密第四版pdf (29)
- iteye (26)
- centos7.4下载 (32)
- intouch2014r2sp1永久授权 (33)
- jdk1.8.0_191下载 (27)
- axure9注册码 (30)
- virtualdrivemaster (26)
- 数据结构c语言版严蔚敏pdf (25)
- 兔兔工程量计算软件下载 (27)
- 代码整洁之道 pdf (26)
- ccproxy破解版 (31)
- aida64模板 (28)
- engine=innodb (33)
- shiro jwt (28)
- segoe ui是什么字体 (27)
- head first java电子版 (32)
- clickhouse中文文档 (28)