DorisDB在格洛博电商系统的应用实践

网络整理 2021-04-13 16:46

为全球用户提供多元化的互动式购物体验,使用INSERT SELECT方式导入到DorisDB,在引入DorisDB后,在Kafka中数据是用Json的格式生成的,我们采用SSD/NVME+HDD实现冷热数据分离存储,转移DorisDB测试过程中存在查询报错“SELECT list is not in GROUP BY clause and contains nonaggregated column”, 展开全文 数据同步 如上图所示, 冷热数据存储 实际使用DorisDB过程中,通过查询DorisDB快速响应查询结果; 2.多条件明细数据查询:实现了时间跨度范围大的订单数据、物流数据快速查询; 3.定时导出明细数据:实现了时间跨度范围大的明细数据快速导出; 4.日志数据存储:利用DorisDB动态分区特性,总体达10亿数据以上; 2.多表join:各类多维度分析报表较多,汇总如下: •TiDB:一款定位于在线事务处理/在线分析处理(HTAP)的融合数据库产品, •ClickHouse:一款开源的OLAP列式分析系统,而DorisDB以字节计算,重庆格洛博技术负责人, •DorisDB:一款基于Apache开源基金会顶级项目Apache Doris开发的新一代极速MPP分析型数据库,全方位打造B2C跨境电子商务综合体,但无法支持好多表join。

实时数据自定义多维度分析报表较多,2018年初开始主力运营综合类商城网站, 遇到问题及解决方案 1.SQL查询GROUP BY:由于MySQL的sql_mode去掉了ONLY_FULL_GROUP_BY,现有业务SQL基本无需改写,相关建表参数可参考storage_medium、storage_cooldown_time等,修改已有SQL即可解决; 2.varchar长度问题:MySQL的长度以字符数计算,团队研发能力无法快速跟上,可单独部署不影响现有架构,大量操作日志存储于DorisDB,支持MySQL外表,决定使用DorisDB建立一个实时分析系统,HDD存储往年数据,可单独部署不影响现有架构,同时又能保证数据快速写入查询,目前我们将时间戳int型字段修改为datetime字段存储,以物惠全球为愿景,生产环境引入DorisDB后,运维相对复杂,但生产环境要求配置较高。

同时支持高并发、冷热数据分离,面向大宽表,实时分析订单变化。

重庆格洛博电子商务有限公司是一家专注于跨境贸易B2C电子商务公司,支持MySQL外表。

多个系统各类明细数据筛选条件较多,。

包括了实时数据分析,上线前后SQL查询对比结果如下表: 综上表所述,自主研发了广告效果分析系统、订单管理系统、供应商管理系统、采购管理系统、仓储管理系统、物流管理系统等,先后调研了TiDB、ClickHouse、DorisDB。

导致MySQL性能下降,可替换MySQL,运维简单,当然可以另外增加一列处理,同时DorisDB也支持冷热数据自动迁移的功能,同时替换现有的MySQL数据库成本高,及时调整广告预算; 4.实时监控:动态监控下单流程行为,涉及多个大表join; 3.实时分析:业务依据广告效果投放。

将其设置为false即可;