哈希游戏作为一种新兴的区块链应用，它巧妙地结合了加密技术与娱乐，为玩家提供了全新的体验。万达哈希平台凭借其独特的彩票玩法和创新的哈希算法，公平公正-方便快捷!万达哈希,哈希游戏平台,哈希娱乐,哈希游戏乐元素创立于2009年，是一家以游戏研发运营为主营业务的游戏公司，同时业务涵盖动画作品、授权商品、音乐、演唱会、广播剧等在内的知名互动娱乐公司 。乐元素旗下拥有《开心水族箱》、《开心消消乐》、《海滨消消乐》 《Merc Storia》、《Ensemble Stars》 等多款畅销产品，以及《星梦手记》动画 和卡通形象品牌“消消乐萌萌团” 。其中，《开心消消乐》更是堪称国民级三消游戏。

　　面对多款DAU超千万的热门游戏产品，每天产生海量的游戏日志数据，如何通过数据运营获引起家对兴趣，提升游戏体验，降低用户流失成为决定游戏产品成败的关键。然而数据规模巨大、分析模式复杂，对游戏业务的运营分析数据产品形成了巨大的挑战。一方面手游产品迭代速度快、平均生命周期短，市场、运营需要快速的对玩家动态做出判断，这要求数据流转速度必须要快；另一方面，产品、用户、营销运营关注多数据面广，既需要通过宏观数据了解产品健康状况，有需要通过多种微观数据溯源问题原因，要求数据产品需要提供高灵活性的计算能力。

　　基于此背景，乐元素数仓团队升级技术架构，通过阿里云Hologres替换开源Hive+Presto架构，支持运营分析更加高效、实时，显著提升运营效率，进一步辅助业务精细化运营。

　　在乐元素手游类产品运营分析中更加重视玩家数据的多维数据上卷、下钻分析能力。例如，运营同学在发现用户流失严重的游戏关卡时，需要迅速通过调整关卡设置，增加游戏道具等方式，保持玩家对游戏的关注度。市场、产品运营分析的主要内容涵盖以下几方面：

　　在数仓构建方面，手游数据主体来源于各款游戏的埋点数据、离线用户标签特征、业务数据。游戏行业数仓有别于典型的电商、广告业务的数仓模型，游戏相关数仓模型构建以玩家行为事件数据为核心，特征维度数据为辅助，同时游戏之间玩家数据关联性较弱，游戏数据彼此正交，形成如下图所示的主要数仓结构：

　　结合业务痛点，乐元素数仓研发、分析工具团队、运维团队需要为运营团队提供具有以下能力的自助分析平台：

　　游戏业务的数据层应用主要为产品运营、市场运营同学提供高效、灵活的即席查询能力，满足报表、分析等常规业务场景，同时在新品发布、活动推广等场景中，也需要第一时间提供用户的行为趋势，方便运营快速了解用户行为数据，而如果提供天级或者小时级的数据更新，往往不能满足业务实时性的要求。因此，在游戏业务的数据应用层中查询的灵活性、数据的实时性是核心诉求。

　　针对应用层特点，实时数仓探索的初期为了满足离线报表和实时查询的需求。系统架构的示意图如下：

　　：游戏服务端日志、业务系统Binlog同步到Kafka，通过Flink关联维度进行实时ETL，持久化到OSS上每分钟创建的文件中；定时将分钟级文件通过新分区方式追加到Hive的事实表分区中，在计算端通过Presto查询Hive数据提供分钟级实时能力。

　　：游戏服务日志、业务系统数据，离线同步至自建的HDP离线数仓，离线进行ETL用来提供历史数据分析能力；

　　上述架构与2019年投入生产，系统上线初期业务规模较小，运行相对稳定。但随着诸多爆款游戏的上线，数据规模迅速上涨，基于HDP的系统架构出现多次节点故障，问题排查时间较长，系统升级维护的成本很高；另一方面，计算、存储资源变得更加不匹配，系统的扩展性也面临一定挑战。总结来说，主要的问题有以下三点：

　　受限于实时链路实现方案，实时链路端到端的延迟在分钟级左右，流量高峰时段延迟会更长；

　　Presto引擎兼容性虽好，但性能远不如其他开源OLAP引擎，如ClickHouse、Hologres等；另一方面，实时数据链路架构文件数过多，对计算性能影响较大；

　　：自建HDP版本较老，出现问题排查成本高，且Hortonworks被Cloudera收购之后，后续维护计划不明朗；集群规模不断扩大，出现链路故障恢复时间长，运维成本高；

　　：需要定制开发一些模块来处理实时数据加载调度等功能，需要投入一些人力开发运维；同时链路较长，监控成本也比较高；

　　由于历史技术架构的种种问题，我们开始调研业界实时数仓的实践模型，希望引入一个全场景的OLAP引擎，来解决数据时效性、计算性能、成本三方面问题。在一段时间的摸索后，我们进行了ClickHouse、Presto、Hologres的多方面对比，Hologres相对于另外两个引擎优势较大，主要变现在以下几方面（性能数据为业务实际测试结果）：

　　实时写入性能较强, 单Core可以支持2万~3万RPS的写入，并且与Flink可以无缝集成，能很好的满足实时数仓的需求；

　　在相同规模性资源下，对业务系统中计算量较大的UV统计、留存计算、漏斗计算等场景进行压测，性能项目Presto提升了5~10倍，96核的Presto集群完全可以使用64核的Holgores集群替换；

　　Hologres的系统能力，如资源队列、慢Query监控、连接管理等，可以大大提升管理效率；

　　Hologres原生内置游戏行业场景化的解决方案，如留存分析、人群画像等组件支持，对业务提效有很大帮助。

　　因此，我们最终决定使用Hologres替换现有基于Hive + Presto构建的实时数仓架构，整体系统架构演化为如下结构：

　　上述系统架构在2022年5月上线，对高频计算场景优化效果明显，即席分析平均耗时降低数倍。截止目前，《海滨消消乐》、《偶像梦幻季》等游戏已经完全迁移到Hologres架构。

　　依托Hologres数据加密的功能，我们也部署了海外机房，快速支持了海外业务扩展。总体来讲，对业务运营效率、研发迭代效率提升明显。

　　从系统指标层面看，初期使用128core的Hologres实例，可以承载离线数据高压力导入，导入RPS约400万+；实时数据承载了当时10k ~ 20k实时读写请求，单实例数据规模目前为15~10TB左右；高频计算场景如近7天留存、近30天漏斗等计算时长均缩短至10s以下，基数运算可以在毫秒级完成。

　　以下，我们针对一些典型的场景介绍下Hologres上的业务落地方案。选择留存分析和漏斗分析作为示例进行介绍：

　　留存分析是手游中统计用户参与度、活跃情况的一种重要的分析模型，通过留存分析可以了解手游用户的留存率，流失率情况，针对流失率用户群进行其他潜在维度的上卷统计，可以进一步探索用户流失原因。

　　在留存分析中，我们针对玩家在一个时间段内的时间进行统计，指定一个初始事件和多个回访事件，通过统计玩家在指定时间段内的事件序列计算用户留存指标。初期基于Presto构建的自助分析平台，留存分析只能通过用户事件表的反复JOIN来计算， 而事件表本身数据规模非常大(百亿级别)，JOIN运算开销非常大，对集群造成很大压力。

　　计算引擎替换成Hologres后，可以直接使用流量分析函数进行计算，函数通过对时间表的一次扫描完成留存计算，大大提升了计算效率，在典型的留存计算场景中，响应时间降低了一个数量级，同时，流量分析函数均支持延伸计算，分析师可以对对留存客群进一步分析。

　　例如，计算用户登录到用户进入游戏主场景的多日留存情况，并对每日的留存用户统计游戏分享次数的计算中；基于Presto我们需要通过通过Join来完成留存人群的过滤，再JOIN一次计算游戏分享事件次数；计算逻辑示例如下：

　　通过Hologres的留存函数进行延伸计算时，可以通过range_retention_count函数直接计算留存人群，该函数通过一次表扫描即可完成留存运算，效率非常高，运算逻辑示例如下：

　　在游戏玩家的转化率稳定阶段，漏斗分析可以应用于多个流量采渠道评估转化效果，同时对于新用户的转化过程，通过漏斗分析，可以找出转化过程中用户的流失环节，进行及时的查漏补缺。

　　初期使用老架构的自助分析平台，需要针对性的开发UDF，用来完成漏斗分析计算。计算引擎升级成Hologres 后可以直接使用windowfunnel漏斗函数进行运算。同时Hologres内表可以通过clustering_key 指定数据排序字段、通过event_time_column可以实现数据分区内更细粒度的数据过滤，诸多特性都可以直接应用在windowfunnel的计算中。替换成Hologres引擎后，漏斗分析的性能也有5倍以上的提升。

　　自助分析平台交互式分析引擎底座自2022年5月投入生产以来， 运营团队、产研团队对平台都给予了很高评价；从整体数据服务角度，使用Hologres进行技术升级带来诸多好处：

　　：在基础的用户分群、活动分析、用户留存、漏斗分析场景中，计算耗时都有数倍的提升；其中留存、漏斗计算性能提升近10倍。

　　：基于Hologres的引擎，完全可以承载高峰时期实时写入压力，相对历史架构有质的改善；同时，极大降低自建系统的运维成本，高峰时期系统的弹性扩缩容能力也能在分钟级完成，大大提升数据产品的稳定性、扩展性、可运维性，产研同学得以将更多精力，投入到数据研发方面；

　　：升级使用Hologres为分析引擎后，整体节约约50%机器成本，年节约成本数十万元；

　　目前在Hologres中行为类数据的存储仍然较高，计划通过Hologres后续发布冷热数据分层功能，将查询频次低、长周期的数据迁移到冷存储中；实现持续的降本增效；

　　目前离线数据仍然使用oss外表方式进行导入，手工运维的成本比较高；计划通过Hologres后续External Schema以及数据湖集成能力，降低手工运维成本。

　　本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。

　　本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求，采用了Hologres作为核心组件优化传统Lambda架构，实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计（ODS、DWD、DIM、ADS）及关键技术挑战的解决方法，如高QPS点查、数据乱序重写等。目前，该实时数仓已广泛应用于运营分析、广告投放等多个场景，并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。

　　基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析

　　在数字化时代，企业如何高效处理和分析海量数据成为提升竞争力的关键。本文介绍了基于 Dify 平台与 Hologres 数据仓库构建的企业级大数据处理与分析解决方案。Dify 作为开源大语言模型平台，助力快速开发生成式 AI 应用；Hologres 提供高性能实时数仓能力。两者结合，不仅提升了数据处理效率，还实现了智能化分析与灵活扩展，为企业提供精准决策支持，助力数字化转型。

　　DataWorks+Hologres：打造企业级实时数仓与高效OLAP分析平台

　　本方案基于阿里云DataWorks与实时数仓Hologres，实现数据库RDS数据实时同步至Hologres，并通过Hologres高性能OLAP分析能力，完成一站式实时数据分析。DataWorks提供全链路数据集成与治理，Hologres支持实时写入与极速查询，二者深度融合构建离在线一体化数仓，助力企业加速数字化升级。

　　Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

　　本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。

　　本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成（二）专场的分享，主要内容包括：1. Hologres介绍：实时数据仓库，支持毫秒级写入和高QPS查询；2. 写入优化：通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟；3. 消费优化：优化离线场景和分区表的消费逻辑，提升性能和资源利用率；4. 未来展望：进一步简化用户操作，支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台，提供多项新功能并降低使用成本。

　　Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

　　Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

　　本次方案的主题是实时数仓 Hologres 产品介绍：一体化实时湖仓平台，介绍了 Hologres 湖仓存储一体，多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景，并对其运维监控方面及客户案例进行一定讲解。 1. Hologres ：面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结

　　Hologres RoaringBitmap在Lazada选品平台的最佳实践

　　Hologres RoaringBitmap在Lazada选品平台的最佳实践

　　云端问道5期实践教学-基于Hologres轻量实时的高性能OLAP分析

　　本文基于Hologres轻量实时的高性能OLAP分析实践，通过云起实验室进行实操。实验步骤包括创建VPC和交换机、开通Hologres实例、配置DataWorks、创建网关、设置数据源、创建实时同步任务等。最终实现MySQL数据实时同步到Hologres，并进行高效查询分析。实验手册详细指导每一步操作，确保顺利完成。

　　云端问道5期方案教学-基于 Hologres 轻量实时的高性能OLAP分析

　　本文介绍了基于Hologres的轻量实时高性能OLAP分析方案，涵盖OLAP典型应用场景及Hologres的核心能力。Hologres是阿里云的一站式实时数仓，支持多种数据源同步、多场景查询和丰富的生态工具。它解决了复杂OLAP场景中的技术栈复杂、需求响应慢、开发运维成本高、时效性差、生态兼容弱、业务间相互影响等难题。通过与ClickHouse对比，Hologres在性能、写入更新、主键支持等方面表现更优。文中还展示了小红书、乐元素等客户案例，验证了Hologres在实际应用中的优势，如免运维、查询快、成本节约等。

　　实时数仓王炸组合-实时计算Flink版 + Hologres，《实时数仓入门训练营》课程配套电子书来啦！

　　现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜！

　　实时计算 Flink版产品使用合集之同步MySQL数据到Hologres时，配置线程池的大小该考虑哪些

　　实时计算 Flink版产品使用合集之如何将Hologres字段转换为小写

　　实时计算 Flink版产品使用合集之进行实时处理时，是否需要将所有数据导入到Hologres

　　实时计算 Flink版操作报错合集之用CTAS从mysql同步数据到hologres，改了字段长度，报错提示需要全部重新同步如何解决

　　实时计算 Flink版操作报错合集之hologres里报错：找不到字段如何解决

　　实时数仓 Hologres产品使用合集之报错：ORCA failed to produce a plan : PlStmt Translation: Group by key is type of imprecise not supported如何解决

　　实时数仓 Hologres产品使用合集之在执行SQL语句时，在插入语句后面直接跟上了insert，insert操作就会报错如何解决