在AWS上使用Presto和Alluxio构建高性能平台以支持实时游戏服务

概 述

电子艺界(EA)是一家游戏行业的领军企业,为全球数十亿用户提供超过一千种游戏。EA的数据和人工智能部门构建了数百个平台来管理游戏和用户每天生成的PB级数据。这些平台涵盖了大范围的数据分析,从实时数据抽取到ETL流水线过程。企业高管、制作人、产品经理、游戏工程师和设计师广泛使用我们部门产生的格式化数据,以进行营销变现、游戏设计、客户参与度、玩家留存度和最终用户体验等分析。
在这里插入图片描述EA在线服务的近实时信息对于制定业务决策(例如活动和问题定位)至关重要。这些服务包括但不限于实时数据可视化,仪表板和会话分析。我们的团队正在积极寻求可以支持这些用例的框架。

在EA,我们采用了许多数据可视化工具,例如Tableau和Dundas,以支持数据洞察分析。这些工具通常与多个数据源连接,例如MySQL DB,AWS S3或HDFS。使用者可以同时从多个端点加载数据以运行计算密集型算法。一个严重的性能瓶颈是数据加载,因为它是I/O密集负载。当需要多次加载相同的数据,则可能会加剧性能瓶颈情况。因此,我们需要一种通过本地缓存数据来减少数据检索开销的解决方案。

仪表展示是另一个常见用例,用以实时跟踪用户参与度,客户满意度或系统状态。在这些情况下,数据量通常约为GB级,但是频繁刷新需要实时处理。目前,我们使用诸如Redshift之类的商业数据库来对时间敏感的数据提供服务,并且我们正在寻找一种能在不损失性能的情况下削减成本的替代方案。

我们最近开发了一个报告机器人,它可以提供游戏内部即时的相关数据,例如实时用户满意度和实时利润分析。该系统的后端使用存储在S3中的PB级数据运行Presto。机器人将用户的问题转换为ANSI SQL,并在Presto集群中运行这些查询。查询通常进行复杂计算,例如跨越数据集搜索后的预测和合并。我们希望找到一种解决方案,该解决方案可以补充基于S3的数据集,从而在不增加额外成本的情况下提高性能。

系统架构

我们将Alluxio评估为存储和数据处理平台之间的数据编排层。Alluxio已被公认为是高性能的数据编排系统,并已在众多数据处理系统中广泛采用。在我们的评估中,我们将前述的Presto在S3生产环境配置的模拟与Alluxio的类似数据栈进行了比较。架构如下所示:
在这里插入图片描述

  • 每个实例都启动了Presto和Alluxio,这两个服务处于同一位置。

  • 对于硬件,我们使用了三个h1.8xlarge的AWS实例,每个实例都挂载有8TB临时磁盘供Alluxio使用,以缓存Presto本地数据。

  • S3被挂载到Alluxio作为基础持久化文件系统。

  • 为Presto配置了两个目录;一个连接到我们现有的Hive
    Metastore,引用外部存储在S3上的基准数据集,另一个连接到具有在Alluxio中创建的基准表的单独的Hive Metastore。

  • 我们在S3上使用了相同的数据集进行性能比较,并使用alluxio fs distributedLoad /
    testDB命令将数据预加载到Alluxio中。

使用以下配置启动Alluxio集群:

# Impersonation 
alluxio.master.security.impersonation.presto.users=*
alluxio.master.mount.table.root.ufs=<s3://alluxio_path>
alluxio.security.authorization.permission.enabled=false
alluxio.security.authentication.type=SIMPLE
alluxio.security.authorization.permission.supergroup=*
# Alluxio Worker tier configuration
alluxio.worker.block.heartbeat.interval=30sec
# Prevent disk thrashing
alluxio.user.file.passive.cache.enabled=false
# Increase Threadpool concurrency for Presto
alluxio.user.block.master.client.pool.size.max=256
alluxio.user.file.master.client.pool.size.max=256
# Return full list of blocks 
alluxio.user.ufs.block.location.all.fallback.enabled=true 
# Worker properties
alluxio.worker.tieredstore.levels=1
alluxio.worker.tieredstore.level0.dirs.mediumtype=HDD
alluxio.worker.tieredstore.level0.dirs.path=</path1>
alluxio.worker.tieredstore.level0.dirs.quota=<1000GB> 
# file replica 
alluxio.user.file.replication.max=3
# User properties
alluxio.user.file.readtype.default=CACHE_PROMOTE
# Writes data only to Alluxio beforereturning a successful write
alluxio.user.file.writetype.default=MUST_CACHE

以上展示了初始的 alluxio-site.properties

我们注意到在处理大量小文件时,Alluxio的表现不如预期。我们启用了元数据缓存来调整性能:

alluxio.user.metadata.cache.enabled=true 
alluxio.user.metadata.cache.max.size=100000
alluxio.user.metadata.cache.expiration.time=10min

以上展示了alluxio-site.properties 设置以激活元数据缓存。

基准测试结果

在分别使用Alluxio和不使用Alluxio的情况下,运行四个独立基准来对性能进行基准测试:

测试1:运行我们的内部基准测试,该测试将玩家游戏中事件快照合成。数据集采用ORC格式,总大小为1GB,10GB和100GB。每个数据集都使用相同的DDL创建,包含49个cols,40个varchar,5个布尔值和4个映射。基准查询选择具有一个varchar字段过滤条件的所有列,这是典型的重度I / O负载查询用例。

结果:具有元数据缓存的Alluxio比S3快2到7倍。

测试2:使用游戏元数据和用户参与记录来模拟数据可视化。我们分别选择了Tableau和Dundas中经常使用的两个常用数据集和查询。查询选择所有具有日期过滤条件的列,接着是日期的GROUP BY和ORDER BY。这是一个典型的同时强调CPU和I / O的查询。在此测试中,我们不需要在Alluxio中启用元数据缓存,因为它已经显示出显著的改进。

结果:如果没有元数据缓存,使用Dunuxs数据集的Presto和Alluxio的速度比S3快2.75倍,而使用Tableau数据集的速度则快5.1倍。

测试3:使用包含大量小文件的数据集来模拟我们的仪表板用例。数据集是2MB大小的批文件,共50、500和5000个文件。使用的查询是一个选择查询,聚合每个日期的条目数。

结果:具有元数据缓存的Alluxio比S3快1.2到5.9倍。当没有元数据缓存,Alluxio的速度仅提高1倍至1.35倍。通过存储元数据,识别热数据并增加副本,启用元数据缓存可显著减少执行时间。

测试4:模拟会话机器人。使用的数据集是每日游戏性能的快照。该查询包含多个计算阶段,以模拟CPU密集型查询。它将整数字段转换为HyperLogLog,将其合并,然后选择基数。结果由整数和varchar字段过滤。

结果:没有元数据缓存的Alluxio将时间从85.2秒缩短到3秒,从而将性能提高了27倍。

结 论

这篇博客探索了一个以Presto作为计算引擎,并以Alluxio作为Presto和S3存储之间的数据编排层,以支持在线服务,并在游戏行业内提供即时响应的新平台。我们通过数据可视化,仪表板和对话式聊天机器人的实际工业界用例评估了该平台。我们的初步结果表明,在所有情况下,带有Alluxio的Presto均明显优于S3。特别是具有元数据缓存的Alluxio在处理大量小文件时显示出高达5.9倍的性能提升。Alluxio通过管理分配的临时磁盘来将数据从本地S3缓存到Presto,从而实现存储和计算的分离。先进的缓存管理,以及针对热数据和冷数据的不对称副本数量,能够在我们测试的每种情况下提高性能。

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战&#xff0c;可谓是杀敌无数&#xff0c;见怪不怪了&#xff01;在某知识社交平台中&#xff0c;一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读&#xff0c;可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表&#xff1a;零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时&#xff0c;为空表。 在比较复杂的线性表中&#xff0c;一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言&#xff0c;按照其应用领域&#xff0c;可以粗略地分成三类。 有的语言是多面手&#xff0c;在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类&#xff0c;比如说 C&#xff0c;Java&#xff0c; Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后&#xff0c;该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情&#xff0c;很多情况下&#xff0c;他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言&#xff0c;首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图&#xff1a; 上码&#xff1a; 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况&#xff0c;重点关注在中国市场扮演重要角色的全球及本土铪生产商&#xff0c;呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外&#xff0c;针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…