滚动新闻
当前位置: > >文章详情

第十二届BigData NoSQL Meetup落幕:快手用户特征数据每天数百亿,怎么做到秒级分析?

吉祥棋牌 2019-07-02 15:56:43      来源:钉科技     

近日,第十二届BigData NoSQL Meetup在快手总部圆满落幕。来自快手、阿里云、京东、滴滴、贝壳找房的技术专家与近300位开发者齐聚一堂,交流分享NoSQL等大数据技术的应用与实践。

QQ截图20190702151549.png

本次活动由快手技术沙龙、云栖社区等技术社区共同举办。快手技术沙龙是由快手举办的线下技术交流活动,每期活动将以AI、大数据、音视频技术等技术方向为主题,邀请产业、学界的专家、技术人员进行分享,打造前沿技术的交流平台。

QQ截图20190702151631.png

快手大数据高级研发工程师陈杨

吉祥棋牌本次活动上,快手大数据高级研发工程师陈杨首先分享了《HBase在千亿级用户特征数据分析中的应用与实践》。陈杨介绍,快手每天产生数百亿用户特征数据,分析师需要在跨30-90天的数千亿特征数据中,任意选择多维度组合秒级分析用户行为。针对这一需求, 快手基于HBase自主研发了支持bitmap转化、存储、索引、快速计算的分析服务——BitBase,并成功应用于留存分析、用户增长、广告营销、ABTest 等多个业务场景。

QQ截图20190702155224.png

阿里云数据库专家吴阳平

阿里云数据库专家吴阳平的演讲主题为《阿里云HBase x-pack数据存储检索分析平台》,演讲分享了阿里云HBase x-pack 的平台能力——基于 Apache HBase、Phoenix、Spark 深度扩展,融合 Solr 等技术,支持海量数据的一站式存储、检索与分析,被广泛应用于风控、推荐、检索、画像、 社交、物联网、离线数仓等场景,助力企业数据智能化。

QQ截图20190702155301.png

吉祥棋牌京东大数据技术专家吴怡燃

吉祥棋牌京东大数据专家吴怡燃分享了《NoSQL在京东的使用》。演讲首先介绍了NoSQL在京东的使用场景;讲解了HBase支撑在线系统时遇到的挑战与改进,如支持异构配置的RSGroup、RPC优化RWS队列、跨集群双活集群等;并分享了HDFS参数优化、Zookeeper配置优化、HBase参数优化等经验。

QQ截图20190702155333.png

滴滴大数据工程师初晓

滴滴大数据工程师初晓分享了《基于HBase的NewSQL落地实践》,主要分享了HBase及其生态组件Phoenix、Kylin 在滴滴的使用场景及落地中遇到的问题及解决方法。

QQ截图20190702155420.png

贝壳大数据架构团队负责人赵国贤

贝壳大数据架构团队负责人赵国贤分享了《流式数据的平台化实践与挑战》,介绍了贝壳流式数据从产生、处理、应用整个生命周期的管理与平台化实践。包括流式数据的挑战、流式数据的平台化建设以及流式数据的应用案例。

一直以来,快手十分重视、关注NoSQL等大数据技术的发展。本次快手技术沙龙与云栖社区联合举办BigData NoSQL Meetup活动,正是希望能够进一步推动相关技术的沟通与交流,看到更多经验分享、更多对技术挑战的突破。

吉祥棋牌钉科技(微信号:dingkeji2015),专注TMT领域创新研究报道,第一批今日头条“百群计划”签约媒体和入驻头条号创作空间的科技新媒体,荣获腾讯2015年度最佳新锐自媒体,2016年腾讯企鹅号年度新媒体,2017年UC量子计划获奖新媒体,被中国科技信息评为“影响中国科技行业自媒体50人”,是2015-2016连续两年工信部手机与应用创新大赛专家评审媒体。商务合作请发邮件:BD@dle-sports.com

吉祥棋牌 声明:本站原创文章文字版权归钉科技所有,转载务必注明作者和出处;本站转载的文章仅出于传递更多信息的目的,仅代表原作者观点,不代表钉科技立场,图文版权归原作者所有,如有侵权问题,请联系我们删除,邮箱:BD@dle-sports.com


钉科技技微信公众号二维码

关于我们

微信扫一扫,加关注

商务合作

  • 010-62592560
  • 61149512