本篇文章给大家谈谈美友：最懂女性App背后的混合云架构和大数据服务，以及对应的知识点，文章可能有点长，但是希望大家可以阅读完，增长自己的知识，最重要的是希望对各位有所帮助，可以解决了您的问题，不要忘了收藏本站喔。

图2 服务分布

云上设施和云下设施的分工不同。由于原来的架构是建立在托管机房的，现在App主界面、社区、广告系统、用户中心、游币中心以及包括App、社区在内的运营后台都部署在托管机房；同时，搜索、推送、实时监控、反垃圾邮件等初步建立的基础服务也部署在托管机房。另外，托管机房也有一些Spark、Hadoop等大数据处理平台，但集群规模相对较小。

美友整个官网都部署在阿里云上。同时，美友的电商油子街也是建立在阿里云上的，包括整个电商平台、运营后台、招商系统。此外，还构建了基于阿里云的BI系统。最后，为了缓解自建大数据集群规模较小的问题，积极利用阿里云大数据平台对数据进行分析、处理和计算。

混合云之间的数据交互

图3 混合云之间的数据交互

上图为托管机房与阿里云之间的数据流向。可以看到，每天都有一些数据，包括业务日志、数据库的增量数据，从托管机房流向阿里云。数据流到阿里云的ODPS后，在ODPS内部进行一些数据计算和算法模型训练。然后将计算结果导入ADS和RDS。导入的ADS支持BI系统，ADS可以查询多值列并实时毫秒级响应，有利于生成BI报表。另一部分数据存储在RDS中，不仅降低了存储成本，还提高了数据安全性。部分数据经过阿里云计算处理后，需要流回托管机房的数据库和数据仓库。回流的目的是因为还有一些重要的服务仍然部署在托管机房，并且可以很好地从机房调用它们。以缩短通话延迟。每天从自建机房流向阿里云的数据量是相当大的。对于用户数据等一些重要数据，在自建机房和阿里云上进行双活。首先将业务数据库同步到自建机房的HBase集群中。在阿里云上进行备份，然后在阿里云上进行备份。数据每隔一小时同步一次，确保重要数据的安全。

从机房到阿里云采用逐类更新的方式，准实时数据仍然在托管机房处理；一些对大数据计算和实时性要求不是很高的数据会流向阿里云，借助阿里云的超强计算能力和超大集群规模进行计算和处理，并更新这些数据T+1日。

API实时监控

图4 API实时监控

随着美友的不断发展，系统逐渐受到一些恶意攻击，包括恶意爬取、DDoS攻击等，因此实时API监控必不可少。目前阿里云盾DDoS高防IP可以有效抵御部分网络攻击，并可以进行流量清洗和分析。在此基础上，美友还自主开发了API实时监控系统。监控系统的数据来源于托管机房的实时处理和计算平台。通过监控系统，可以实时观察各接口的服务器响应时间、处理数量、调用分布情况。全链路服务质量实时监控，保障极致的用户体验。同时，作为移动互联网公司，美友将API实时监控从传统的服务部署转向移动端，在移动端Android/IOS上进行业务实时监控和预警，以便开发和运维可以随时随地监控实时业务。有了完整的知识，你就能立即找到问题所在。

大数据智能挖掘

图5 大数据助力社区电商生态

上图是美友大数据智能挖掘的总体框架。作为一家社区电商综合公司，美友利用大数据挖掘打通整个生态系统。以用户为中心，通过对用户的深入分析，形成用户画像，深度了解用户需求，对社区进行个性化改造，使其更有温度、更有粘性。同时，基于对用户的了解，社交电商可以进行精准推荐，深入了解用户需求。基于对女性用户的了解，将用户划分为多个维度。品牌和广告商可以通过精准投放广告获得更高的利润。

美友使用两个系统来存储用户数据。在阿里云上，用户数据主要存储在ADS中，用户特征存储在ADS的多值列中。在自建机房中，使用Kylin中的Cube来存储用户数据。基本尺寸特征，方便快速查询。

多维度用户数据

美友BI系统显示，其用户遍布全国，包括港澳台地区。用户年龄层从70后到00后，其中以95后为主。用户身份包括少女、备孕、孕妇、辣妈，形成了完整的女性生态系统。

图6 多维用户数据

美友基于女性生态系统，形成了大量多维度的女性相关数据。用户的经期、体重、体温、怀孕日志记录数据，加上用户在社区中的浏览、发帖、回复等数据，结合用户的婚姻、年龄、星座、手机设备等基本信息，等等，而一些社交媒体上捕获的重叠数据补充了一个用户的所有数据。基于以上完整数据，我们形成用户画像，深入洞察并服务女性，成为最懂女性的APP。

图7 用户记录分析

上图是具体的用户记录分析。最左边是用户的良好习惯。通过用户在App上记录的好习惯，建立任务系统，鼓励用户继续保持好习惯。中间的图表记录了女性不舒服的状态。其上有很多选项，用户也可以自定义。明确自身情况，通过追踪图表分析女性健康状况；右边的图表显示了一些私人信息，可以对其进行个性化以满足不同的需求。目前，美友月活跃用户中有84.8%有使用记录。通过数据分析，可以帮助妈妈们科学备孕，呵护女性健康。

图8 多维用户标签

通过对生态系统中女性的分析，我们制定了多维度的用户标签。基本属性标签包括女性年龄、婚姻、身份、生肖等。行业标签基于用户行为分析并辅以第三方数据形成；兴趣标签可以帮助了解社区和电商平台中的用户行为记录。目前，美友共有200多种用户标签，通过这些标签可以形成非常丰富的用户画像。

大数据应用

图9 产品图

上图是一张大数据产品图，其中包含了美友利用大数据衍生出来的产品。其中，已经上线的BI系统是通过大数据分析形成的报表类型，可以加深对系统的理解，辅助下一步的业务决策；另一种是反垃圾算法，利用大数据算法智能识别一些垃圾广告。处理。还有实时业务监控、首页推荐、个性化推送、个性化搜索等功能。同时，情感分析、舆情监测、相关推荐、SSP、DMP、Ad Exchange等功能仍在开发中。

图10 反垃圾邮件算法

这张图展示了美友利用大数据的反垃圾邮件算法的整体框架，主要由两部分组成。虚线上方是反垃圾邮件算法的训练过程。它最初基于NLP自然语言处理。首先，对文本数据（垃圾邮件帖子和正常帖子）进行分段。这些细分需要定期更新，然后进行帖子的特征处理和选择。将提取的特征送入分类器模型进行训练，其中分类器包括贝叶斯分类、逻辑回归分类等，通过训练输出分类模型的结果。这些培训最初是在我们自己的机房进行的。后来随着数据量的增加，部分模型训练迁移到了阿里云。

虚线下方是机房实时计算的处理流程。用户发帖并回复后，会被写入Kafka消息队列。首先，过滤白名单用户。然后根据分类模型的训练效果对文本进行识别和分类。区分垃圾邮件帖子和非垃圾邮件帖子；另一种方式是使用Simhash算法计算文本的相似度，对相似的帖子进行统计。最后，通过总结这些策略，生成了整个反垃圾邮件算法。近期，美友对这一算法进行了进一步迭代，分析用户的昵称、发帖时间间隔、发帖行为，以更好地防范垃圾帖子。

通过阿里云提供的丰富的开发包和算法库，美友从想法到产品的时间大大缩短。

QA环节：

1. 美友目前采用的是混合云架构。未来是否可以将整个架构迁移到阿里云上？

答：美友采用混合云的原因之一是因为公司在2013年已经发展起来，自有机房已经达到了一定的规模。由于阿里云的高性能、高计算能力，所以采用了混合云架构。短期内仍将维持混合云架构。一方面，我们希望技术团队不断发展大数据计算能力。另一方面，是否全面迁移到阿里云将根据未来业务发展情况来决定。

2、美友上的帖子可能有上亿的浏览量。美友App如何应对如此大的浏览量？

答：我们做了很多工作来改善移动体验。移动终端对延迟非常敏感。首先我们在客户端做了很多优化，在缓存和页面加载方面追求极致。其次，我们基于阿里巴巴的手机淘宝构建了HTTP。 DNS可以防止运营商劫持，还可以缩短DNS解析时间。服务器端做了很多优化，分离数据层并使用高效的缓存。

3、美友有多少专职运维人员？

答：美友目前只有3名专职运维人员。借助目前的混合云架构以及阿里云的运维监控、运维报警等机制，运维人员可以在自建机房和云端轻松进行运维。

4、美友目前的美友女助理、优宝宝怀孕等五款APP架构有何区别？

答：最初开发的几个App的界面都是放在自建机房的。去年新推出的电商App完全构建在阿里云上。

5、美友如何应对高并发场景？

答：以社区为例，每天的帖子回复量非常大，每晚9点到11点存在访问高峰时间。为了应对高并发场景，在服务器端进行了很多分层、模块化的设计，比如数据层和业务层分离；在开发语言的选择上，社区使用轻量级语言PHP来做一些业务级的工作。执行；复杂的、异步的、相对延迟的处理是用Java和C++实现的。

6. Node.js在美友的使用场景有哪些？

答：Node.js 使用得相对较少。主要用于前后端分离。去年年底才开始使用，目前还处于试用阶段。

黄一聪美友技术总监