系统架构设计.docx

1、系统架构设计技术架构技术架构总览业务框架接入层前后台分离接口层业务链订单服务层产品资源供应商数据层 数据存储技术方案 运营监控 治理 安全防范动静分离 预处理 业务量监控 流量切换 Https 接入服务网关，路由分发黑白名单微服务 / 组件 MQ API SLA 灰度Oauth 认证异步 / 离线MapReduce日志收集隔离 / 降级Hystrix 熔断SSO AI调用栈安全巡检DB 水平扩充 /HDFS服务器状况身份认证读写分离动态规划分布式缓存NoSQL网络状况IP 限制技术方案前台技术架构根据用户设备及浏览器尺寸路由PC PAD页面自适应、最小宽度 页面自适应element-ui +

2、vuejs + Echarts vuejs + muijs金豆云 CMS 配置 编译 发布自自系统构建： Webpack , Gulp定定JSCSSResourceHtml5义义组样件式*.js，*.vue*.sass，*.cssFont ，ImgFont ，ImgMobile 其它智能设备页面自适应vuejs + muijs基础组件库基础样式库技术方案微服务架构结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务第一步：服务化 第二步：微服务服务注册中心 zookeeperLoad Balancer服务提供者服务提供者服务提供者WebServerWebSe

3、rver业务代码业务代码业务代码异构服务提供者服务提供者服务提供者语言Proxy业务代码业务代码业务代码集群用户订单商品服务服务服务提供者服务提供者服务提供者服务业务代码业务代码业务代码服务治理服务监控报警实时数据监控暂停恢复下线基础服务框架spring boot分布式 RPC 服务框架dubbo服务注册中心zookeeper服务发布容器docker持续集成工具jenkins用户 订单 商品 DB DB DB DB服务依赖调用链路服务流量性能瓶颈SLA 分析历史信息关系分析追踪控制分析统计技术方案动静分离 - CDN静态资源访问加速静态数据返回用户 静态资源文件（ html ， css， js

4、 ，img 等）业务静态图片ECS（服务器） OSS（云存储用户动态动态数据用户静态请求数据结果返回数据请求回源请求抓取数据Web 程序 数据库内网访问，数据更新维护静态脚本 附件图片 视频 音频智能压缩对静态资源进行压缩，减少传输大小，加速分发效果可视化监控可通过视化监控管理，查看监控日志和统计分析制定合适的缓存策略，并可通过从源站刷新缓存等手段主动维护高访问资源的缓存技术方案负载均衡 + 弹性扩展流量调度多台云服务器自动进行流量分发，获得更高水平的容错性能扩展性支 持 云 服 务 器 动 态 扩展 ，实 现 无 缝 伸缩，伸缩过程不用更换任何设备，对相关调用和访问者零影响四层 DDoS 攻

5、击防护，支持应用防火墙和 CC 防护，提供防护统计页面，实时抵御网络攻击安全ECS前期方案云负载均衡云服务器 ECS云服务器 ECS服务器ECS负载均衡云服务器 ECS后期根据业务扩展增强负载均衡 云服务器 ECS 云服务器技术方案消息系统消息队列采用阿里云 MQ消息发送 / 发布方 消息接收 / 订阅方TCP UDP HTTP SOAP 消息接收器 消息发送器消息持久消息状态流入路由器流出路由器元数据消息内部服务拦截器拦截器事务管理转换器组件调用组件容器故障恢复技术方案推荐引擎基于阿里云的 RecEng （推荐引擎）和 MaxCompute基本推荐流程客户接入数据计算用户 /特征提取 相关性

6、计算 +物品评分邻近计算用户 / 物品 用户/ 物品的原始特征 评分矩阵用户 / 物品用户/ 物品用户的候选推荐集 / 物品相关系计算的耦合特征似物品集OTS 离线计（大数据计算服务）搭建金豆云推荐引擎，实现千人千面推荐建模流程推荐请求客户效果数API据OTS 物品实模型样本时修正表推荐处理线程基于业务目标OTS 用户实的监督学习时修正表针对业务目标的 API 返回Ranking ModelOTS 离线计算结果表算结果表离线计算 在线计算技术方案用户认证 SSO + OAuth2内部系统内部系统采单点登陆方式进行管理供应系统资源系统人脉系统微店系统金豆云认证系统用户信息外部系统外部系统连接主要

7、分为 2 种方式：1. 通过 ROP 平台实现数据交互2. 金豆云提供 OAuth2 认证机制给第三方，实现页面与数据的交互RequestUserUrl跳转用户授权请求 Access Token生成AccessToken请求用户OpenID生成 AuthCodefo Url生成 OpenID获取用户资源通过 token 、openId 及 APIRequestRequestIAccessnUrl技术方案分析平台HBase Hadoop HDFSJSONEcharts | CuBIREST API报表Spring ，SpringMVC ， JMS， Sqoop事件监听 定时任务 数据导入Spar

8、kAPI 接口 数据分析 数据融合MQ 消息队列Hadoop HDFS 支持分布式存储? 分析平台基于业务数据进行数据映射与融合? 整体架构基于大数据分析框架设计，并通过模块化设计进行内部解耦，将数据收集，导入及分析功能围绕分析模型系统处理? 业务数据收集工作通过异步消息及定时导入方式实现? 底层技术实现? 前端主要提供 REST API 供产品平台进行数据获取。同时采用 Echarts 或 CuBI 进行报表展现? 中台服务逻辑层使用 Spring ， SpringMVC 作为应用构建及对外接口发布，配合 MQ 队列机制处理异步消息。Spark 作为核心数据处理引擎，进行 MapReduce

9、 处理? 持久层主要采用 HBase 进行大数据存储，同时使用技术方案数据库设计原则1 统一数据视图保证数据的及时性、一致 性、准确性、完整性2 数据应用分离应用系统只依赖逻辑数据库应用系统不直接访问其它宿 主的数据库，只能通过服务 访问3 数据读写分离访问量大的数据库做读写分离数据量大的数据库做分库分表不同业务域数据库做分区隔离重要数据配置备库；4 合理使用缓存MongoMongo业务DBDBHBase业务MasterSlave数据库数据库(Master)(Slave)Hadoop HDFS报表数据RedisRedisDocDocDoc库MasterSlave? 产品平台数据库设计方案采用二

10、级缓存机制? 一级缓存使用 Redis 副本集，对频繁访问数据进行缓存。同时围绕 Redis 单线程机制，针对大量并发场景设计了同一用户的并发锁策略。? 二级缓存使用 MongoDB 副本集，对结构化数据及频繁更新数据进行文档化数据存储? 业务数据库使用 MySQL 集群方案? 分析平台基于大数据架构设计方案，数据库使用区域HBase 部署策略，同时采用 Hadoop HDFS 进行分布式文件存储技术架构 运营监控流量控制1. 分流无法缓解大流量页面降级业务功能降级2. 降级应用系统降级应用：集群，无状态，提高访问量水平 扩展数据：读写分离，提高性能应用：按业务域划分成不同子系统业务分区数据：

11、数据分区应用：不同业务类型分片分片数据：分库分表，提高数据容量应用：分层，功能与非功能分开动静分离数据：冷热数据分离1. 动态页面降级到静态2. 整体降级到其他页面3. 页面部分内容舍弃一些非关键业务，如购物车库存状态降级一些下游系统， 3. 限流无法缓解如一次拆分暂停 大流量Nginx 前端限制应用系统限流客户端限流服务端限流数据降级远程服务降机到本数据库限流地缓存技术架构 运营监控SLA数据持久性不低于 99.9999999%数据可迁移性迁入迁出服务可用性不低于 99.95%故障恢复能力724 小时的运行维护数据可销毁性数据无法恢复数据私密性网络层访问控制技术实现对不同用户资源的隔离数据知

12、情权对于数据、备份数据所在数据中心地理位置、数据备份数量具有知情权服务资源调配能力用户可在 10 分钟内启用或释放 100 台云服务器，或在 5 分钟内完成停机升级 CPU 和内存，并支网络接入性多线接入， 0M服务提供方SLA服务消费方技术架构 治理灰度发布老系统 老系统 DBClient 转发新系统 新系统 DBClient部分请求到旧系统上，另一部分请求到了新的灰度系统上走到旧系统的请求，还是照原样处理走到了新版灰度系统的请求，需要同时将请求转发给旧系统上来对应的接口上修改旧系统的数据如果走到新系统的请求查不到该用户的数据，还需要首先同步一份来新系统上请求首先走到了新版本需要灰度的服务上

13、，在经过该服务处理后，给请求打上了 tag，由于带上了 tag ，后续访问的都是配套灰度的A 服务服务新版 A 服务Tag AB 服务 B 服务Tag AC 服务 新版 C 服务技术架构 安全安全策略2 黑白名单设置黑名单，使用1 Httpshaproxy 、nginx过接入滤恶意请求3 OAuth2 认证数据传输入过来加密，使用 Spring-security-防止传输过程中数据被oauth2篡改、安全级别更高实现与第三方系统认证授权安全策略防止恶意 CC 攻6安全巡警击，避免网站挂马篡改购买阿里安骑士、Web 应用防火墙，5 IP 限制设置数据库访问 IP 列表，保障核心数据不受到侵犯4 Hystrix 熔断通过 Hystrix 防护和控制系统依赖，防止故障连锁，以完 成 对 应 用 的 熔断、降级等策略