系统架构设计Word文档下载推荐.docx

1、Webpack , Gulp基础组件库定义JSCSSResourceHtml5组样件式*.js，*.vue*.sass，*.cssFont，Img基础样式库微服务架构结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务服务监控基础服务框架spring boot业务代码分布式RPC服务框架dubbo服务注册中心zookeeper服务发布容器docker持续集成工具服务治理jenkins动静分离 - CDN 静态资源访问加速静态资源文件（html，css，js，img等） 静态数据返回 业务静态图片用户 用户动态动态数据用户静态请求数据结果返回数据请求回源请求抓

2、取数据静态脚本附件Web程序数据库内网访问，图片视频音频数据更新维护ECS（服务器）OSS（云存储服务） 智能压缩对静态资源进行压缩，减少传输大小，加速分发效果 可视化监控可通过视化监控管理，查看监控日志和统计分析制定合适的缓存策略，并可通过从源站刷新缓存等手段主动维护高访问资源的缓存负载均衡 + 弹性扩展 流量调度多台云服务器自动进行流量分发，获得更高水平的容错性能 扩展性支持云服务器动态扩展，实现无缝伸缩，伸缩过程不用更换任何设备，对相关调用和访问者零影响 安全四层DDoS攻击防护，支持应用防火墙和CC防护，提供防护统计页面，实时抵御网络攻击云服务器ECS负载均衡消息系统消息队列采用阿里云

3、MQ消息发送/发布方消息接收/订阅方TCPUDP HTTP SOAP 消息接收器消息发送器流入路由器流出路由器拦截器消息内部服务转换器组件调用组件容器推荐引擎基于阿里云的RecEng（推荐引擎）和MaxCompute（大数据计算服务）搭建金豆云推荐引擎，实现千人千面基本推荐流程客户接入数据特征提取计算用户/物品评分用户/物品的原始特征评分矩阵关系计算相关性计算+邻近计算推荐建模流程客户效果数推荐请求API据OTS物品实模型样本时修正表推荐处理线OTS离线计程算结果表基于业务目标OTS用户实的监督学习离线计算 在线计算用户认证 SSO + OAuth2内部系统内部系统采单点登陆方式进行管理外部系

4、统外部系统连接主要分为2种方式：1.通过ROP平台实现数据交互2.金豆云提供OAuth2认证机制给第三方，实现页面与数据的交互Request User UrlRequest Access UrlRequest Info Url通过token、openId及API分析平台JSONEcharts | CuBIREST API报表Spring，SpringMVC，JMS，Sqoop事件监听定时任务数据导入SparkAPI接口数据分析数据融合MQ消息队列HBaseHadoop HDFS分析平台基于业务数据进行数据映射与融合整体架构基于大数据分析框架设计，并通过模块化设计进行内部解耦，将数据收集，导入及

5、分析功能围绕分析模型系统处理业务数据收集工作通过异步消息及定时导入方式实现底层技术实现前端主要提供REST API供产品平台进行数据获取。同时采用Echarts或CuBI进行报表展现中台服务逻辑层使用Spring，SpringMVC作为应用构建及对外接口发布，配合MQ队列机制处理异步消息。Spark作为核心数据处理引擎，进行MapReduce处理持久层主要采用HBase进行大数据存储，同时使用Hadoop HDFS支持分布式存储设计原则 统一数据视图保证数据的及时性、一致 性、准确性、完整性 数据应用分离应用系统只依赖逻辑数据库应用系统不直接访问其它宿 主的数据库，只能通过服务 访问 数据读写

6、分离访问量大的数据库做读写分离数据量大的数据库做分库分表不同业务域数据库做分区隔离重要数据配置备库； 合理使用缓存?产品平台数据库设计方案采用二级缓存机制 一级缓存使用Redis副本集，对频繁访问数据进行缓存。同时围绕Redis单线程机制，针对大量并发场景设计了同一用户的并发锁策略。 二级缓存使用MongoDB副本集，对结构化数据及频繁更新数据进行文档化数据存储业务数据库使用MySQL集群方案分析平台基于大数据架构设计方案，数据库使用区域HBase部署策略，同时采用Hadoop HDFS进行分布式文件存储技术架构 运营监控流量控制应用：集群，无状态，提高访问量数据：读写分离，提高性能按业务域划

7、分成不同子系统数据分区1. 分流不同业务类型分片分库分表，提高数据容量分层，功能与非功能分开冷热数据分离无法缓解大流量1.动态页面降级到静态2.整体降级到其他页面3.页面部分内容舍弃一些非关键业务，2. 降级如购物车库存状态3. 限流降级一些下游系统，无法缓解如一次拆分暂停大流量远程服务降机到本地缓存SLA数据持久性数据可销毁性不低于99.9999999%数据无法恢复数据可迁移性数据私密性迁入迁出网络层访问控制技术实现对不同用户资源的隔离服务可用性数据知情权不低于99.95%对于数据、备份数据所在数据中心地理位置、数据备份数量具有知情权故障恢复能力服务资源调配能力724小时的运行维护用户可在1

8、0分钟内启用或释放100台云服务器，或在5分钟内完成停机升级CPU和内存，并支网络接入性能持在线实时升级公网带宽多线接入，0Mbps200Mbps技术架构 治理灰度发布老系统老系统DB部分请求到旧系统上，另一部分请求到了新的灰度系统上走到Client转发旧系统的请求，还是照原样处理走到了新版灰度系统的请求，需要同时将请求转发给旧系统上来对应的接口上修改旧系统的数据如果走到新系统的请求查不到该用户的数据，还需要首先同步一份来新系统上新系统新系统DB请求首先走到了新版本需要灰度的服务上，在经过该服务处理后，给请求打上了tag，由于带上了tag，后续访问的都是配套灰度的A服务新版A服务服务 技术架构 安全安全策略 Https接入数据传输入过来加密，防止传输过程中数据被篡改、安全级别更高 黑白名单设置黑名单，使用haproxy、nginx过滤恶意请求OAuth2认证使用Spring-security-oauth2实现与第三方系统认证授权 安全巡警购买阿里安骑士、Web应用防火墙，防止恶意CC攻击，避免网站挂马篡改 IP限制设置数据库访问IP列表，保障核心数据不受到侵犯 Hystrix熔断通过Hystrix防护和控制系统依赖，防止故障连锁，以完成对应用的熔断、降级等策略