游堂成，基建研发副总经理；招商银行信息技术部研发中心
背景随着招商银行全面实施“金融科技银行”战略方针，基于移动互联网的高频接入场景将成为常态，客户交易量将以平均30%的速度增长。这些新交易主要来自主流互联网公司，如蚂蚁金服、腾讯、滴滴、摩拜单车等。并具有以下特点：
一是高并发，在特定时间段内峰值巨大、金额较小、频率较高，且存在抢购等业务场景(如“双11”)，因此系统需要支持短时间内高并发交易的冲击。二是实时要求高，业务处理的响应时间短，但是太长会影响客户体验。三是事务的强一致要求，尤其涉及资金业务，因此系统数据必须准确一致。为了更好地支持四是可用性要求极高，,的客户服务质量，系统需要支持724小时不间断服务。并且按监管部门的要求，对意外停机等时间有极其严格的要求。
银行的传统网上交易平台在支持这类交易时，一般采用纵向扩展的方案，即升级主机模式。这个方案的缺点在于以下几个方面。
一是成本高昂。每年都会投入巨额资金和人力对相关主机进行升级，以满足日益增长的交易需求。近年来，招商银行在二是性能上限。使用的服务器已经逐步升级到顶级型号，但在高峰到来时仍然很难使用。在三是资源浪费。,的非高峰期，主机资源会被浪费，计算资源不能被充分利用。目前四是系统封闭。大中型主机被IBM、HP等厂商垄断，缺乏竞争，一方面导致银行议价能力不足；另一方面，主机封闭的技术体系不利于技术人员的培养和补充。
鉴于传统银行交易平台的上述局限性，招商银行迫切需要开发一种新的分布式交易平台。
项目介绍2015年，招商银行启动分布式交易平台项目建设，采用分布式微服务部署架构，包含四个基础部分：高性能运行框架、平台管理的服务中心、覆盖全生命周期的设计开发管理中心、可视化监控中心。
1.高性能的运行框架。分布式交易平台提供了自主开发的高性能运行框架。通过优化通信访问、内存管理、数据库调用等技术，大大提高了单个数据库服务器和单个应用服务器的处理能力。采用分布式微服务的部署架构，可以横向扩展数据库服务器和应用服务器，通过集群可以线性提升整体处理能力(见图1)。
图1高效运行框架
通过优化通信参数和内存，运行框架实现统一的通讯接入层。为应用提供了高性能的通信接入，实现了每台机器2000TPS(每秒事务数)以上的事务处理能力；通信层还统一提供了各种报文格式的转换，覆盖了招商银行的大部分报文格式，如网联、银联、手机银行等，让开发者不必面对多系统对接带来的麻烦，可以更专注于业务功能的开发。
运行框架统一实现运行调度层。提供统一的内存管理，为每个请求分配独立的内存空间，并在请求处理完毕后有效回收，提高应用的处理性能；提供统一的事务管理，包括单数据库事务处理和TCC分布式事务处理，保证数据一致性；收集应用性能数据，如业务量、响应时间、成功率等非功能性指标，有效监控系统。
该平台提供了大量的基础服务，如加密处理服务、系统参数服务、短信通知服务、Kafka消息队列服务、并行计算服务等。开发者可以以服务的形式直接使用它们，而不需要
分布式交易平台充分考虑招行运营中心的实际情况，支持在各种系统平台部署，支持各种数据库，可以灵活匹配软硬件资源。不同的应用场景可以提供不同的套餐，提高性价比，降低开发运营成本。
应用程序可以根据可用性要求选择不同类型的数据库。比如Orcale可以用于高可用性要求的系统，MySQL可以用于低可用性要求的系统，以达到最佳的性价比。
应用程序也可以根据个人需求选择Nosql数据库。对于需要存储海量数据的系统，可以选择HBase，对于需要极高响应时间的系统，可以选择Redis内存数据库来提高性能。
分布式交易平台支持多种高可用的数据库部署架构，既有同城数据库热备、异地容灾的常规方案，也有数据库主动备用的异地部署架构。
2.平台化管理的服务中心。分布式交易平台的应用部署采用微服务的架构，将业务功能组件化、服务化，使用统一的服务中心管理所有服务(见图2)。提供统一的资源管理、服务注册，
服务发现、数据路由功能。
图2 分布式交易平台
服务中心统筹管理平台的所有应用服务器资源，根据每个服务的业务量需求分配相应数量的服务器资源，并可根据业务量的变化动态进行资源的调整。如面对“双11”场景时可临时增加服务器资源，“双11”过后释放过剩的服务器资源，实现资源的共享利用。
服务中心为服务之间调用提供服务注册、服务发现及数据路由功能。服务提供者应用在启动时，向服务中心注册自己提供的服务，并标识自己的活动状态。消费者在启动时，向服务中心订阅自己所需要的服务，服务中心返回服务提供者的地址列表及数据路由信息给消费者。当服务提供者出现变更时，比如增减了服务实例等，服务中心将实时推送变更信息至消费者。消费者根据得到的服务提供者地址列表及数据路由信息，基于负载均衡算法选择其中一台服务提供者为自己提供服务。实现了透明化路由，解耦了消费者与服务提供者；增强了服务伸缩能力，动态扩展服务后服务中心会自动将新增的服务器主动推送给客户端。
3.覆盖全生命周期的设计开发管理中心。分布式交易平台配套开发了覆盖软件过程全生命周期的设计开发管理中心。涵盖了设计管理、开发管理、编译构建、发布管理等功能。
在设计管理上，根据开发团队多年以来摸索出来的理念和经验，将设计流程与设计文档固化在平台中，一方面将设计工作标准化，同时又解决了文档难以持续更新的问题。大幅降低设计人员与开发人员之间的沟通成本，提高开发效率。
相较传统的设计文档孤立存放于文档服务器，设计开发管理中心将设计工作内嵌之后，后续的开发、编译、发布环节均基于设计内容，因此设计人员必须实时更新设计结果；同时，设计人员必须将设计内容细化到平台要求的粒度，消除原有设计文档空心化的现象。
在开发管理上，通过版本规划及任务分配，方便项目经理实时掌控项目进度，提升项目管理水平。传统的开发过程中，项目经理通过WBS了解开发进度，但实际存在WBS更新不及时导致项目经理无法了解当前进度。设计开发管理中心允许项目经理实时查询开发人员分配情况及程序开发完成进度，便于版本控制；另外，相对于原有的开发模式，目前平台自动化生成的标准代码占比有所提高。
在编译构建和发布管理上，管理中心与行内的Artifactory制品库、版本管理工具RTC、软件过程管理工具VP、Devops流水线等进行无缝对接，实现软件产品安装发布的自动化，提高发布效率，为大规模应用集群的部署提供了便利。
4.可视化的监控中心。微服务的设计思想使得一个业务功能被拆分成一组服务来实现，每个服务只完成一个简单的功能，一笔完整业务请求被拆分成多次服务调用，这给业务运行及系统运维带来了一定的复杂度。
分布式交易平台为每一笔业务请求分配全局统一的请求标识号，并在服务调用时进行传递，有效地将多次独立的服务调用串联成一笔完整的业务请求。通过对请求标识号的采集，可以实现交易链路跟踪，方便业务人员了解业务数据在系统间的流转，同时方便开发人员分析定位系统异常，大幅提高了系统管理水平。
分布式交易平台为业务应用统一提供了系统异常告警功能。监控中心利用大数据智能化的算法分析，及时发现系统的异常行为，如交易量的异常波动，错误率的突然提高，错误码的动态变化等，并通过短信和招乎向应用负责人员发送告警消息，方便运维人员及时发现系统异常，防患于未然。
分布式交易平台建立统一的监控中心。监控中心采集平台的性能数据及运行状态数据，实时通过图表等可视化的形式直观展示系统的运行情况。
监控中心的分析结果支持多种终端展示，包括电视、电脑、手机、PAD等，其中手机和PAD的监控展示集成在移事通办公平台中。方便运维人员及时查看系统运行情况，特别是运维人员不在行内时，可以通过手机快速了解系统运行情况。
监控中心实现了告警消息推送机制。监控中心通过分析系统的交易量、成功率及响应时间等数据，识别异常波动，自动通过短信、招乎等方式发送告警消息至相关产品负责人，及时发现系统异常，保障系统稳定运行。
图3 可视化的监控中心
结语招商银行分布式交易平台，是招商银行立足当前，着眼长远，从彻底解决主机性能问题，适应移动互联网时代高并发、高可用、可扩展的业务场景需求出发，自主研发，搭建起的一套全新交易平台。
该平台通过提供标准化的开发框架和组件，支持应用系统对数据库分库定义和路由规则设置，实现了数据分库分表、数据冗余和交易负载均衡；数据库采用“集群+分库+双活”架构，实现了站点内故障自动切换，两地秒级切换，日常维护不停机；通过热点消除、“写冲突”避免等一系列软硬件优化，实现了系统每秒处理15000笔交易时，平均响应时间低于10毫秒；通过对业务数据进行分片，降低了数据库分库间的耦合，让线性提升性能更快实现。
该平台的成功实施，为招商银行未来进一步稳步发展打下了坚实的基础。
