京东店铺数据平台,京东店铺数据采集

  

  [TechWeb]为了支持金融机构的“新基础设施”,JD.COM数字技术集团去年推出了金融数字化转型解决方案T1。据悉,目前T1的智能大数据平台产品已与多家金融机构签约,帮助金融机构构建大数据分析和应用能力。   

  

  据官方介绍,T1智能大数据平台是为了形成一个相对标准化的数据资产,便于存储和调用。然后通过可定制的算法模型,在前端业务中“灵活运用”数据资产。目前,T1智能大数据平台可以提供包括基础数据平台、数据采集处理、数据仓库建设、数据资产运营、场景应用等全流程的解决方案。实现从技术到业务应用的整体输出。   

  

  在基础数据平台方面,T1智能大数据平台涵盖数据复制平台、离线计算平台、实时计算平台、图形计算平台、机器学习平台等多项产品。并支持各类数据的实时采集和分析、基础运维等。   

  

  其中,数据复制平台支持多种关系型和非关系型数据库的实时复制,可以通过订阅和分发的方式将数据交付给多个目标终端,作为流计算和实时数据仓库的精确数据源。实时计算平台依靠Apache Flink技术来构建高效的实时计算引擎。该平台通过优化计算引擎内核代码,支持PB级海量流数据的毫秒级计算处理延迟,单线程最高35万次/秒的数据处理能力。图形计算平台已经在数百亿顶点、数千亿边的大规模图形实践中证明了其高并发、低延迟的能力。同时具备大数据量可视化能力,支持20000个顶点和边的可视化。   

  

  在数据资产管理方面,T1智能大数据平台可以实现数据标准维护、数据建模和模型管理、数据质量控制、元数据采集和关系分析等。帮助金融机构全面清查数据资产,形成数据图谱,监控数据质量,确保数据全生命周期的数据安全。   

  

  在数据应用服务方面,T1智能大数据平台可以提供画像系统、报表平台、数据接口平台等产品,支持数据资产的多维应用。其中,数据接口平台通过可视化自助拖拽功能,将处理后的数据快速封装成接口,同时支持多个接口串联或并联的决策流程,大大提高了接口开发效率。原本定制界面开发需要一天多的时间,缩短到几分钟的配置操作。   

  

  T1智能大数据平台架构图   

  

  据悉,T1智能大数据平台的技术能力在京东数字分公司内部经历了多次业务场景和618强实战测试,可支撑200PB数据存储、日均10万任务、5000多个集群的海量数据处理压力。系统用户标签有几十亿个实体,几千个标签,近万亿次调用,峰值可以达到每分钟2000多万次。   

  

  这篇文章源于TechWeb.com.cn。   

相关文章