數(shù)字經(jīng)濟(jì)的全面發(fā)展，使銀行迎來(lái)了前所未有的線上業(yè)務(wù)流量，這些流量一方面為疫情下的銀行業(yè)務(wù)發(fā)展帶來(lái)了動(dòng)力，另一方面也對(duì)于銀行IT基礎(chǔ)架構(gòu)帶來(lái)了沖擊。疫情更是讓銀行業(yè)務(wù)從常態(tài)、穩(wěn)態(tài)的運(yùn)行環(huán)境，切換到了更多敏態(tài)的環(huán)境中。銀行要全方位保障支付的流暢度和安全性，就要利用云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)，來(lái)實(shí)現(xiàn)銀行產(chǎn)品和服務(wù)的線上化、移動(dòng)化。
當(dāng)今，多家銀行機(jī)構(gòu)已經(jīng)將金融科技上升到了戰(zhàn)略層面，通過(guò)組織架構(gòu)調(diào)整、建設(shè)數(shù)字化技術(shù)平臺(tái)等手段，來(lái)實(shí)現(xiàn)更加明確、清晰的數(shù)字化轉(zhuǎn)型目標(biāo)。權(quán)威數(shù)據(jù)顯示，全球最具價(jià)值的前100家銀行中，70%以上已通過(guò)建設(shè)開(kāi)放銀行平臺(tái)等模式投入場(chǎng)景生態(tài)建設(shè)浪潮。加快線上的，尤其是移動(dòng)端的 “非接觸式”銀行業(yè)務(wù)，是各銀行的首要任務(wù)。
為了適配“非接觸式”銀行業(yè)務(wù)，解決對(duì)于敏態(tài)業(yè)務(wù)發(fā)展過(guò)程中業(yè)務(wù)形態(tài)、業(yè)務(wù)量的不可預(yù)知，在“2021騰訊數(shù)字生態(tài)大會(huì)上”上，騰訊云發(fā)布了TDSQL 新敏態(tài)引擎。
騰訊云TDSQL全自研新敏態(tài)引擎是什么？
騰訊云TDSQL全自研新敏態(tài)引擎支持無(wú)限擴(kuò)展、模式在線變更，可以完美解決對(duì)于敏態(tài)業(yè)務(wù)發(fā)展過(guò)程中業(yè)務(wù)形態(tài)、業(yè)務(wù)量的不可預(yù)知性，適配金融敏態(tài)業(yè)務(wù)。
為什么需要做敏態(tài)存儲(chǔ)引擎？
銀行的敏態(tài)業(yè)務(wù)對(duì)底層基礎(chǔ)技術(shù)提出了具備敏態(tài)能力的要求。場(chǎng)景化、線上化意味著業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)形態(tài)、訪問(wèn)模式、計(jì)算邏輯等也將隨之變得更加敏捷、多樣化，對(duì)底層技術(shù)系統(tǒng)在靈活性與擴(kuò)展性方面提出了全新的要求。敏態(tài)模式下業(yè)務(wù)形態(tài)不斷變化，后臺(tái)支撐應(yīng)用的數(shù)據(jù)庫(kù)表結(jié)構(gòu)也需要持續(xù)變更，這對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)而言是非常龐大、繁重的工作。
騰訊云TDSQL全自研新敏態(tài)引擎如何支撐銀行敏態(tài)業(yè)務(wù)？
1、支持?jǐn)?shù)據(jù)庫(kù)表結(jié)構(gòu)持續(xù)變化，輕松支撐千萬(wàn)級(jí)QPS流量
騰訊云TDSQL新敏態(tài)引擎實(shí)現(xiàn)了大量的Instant DDL，對(duì)于add column、修改varchar長(zhǎng)度等常用DDL都通過(guò)只修改元數(shù)據(jù)來(lái)瞬間完成，不影響用戶請(qǐng)求。對(duì)于add index，change column，變更分區(qū)表等其他需要生成數(shù)據(jù)的DDL，也不會(huì)影響在線業(yè)務(wù)的讀寫請(qǐng)求，最大程度上保證schema的變更對(duì)業(yè)務(wù)無(wú)感知。在騰訊內(nèi)部業(yè)務(wù)實(shí)踐中，TDSQL新敏態(tài)引擎支撐業(yè)務(wù)在保持高性能且連續(xù)服務(wù)的基礎(chǔ)上，一個(gè)月內(nèi)完成了高達(dá)1000次表結(jié)構(gòu)在線變更。
2、計(jì)算存儲(chǔ)分離，并可獨(dú)立擴(kuò)展，滿足分布式事務(wù)的高并發(fā)、高性能、高擴(kuò)展
TDSQL新敏態(tài)引擎計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)完全解耦，這使得用戶可以根據(jù)業(yè)務(wù)進(jìn)行不同層次的擴(kuò)展：如果業(yè)務(wù)存儲(chǔ)量大，但是請(qǐng)求量并不大，就可以只擴(kuò)容存儲(chǔ)節(jié)點(diǎn)；如果業(yè)務(wù)請(qǐng)求量很大且偏分析性，則可以只擴(kuò)容計(jì)算節(jié)點(diǎn)。
TDSQL新敏態(tài)引擎通過(guò)將分布式事務(wù)的協(xié)調(diào)者下沉到存儲(chǔ)層，實(shí)現(xiàn)了計(jì)算層節(jié)點(diǎn)完全無(wú)狀態(tài)，可以隨時(shí)隨地任意新增或減少節(jié)點(diǎn)。
TDSQL新敏態(tài)引擎在存儲(chǔ)節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行range分區(qū)時(shí)，每個(gè)分區(qū)的數(shù)據(jù)保持在一個(gè)閾值以下，當(dāng)檢測(cè)到出現(xiàn)數(shù)據(jù)容量瓶頸或者熱點(diǎn)現(xiàn)象，就自動(dòng)將分區(qū)數(shù)據(jù)搬遷到空閑節(jié)點(diǎn)上，無(wú)需人工介入就實(shí)現(xiàn)了靈活彈性擴(kuò)容。
同時(shí)，TDSQL新敏態(tài)引擎在分布式事務(wù)使用了異步提交技術(shù)，減少了分布式事務(wù)的時(shí)耗，同時(shí)還提供數(shù)據(jù)分布控制的能力，在對(duì)性能要求較高的場(chǎng)景下，可以實(shí)現(xiàn)將分布式事務(wù)優(yōu)化成一階段事務(wù)，杜絕分布式事務(wù)兩階段提交帶來(lái)的消耗。
TDSQL新敏態(tài)引擎的吞吐量可以隨著計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)而線性擴(kuò)展，單實(shí)例可以達(dá)到千萬(wàn)級(jí)QPS。
3、極致的數(shù)據(jù)強(qiáng)一致性
數(shù)據(jù)一致性是金融級(jí)數(shù)據(jù)庫(kù)的基石。
在多副本一致性方面，TDSQL新敏態(tài)引擎存儲(chǔ)節(jié)點(diǎn)采用RAFT協(xié)議來(lái)保證副本一致性。當(dāng)出現(xiàn)網(wǎng)絡(luò)分區(qū)時(shí)，多數(shù)派的分區(qū)可以繼續(xù)提供服務(wù)，而分區(qū)的另一邊的節(jié)點(diǎn)在網(wǎng)絡(luò)分區(qū)消失時(shí)，會(huì)自動(dòng)補(bǔ)齊與多數(shù)派節(jié)點(diǎn)之間的數(shù)據(jù)差異，以確保金融業(yè)務(wù)的副本之間的強(qiáng)一致性。
在事務(wù)一致性方面，TDSQL新敏態(tài)引擎采用自研的分布式事務(wù)并發(fā)控制算法實(shí)現(xiàn)事務(wù)的原子性和隔離性，為業(yè)務(wù)的數(shù)據(jù)安全保駕護(hù)航。
4、數(shù)據(jù)形態(tài)自動(dòng)感知，數(shù)據(jù)庫(kù)全域智能化自適應(yīng)調(diào)度
騰訊云TDSQL 數(shù)據(jù)庫(kù)的計(jì)算引擎提供了原創(chuàng)的 SQL 語(yǔ)法接口，提供給用戶自定義數(shù)據(jù)的形態(tài)規(guī)則，例如表副本數(shù)，地理位置分布偏好，分區(qū)策略等等。TDSQL 新敏態(tài)引擎的管控模塊根據(jù)用戶自定義的規(guī)則，結(jié)合數(shù)據(jù)庫(kù)層面的數(shù)據(jù)對(duì)象語(yǔ)義，將具有訪問(wèn)親和性的數(shù)據(jù)關(guān)聯(lián)在一起，大幅降低了分布式環(huán)境下 RPC 網(wǎng)絡(luò)請(qǐng)求的數(shù)量，將大量?jī)呻A段事務(wù)優(yōu)化為一階段本地事務(wù)，顯著提升了常見(jiàn)高時(shí)耗場(chǎng)景下的響應(yīng)性能，如回表、join查詢、批量二級(jí)索引更新等等。此外，管控模塊還會(huì)根據(jù)不同數(shù)據(jù)對(duì)象的訪問(wèn)熱度、關(guān)聯(lián)模型等因素，自適應(yīng)地對(duì)數(shù)據(jù)對(duì)象進(jìn)行分裂、合并、遷移、切主等操作，從而實(shí)現(xiàn)分布式存儲(chǔ)集群中的負(fù)載均衡和自適應(yīng)調(diào)度。
騰訊云TDSQL全自研新敏態(tài)引擎給客戶帶來(lái)的價(jià)值是什么？
TDSQL新敏態(tài)引擎支持業(yè)務(wù)無(wú)感知，計(jì)算資源和存儲(chǔ)資源的獨(dú)立彈性擴(kuò)縮容，集群運(yùn)維操作一鍵完成，全過(guò)程無(wú)須人工干預(yù)，可以靈活地根據(jù)當(dāng)前業(yè)務(wù)場(chǎng)景的流量壓力調(diào)整資源規(guī)模。同時(shí)，TDSQL新敏態(tài)引擎“全域智能化自適應(yīng)調(diào)度”技術(shù)，在存儲(chǔ)層通過(guò)數(shù)據(jù)形態(tài)相關(guān)性自動(dòng)感知，生成數(shù)據(jù)親和性策略，可以使得數(shù)據(jù)能夠根據(jù)業(yè)務(wù)負(fù)載情況在分布式系統(tǒng)架構(gòu)中自動(dòng)遷移，打散熱點(diǎn)，降低分布式系統(tǒng)中分布式事務(wù)的數(shù)量，實(shí)現(xiàn)極高的擴(kuò)展性和性能提升。這給用戶帶來(lái)的最大價(jià)值就是，可以讓業(yè)務(wù)敏捷應(yīng)對(duì)各類型需求變化的場(chǎng)景。
歷經(jīng)打磨，TDSQL產(chǎn)品家族盡顯企業(yè)服務(wù)優(yōu)勢(shì)
TDSQL產(chǎn)品家族是騰訊企業(yè)級(jí)分布式關(guān)系型數(shù)據(jù)庫(kù)品牌，除了TDSQL新敏態(tài)引擎，TDSQL系列還有金融級(jí)分布式數(shù)據(jù)庫(kù)TDSQL、云原生數(shù)據(jù)庫(kù)TDSQL-C、分析型數(shù)據(jù)庫(kù)TDSQL-A等多引擎能力。此外，TDSQL還提供完善的服務(wù)工具，包括多源同步遷移工具DBbridge、智能運(yùn)維平臺(tái)DBbrain等。
TDSQL產(chǎn)品系列經(jīng)過(guò)了騰訊集團(tuán)以及騰訊云上金融、社交、電商、物聯(lián)網(wǎng)、政務(wù)、公益、工業(yè)制造等各行各業(yè)海量客戶場(chǎng)景的實(shí)際打磨驗(yàn)證，具有在實(shí)際場(chǎng)景中領(lǐng)先的金融級(jí)全局一致性、99.999%自動(dòng)容災(zāi)切換的高可用性、高可靠性，以及彈性擴(kuò)展、高性能能力。
在前不久騰訊發(fā)布的Q3財(cái)報(bào)中顯示：“騰訊云數(shù)據(jù)庫(kù)TDSQL已被3000多家來(lái)自金融、公共服務(wù)和電信垂直行業(yè)的客戶采用，中國(guó)十大銀行中的六家都應(yīng)用了該產(chǎn)品。TDSQL在不同金融機(jī)構(gòu)核心系統(tǒng)中的滲透率明顯提升，顯示了騰訊在數(shù)據(jù)安全性、可靠性和一致性方面的能力。”
除了銀行金融場(chǎng)景，騰訊云數(shù)據(jù)庫(kù)TDSQL在政務(wù)、電信運(yùn)營(yíng)商等行業(yè)場(chǎng)景中也實(shí)現(xiàn)了突破。未來(lái)，騰訊云將繼續(xù)助力IT基礎(chǔ)設(shè)施從傳統(tǒng)架構(gòu)向分布式架構(gòu)演進(jìn)，加速全行業(yè)的數(shù)字化轉(zhuǎn)型。
原文地址：https://cloud.51cto.com/art/202112/694425.htm
