幕思城>電商行情>運(yùn)營>淘寶運(yùn)營>京東金融是干什么的app

    京東金融是干什么的app

    2022-06-23|10:10|發(fā)布在分類 / 淘寶運(yùn)營| 閱讀:160

    以「金融科技」定位的京東金融集團(tuán)成立于2013年10月,逐步構(gòu)建了供應(yīng)鏈金融、消費(fèi)金融、財(cái)富管理、眾籌、證券、保險(xiǎn)、支付、金融科技以及農(nóng)村金融九大業(yè)務(wù)板塊。 以身作則」提升、激發(fā)技術(shù)人員的主觀能動(dòng)性。同時(shí)曹鵬表示,讀emba也是為了從創(chuàng)業(yè)公司老板身上,看到老板和自己思維模式上的差異。比較初在京東做管理主要是接需求、做任務(wù),在原有架構(gòu)上做大大小小的調(diào)整,一個(gè)個(gè)攻堅(jiān)開發(fā)新系統(tǒng)?,F(xiàn)在更多的是站在老板的角度看問題,將技術(shù)目標(biāo)與公司目標(biāo)統(tǒng)一,通過技術(shù)的突破發(fā)展為公司的發(fā)展做出更大的貢獻(xiàn)。

    京東金融是干什么的app

    京東金融ceo陳生強(qiáng)表示,京東金融以數(shù)據(jù)為基礎(chǔ),以技術(shù)為手段,借力京東的場(chǎng)景和用戶資源來做金融業(yè)務(wù),這是自營金融業(yè)務(wù)?,F(xiàn)在乃至未來,京東金融要做的是:遵從金融本質(zhì),以數(shù)據(jù)為基礎(chǔ),以技術(shù)為手段,為金融行業(yè)服務(wù),從而幫助金融行業(yè)提升效率、降低成本、增加收入。這個(gè)定位就是金融科技。

    京東金融這三年多,從無到有,從有到精,一路走來,背后定有許多精彩故事。本著學(xué)習(xí)的態(tài)度,有幸和京東金融部分技術(shù)人進(jìn)行面對(duì)面的交流,過程中涉及到京東金融技術(shù)的發(fā)展歷程和挑戰(zhàn)、技術(shù)負(fù)責(zé)人的管理理念、風(fēng)控、人臉識(shí)別、資產(chǎn)負(fù)債、白條、支付等,干貨滿滿。我將通過本文,帶大家一起走進(jìn)京東金融,一瞥金融科技公司的幕后戰(zhàn)場(chǎng)。

    京東金融技術(shù)的發(fā)展歷程&挑戰(zhàn)

    京東金融技術(shù)體系根源于京東商城技術(shù)沉淀,人員由外部引進(jìn)和京東商城各體系(網(wǎng)站、訂單交易、支付、財(cái)務(wù)、數(shù)據(jù)等)研發(fā)團(tuán)隊(duì)的技術(shù)精英組成。京東金融技術(shù)架構(gòu)起始就有一定前瞻性,主要因素是這些研發(fā)團(tuán)隊(duì)和京東商城一起快速成長,且多次經(jīng)歷過像618和雙11等各種技術(shù)大考?;谶@些使得支付、白條、風(fēng)控等大流量業(yè)務(wù)能夠平穩(wěn)安全度過,訪問量呈現(xiàn)幾百上千倍增長的挑戰(zhàn),避免了業(yè)務(wù)高速發(fā)展中一些高昂的試錯(cuò)成本。

    當(dāng)然,金融業(yè)務(wù)和商城業(yè)務(wù)有很大區(qū)別,整個(gè)金融業(yè)務(wù)可以看成是一種“虛擬經(jīng)濟(jì)”,對(duì)數(shù)字理解、技術(shù)性有特殊的要求。京東金融這三年的技術(shù)成長過程中面臨種種挑戰(zhàn),這里主要講述四方面:流量、一致性、大數(shù)據(jù)和科技:

    流量:流量是所有中大型互聯(lián)網(wǎng)公司都會(huì)面臨的問題,解決方案相對(duì)較成熟,如分庫分表、動(dòng)靜分離、冷熱分離、(多級(jí))緩存等。這些解決方案基本存在共同特征,那就是后臺(tái)計(jì)算邏輯并不復(fù)雜,系統(tǒng)運(yùn)算時(shí)間在整個(gè)周期中幾乎可忽略不計(jì)。但京東金融某些業(yè)務(wù)并不是這樣,以風(fēng)控為例,一筆訂單支付,用戶感受到的是瞬間(一秒以內(nèi))就完成支付過程,但這短短一秒內(nèi)風(fēng)控系統(tǒng)要做很多事,如判斷用戶的設(shè)備信息、登錄行為、訪問特征、信用狀況、商品信息、商家特征、配送區(qū)域、銀行卡狀態(tài)等。如建立信用、反欺詐、偽冒交易等一系列模型,其中多達(dá)近百項(xiàng)的模型需實(shí)時(shí)計(jì)算。這樣龐大的運(yùn)算量在一秒內(nèi),甚至幾十毫秒內(nèi)完成,不是易事。況且在618和雙11等大促中,為了用戶的賬戶和資金安全,不能輕易去降級(jí),這本身就是一個(gè)巨大的挑戰(zhàn)。

    一致性:金融業(yè)務(wù)特征決定數(shù)據(jù)一致性差異的容忍度很低。以白條業(yè)務(wù)為例,角色有消費(fèi)者、商戶、小貸公司、京東商城、第三方支付、銀行等,角色之間會(huì)有費(fèi)用往來,如賬務(wù)出現(xiàn)細(xì)微差異就會(huì)導(dǎo)致工作阻塞。系統(tǒng)是分模塊設(shè)計(jì)的,看似打了個(gè)簡(jiǎn)單白條,卻要經(jīng)過交易、計(jì)息、分期、賬務(wù)、資金、資管(abs)等一系列模塊,為兼顧性能,架構(gòu)設(shè)計(jì)時(shí)對(duì)輕事務(wù)模型方案做了一定的妥協(xié),這樣也是為擴(kuò)大前端收單能力。這樣一來,如何讓數(shù)據(jù)在多個(gè)模塊中保持一致性就成了挑戰(zhàn)。所以當(dāng)數(shù)據(jù)快速進(jìn)來,后端要有精密的核驗(yàn)機(jī)制來協(xié)調(diào)數(shù)據(jù)的一致性。

    大數(shù)據(jù):對(duì)大數(shù)據(jù)的理解各有不同,以點(diǎn)帶面,京東金融是從數(shù)據(jù)服務(wù)于應(yīng)用的角度來考慮他的挑戰(zhàn)性。以白條授信為例,白條是國內(nèi)第一家無紙化授信的互聯(lián)網(wǎng)消費(fèi)金融產(chǎn)品,那么用戶授信、授信額度是首要面臨的問題。白條初期,大家一起商討如何搭建授信模型,業(yè)務(wù)說條件,技術(shù)做翻譯,通過數(shù)據(jù)集市篩選出來合格的用戶,額度也是人為定的簡(jiǎn)單規(guī)則,這導(dǎo)致白條上線初期,僅有特邀用戶才能開通白條。隨著業(yè)務(wù)發(fā)展,市場(chǎng)表現(xiàn)超出預(yù)期,逼迫技術(shù)必須革新。京東金融不斷研究新技術(shù)解決方案的同時(shí)還引進(jìn)更多更專業(yè)型的技術(shù)人才(模型、算法、分析以及大數(shù)據(jù)開發(fā)等)。目前,整個(gè)授信過程實(shí)現(xiàn)全自動(dòng),人的經(jīng)驗(yàn)明顯落后于海量維度精細(xì)化測(cè)算的評(píng)分結(jié)果。分析人員也在不斷訓(xùn)練和調(diào)校模型的準(zhǔn)確性,進(jìn)行系統(tǒng)快速迭代。評(píng)分模型已覆蓋全部京東用戶,大半活躍用戶均在授信范圍。

    科技:這是京東金融一直在探索創(chuàng)新的領(lǐng)域,如人臉識(shí)別、語音識(shí)別、區(qū)塊鏈等。人臉識(shí)別在各大金融場(chǎng)景較常見,但各個(gè)產(chǎn)品的體驗(yàn)也不盡相同,考慮到人臉特征背后需要精細(xì)數(shù)據(jù)支撐,出于對(duì)數(shù)據(jù)安全的考慮,技術(shù)在市場(chǎng)上并沒有公共的服務(wù),一些實(shí)力公司投入重金進(jìn)行自研。人臉識(shí)別比較大的挑戰(zhàn)是準(zhǔn)確性,實(shí)驗(yàn)室環(huán)境簡(jiǎn)單,數(shù)據(jù)樣本較少,真實(shí)的環(huán)境中人物有表情、年齡、背景、角度甚至是偽造視頻等不同因素的挑戰(zhàn),會(huì)讓整體準(zhǔn)確性大打折扣。準(zhǔn)確性沒有達(dá)到市場(chǎng)要求時(shí)卻推廣,對(duì)用戶來說是一種負(fù)體驗(yàn)。在金融行業(yè),有這樣需求的產(chǎn)品越來越多,實(shí)名、開戶、安全交易甚至登陸等都是非常不錯(cuò)的應(yīng)用場(chǎng)景。市場(chǎng)是技術(shù)成長比較大的推動(dòng)力,擺在京東金融面前的壓力是如何讓自研技術(shù)能夠趕上和超越市場(chǎng)上人臉識(shí)別的準(zhǔn)確度。

    京東金融技術(shù)體系負(fù)責(zé)人曹鵬談管理

    曹鵬·京東集團(tuán)副總裁、京東金融技術(shù)體系負(fù)責(zé)人

    曹鵬,現(xiàn)任京東集團(tuán)副總裁、京東金融技術(shù)體系負(fù)責(zé)人。畢業(yè)于北京交通大學(xué),取得人民大學(xué)emba,目前在讀清華五道口emba;歷任京東商城研發(fā)總監(jiān)、產(chǎn)品總監(jiān)、職能研發(fā)副總裁,現(xiàn)任京東金融副總裁。

    很榮幸成為第一個(gè)給曹鵬做專訪的媒體人,他02年認(rèn)識(shí)劉強(qiáng)東,07年受邀加入京東,13年請(qǐng)纓來到京東金融。

    京東金融是京東內(nèi)部孵化的公司,在比較初期緊貼業(yè)務(wù)、快速響應(yīng),很好的活下來才是技術(shù)首要。隨著業(yè)務(wù)的爆棚,作為技術(shù)負(fù)責(zé)人,只埋頭做技術(shù)是遠(yuǎn)遠(yuǎn)不夠的,而是要清楚「公司目標(biāo)是什么?從眾多業(yè)務(wù)中做出抉擇,哪些做哪些不做?」。同時(shí)在思考,不能把精力四處散落,什么都想干,要集中技術(shù)力量始終保持和業(yè)務(wù)的步調(diào)相契合,把產(chǎn)品、研發(fā)、運(yùn)維、測(cè)試等技術(shù)和業(yè)務(wù)綁在一起,打造業(yè)務(wù)上的閉環(huán),業(yè)務(wù)發(fā)展才會(huì)更茂盛。

    技術(shù)人做管理,比較重要的是思考方式的轉(zhuǎn)換。對(duì)于技術(shù)人來說,一方面是很難量化考核,另一方面業(yè)務(wù)技術(shù)互驅(qū)動(dòng),如業(yè)務(wù)很牛,說明技術(shù)很到位;業(yè)務(wù)發(fā)展好,快速擴(kuò)張,技術(shù)人就會(huì)有上升的空間。所以與其制定條條框框,方方面面都管,不如「將心比心 以身作則」提升、激發(fā)技術(shù)人員的主觀能動(dòng)性。同時(shí)曹鵬表示,讀emba也是為了從創(chuàng)業(yè)公司老板身上,看到老板和自己思維模式上的差異。比較初在京東做管理主要是接需求、做任務(wù),在原有架構(gòu)上做大大小小的調(diào)整,一個(gè)個(gè)攻堅(jiān)開發(fā)新系統(tǒng)?,F(xiàn)在更多的是站在老板的角度看問題,將技術(shù)目標(biāo)與公司目標(biāo)統(tǒng)一,通過技術(shù)的突破發(fā)展為公司的發(fā)展做出更大的貢獻(xiàn)。

    京東的下一個(gè)12年戰(zhàn)略規(guī)劃是全面走向技術(shù)化,京東金融技術(shù)體系目前也在不斷吸納更多的人才加入,提升金融科技實(shí)力,進(jìn)行技術(shù)輸出。比較理想的狀態(tài)是團(tuán)隊(duì)三分之一的人完成業(yè)務(wù)的支撐,其他人利用京東集團(tuán)自身和外部的大數(shù)據(jù)資源、用戶和流量等優(yōu)勢(shì),結(jié)合當(dāng)下人工智能、人臉識(shí)別、深度學(xué)習(xí)等比較新技術(shù),研發(fā)創(chuàng)新產(chǎn)品,一方面運(yùn)用到適合的場(chǎng)景中,步步迭代,力爭(zhēng)把用戶體驗(yàn)做到比較;一方面為金融行業(yè)提供的技術(shù)輸出服務(wù)。

    京東金融風(fēng)控研發(fā)部架構(gòu)師王美青談風(fēng)控

    王美青·京東金融風(fēng)控研發(fā)部架構(gòu)師

    風(fēng)控的靈魂是數(shù)據(jù),所有決策都以數(shù)據(jù)為驅(qū)動(dòng)。策略和模型是風(fēng)控做出決策的兩大依據(jù),策略偏向有效性、模型偏向預(yù)測(cè)和度量,兩者有非常多的聯(lián)系和結(jié)合,根據(jù)業(yè)務(wù)和場(chǎng)景來選擇合適的方案,并且需要人工與自動(dòng)化結(jié)合來調(diào)整。兩者都離不開基于大數(shù)據(jù)的挖掘能力,都需要做特征工程,只有把挖掘的成果再次加工和抽象,做成比較原子的規(guī)則,才能形成復(fù)雜的策略。

    京東金融,有數(shù)百個(gè)需要風(fēng)險(xiǎn)控制的場(chǎng)景,交易類占比比較大,非交易類有促銷優(yōu)惠、白條激活、信用評(píng)估等,這么多業(yè)務(wù)都需要風(fēng)控做出實(shí)時(shí)決策。同時(shí)保證執(zhí)行比較復(fù)雜的策略與模型時(shí),在性能上做到毫秒級(jí)(幾十毫秒)。實(shí)時(shí)和準(zhǔn)實(shí)時(shí)決策引擎,所用到的所有輸入數(shù)據(jù)還必須做預(yù)計(jì)算。

    當(dāng)事件發(fā)生時(shí),與之關(guān)聯(lián)的計(jì)算項(xiàng)會(huì)有幾千甚至上萬項(xiàng),從storm遷移到自主研發(fā)實(shí)時(shí)計(jì)算平臺(tái),通過簡(jiǎn)單配置即可完成支持時(shí)間滑動(dòng)窗口的計(jì)算,滿足指標(biāo)與變量多樣化復(fù)雜化計(jì)算并且不需要單獨(dú)發(fā)布,在這一點(diǎn)上要優(yōu)于storm,在性能上,同樣基于akka,絲毫不遜于storm。另外一部分計(jì)算當(dāng)然就是通過跑批完成,開始在使用mapreduce,熱數(shù)據(jù)全部內(nèi)存化(redis),之后使用kylin與flink相結(jié)合的方式,根據(jù)計(jì)算項(xiàng)的數(shù)據(jù)來源和窗口規(guī)格來確定使用哪種計(jì)算方式。這些計(jì)算結(jié)果會(huì)被引擎直接使用,所以決策引擎被內(nèi)部定義為一個(gè)輕量級(jí)的策略與模型的計(jì)算框架,背后由數(shù)個(gè)系統(tǒng)組成。

    和傳統(tǒng)風(fēng)控相比,互聯(lián)網(wǎng)+金融是數(shù)據(jù)風(fēng)控比較大的優(yōu)勢(shì)。從維度方面來說,數(shù)據(jù)風(fēng)控會(huì)涉及到社交領(lǐng)域、畫像等互聯(lián)網(wǎng)因素,所以數(shù)據(jù)風(fēng)控更關(guān)注的是互聯(lián)網(wǎng)社會(huì)行為數(shù)據(jù)。

    開始以業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)和流作為主要挖掘的素材來源,這部分和用戶的行為關(guān)系比較大,也可以非常有效的識(shí)別風(fēng)險(xiǎn),但隨時(shí)間推移,惡意用戶的知識(shí)是在積累的,他們的反偵察能力在不斷提升,可以去模擬正常的用戶。這時(shí),就要滲入到用戶所在的環(huán)境里,把打造設(shè)備指紋、生物探針等分別應(yīng)用于web和移動(dòng)設(shè)備上,作為移動(dòng)安全的一部分。這為分析惡意用戶提供非常有效的一個(gè)途徑,用戶長時(shí)間積累的數(shù)據(jù)會(huì)形成一個(gè)穩(wěn)定的習(xí)慣模型,發(fā)現(xiàn)異常及時(shí)通知。行為可以模擬但習(xí)慣被模擬的代價(jià)就非常高。

    針對(duì)數(shù)據(jù)的治理,京東金融目前用機(jī)器學(xué)習(xí)建設(shè)了很多的模型,。

    比較下層的是各種數(shù)據(jù)進(jìn)入大數(shù)據(jù)環(huán)境后,由于原始數(shù)據(jù)存在雜亂無章的現(xiàn)象,此處使用各種顏色來示意。數(shù)據(jù)原子化是經(jīng)過整理后,把數(shù)據(jù)按業(yè)務(wù)歸屬分類,形成比較原子的類別,比如賬戶,資金,投資,消費(fèi)等等。數(shù)據(jù)抽象層是按風(fēng)控關(guān)注的業(yè)務(wù)做數(shù)據(jù)整合,這層是比較貼近業(yè)務(wù)的。每一塊代表一類業(yè)務(wù),一個(gè)原子數(shù)據(jù)類是可以被放入多個(gè)抽象數(shù)據(jù)塊里的。數(shù)據(jù)模型層主要是對(duì)分析場(chǎng)景使用的,基本就是一個(gè)數(shù)據(jù)模型塊對(duì)應(yīng)一個(gè)分析場(chǎng)景。

    機(jī)器學(xué)習(xí)在京東金融的天盾風(fēng)控系統(tǒng)應(yīng)用流程如下:

    根據(jù)經(jīng)驗(yàn),在算法的選擇上盡可能的多做選擇,對(duì)比模型的性能擇優(yōu)選取。另外,對(duì)樣本庫做好治理工作,可使用隨機(jī)抽樣和使用聚類把樣本數(shù)據(jù)分層抽取。這些工作是建模人員在大數(shù)據(jù)環(huán)境中也就是離線做的,那么,怎么把訓(xùn)練的模型應(yīng)用到線上做實(shí)時(shí)呢,下圖是架構(gòu):

    京東金融目前正在開發(fā)機(jī)器學(xué)習(xí)平臺(tái),讓懂機(jī)器學(xué)習(xí)的人就可以使用機(jī)器學(xué)習(xí)做想的事情,當(dāng)前懂機(jī)器學(xué)習(xí)的人不在少數(shù),但真正使用機(jī)器學(xué)習(xí)做具體事情不多,故此平臺(tái)不但滿足內(nèi)部建模訓(xùn)練、發(fā)布等,還可對(duì)外輸出。

    數(shù)據(jù)風(fēng)控還有很長的路要走,如量化投資風(fēng)險(xiǎn)評(píng)估與運(yùn)營也屬風(fēng)控范疇,風(fēng)控也可和推薦領(lǐng)域相結(jié)合。如數(shù)據(jù)會(huì)有階段性差異,質(zhì)量會(huì)隨時(shí)間推移,慢慢發(fā)生變化,可能花費(fèi)很大精力產(chǎn)出的預(yù)測(cè)產(chǎn)品會(huì)失效,調(diào)整代價(jià)難易不可估。如不同場(chǎng)景準(zhǔn)確度和覆蓋度都是不同的,尺度如何把握。如怎樣能降低統(tǒng)計(jì)分析學(xué)和分布式計(jì)算相結(jié)合的成本等等。

    總之,互聯(lián)網(wǎng)金融風(fēng)控核心還是服務(wù)客戶,提升產(chǎn)品價(jià)值,比較大程度的做到差異化的防范,智能化是風(fēng)控的發(fā)展方向,京東金融從開始就致力于打造智能化的風(fēng)險(xiǎn)管控解決方案。

    京東金融支付核心研發(fā)部負(fù)責(zé)人安培談支付

    安培·京東金融支付核心研發(fā)部負(fù)責(zé)人

    安培表示,很幸運(yùn)加入京東金融,伴隨著京東金融一起飛速成長。京東金融支付系統(tǒng)支撐著整個(gè)集團(tuán)業(yè)務(wù)線上、線下的收款,不僅要支持業(yè)務(wù)海量的需求,又要抗得住每年翻番增長的流量,對(duì)技術(shù)架構(gòu)和項(xiàng)目管理是一個(gè)很大的挑戰(zhàn)!

    京東每年流量的增長都遠(yuǎn)遠(yuǎn)超出預(yù)期,經(jīng)過幾年的迭代和數(shù)次架構(gòu)升級(jí),支付系統(tǒng)從一個(gè)小小的收銀臺(tái),逐漸演化成了幾十個(gè)系統(tǒng)、上千臺(tái)集群服務(wù)器構(gòu)成的復(fù)雜應(yīng)用。支付系統(tǒng)作為京東集團(tuán)重要的業(yè)務(wù)支撐系統(tǒng)有很多自己的特點(diǎn):

    高并發(fā):支付系統(tǒng)支撐著整個(gè)京東集團(tuán)線上、線下的收款,每年流量翻番增長,對(duì)系統(tǒng)架構(gòu)是一個(gè)很大的挑戰(zhàn)!就在16年的雙11凌晨,系統(tǒng)非常穩(wěn)定的承受了京東歷史上比較大的流量洪峰。

    安全、數(shù)據(jù)強(qiáng)一致性:支付系統(tǒng)存儲(chǔ)著大量用戶銀行卡、支付密碼等重要且敏感信息。因此防xss、防sql注入就成了重中之重,安全工程師則每天都要對(duì)系統(tǒng)進(jìn)行漏洞測(cè)試,滲透性測(cè)試等。因?yàn)樯婕坝脩粽鎸?shí)的資金,支付系統(tǒng)對(duì)于數(shù)據(jù)一致性和安全的強(qiáng)要求是毋庸置疑的。是的,一條數(shù)據(jù)都不能錯(cuò),一條數(shù)據(jù)都不能丟!

    調(diào)用鏈路長:支付系統(tǒng)既要符合業(yè)內(nèi)安全規(guī)范,又涉及商戶、機(jī)構(gòu)、銀行間的網(wǎng)絡(luò)交互,以至于網(wǎng)絡(luò)環(huán)境非常復(fù)雜,一個(gè)用戶的支付請(qǐng)求需要穿越多個(gè)機(jī)房,數(shù)個(gè)防火墻,幾次從公網(wǎng)到內(nèi)網(wǎng),從內(nèi)網(wǎng)到公網(wǎng)的轉(zhuǎn)化!而且,支付系統(tǒng)背后的渠道是上百家技術(shù)能力參差不齊的銀行,就導(dǎo)致不僅調(diào)用鏈路長,而且延遲性非常高。從用戶體驗(yàn)和系統(tǒng)并發(fā)的角度,在兩年前對(duì)系統(tǒng)做了全流程請(qǐng)求異步化改造。

    實(shí)時(shí)性:試想一個(gè)場(chǎng)景,用戶在線支付了一個(gè)彩票訂單并付款成功,但是由于支付系統(tǒng)的延時(shí),導(dǎo)致沒能及時(shí)通知彩票系統(tǒng)出單。期間彩票開獎(jiǎng),用戶投注的號(hào)碼中得頭獎(jiǎng),但因出單失敗,500萬大獎(jiǎng)不翼而飛!可見支付系統(tǒng)的實(shí)時(shí)性是多么必要。京東很多業(yè)務(wù)流程的狀態(tài)都依靠支付成功的消息去推動(dòng),比如實(shí)物訂單要在支付成功后才能推送到庫房生產(chǎn),手機(jī)充值訂單需要支付成功后才能給用戶充值。一個(gè)大數(shù)據(jù)的分析系統(tǒng),報(bào)表的數(shù)據(jù)可以離線計(jì)算,而對(duì)于支付系統(tǒng)而言所有請(qǐng)求必須實(shí)時(shí)處理,刻不容緩!

    依賴系統(tǒng)眾多:支付系統(tǒng)依賴數(shù)十個(gè)左右的核心服務(wù),上百家合作銀行。要保證一旦依賴的服務(wù)出問題,對(duì)支付系統(tǒng)的影響是比較低,小伙伴經(jīng)常需要凌晨登錄vpn對(duì)依賴的服務(wù)降級(jí),對(duì)故障的通道進(jìn)行切換。并且支付有很多瑣碎的運(yùn)營工作,如各種維度的成功率、轉(zhuǎn)化率監(jiān)控,銀行的限額變更,錯(cuò)誤碼變更等。這時(shí)一個(gè)強(qiáng)大、多功能靈活的運(yùn)營后臺(tái)應(yīng)運(yùn)而生!

    基于以上的特性,要求系統(tǒng)必須是high availability(高可用)!然而真正 high availability的系統(tǒng)不單單只是能應(yīng)對(duì)大流量。

    常見的分庫分表的系統(tǒng)架構(gòu),存在兩個(gè)重要不足:

    對(duì)數(shù)據(jù)庫強(qiáng)依賴,當(dāng)數(shù)據(jù)庫宕機(jī)的時(shí)候,整個(gè)應(yīng)用是無法對(duì)外提供服務(wù)的。在真實(shí)的運(yùn)維場(chǎng)景,服務(wù)器的內(nèi)存條壞了、硬盤燒了、交換機(jī)故障等是家常便飯,這些故障需要值班運(yùn)維介入處理,比較快也要五分鐘時(shí)間。五分鐘對(duì)于集團(tuán)的支付系統(tǒng)而言,可能是千萬資金的收款,這種事故無法面對(duì)。

    擴(kuò)容,以mysql為例,dba推薦的連接數(shù)配置是不超過兩千,隨著系統(tǒng)的運(yùn)行及流量的增長,存儲(chǔ)和并發(fā)一定會(huì)達(dá)到瓶頸,而數(shù)據(jù)庫擴(kuò)容是一項(xiàng)耗時(shí)耗力且風(fēng)險(xiǎn)極大工程,需要長時(shí)間的灰度發(fā)布及精細(xì)監(jiān)控,需要投入很多人力,一旦出了問題就可能造成大量用戶投訴以及半夜都處理不完的工單。

    高可用系統(tǒng)的一個(gè)重要指標(biāo)是應(yīng)對(duì)黑天鵝事件,對(duì)于服務(wù)器硬件概率性故障,值班運(yùn)維可以介入處理快速恢復(fù),但是有些不可控的因素,比如機(jī)房運(yùn)營商網(wǎng)絡(luò)故障,一旦遇到這類突發(fā)故障,系統(tǒng)要如何快速應(yīng)對(duì)?很多人都知道,比較主流的災(zāi)備技術(shù)是兩地三中心,數(shù)據(jù)中心a和數(shù)據(jù)中心b在同城作為生產(chǎn)級(jí)的機(jī)房,當(dāng)用戶訪問的時(shí)候隨機(jī)訪問到數(shù)據(jù)中心a或b。之所以可以隨機(jī)訪問,因?yàn)閍和b會(huì)同步做數(shù)據(jù)復(fù)制,所以兩邊的數(shù)據(jù)是完全一樣的。但是因?yàn)槭峭綇?fù)制的,所以只能在同城去做兩個(gè)數(shù)據(jù)中心,否則太遠(yuǎn)的話同步復(fù)制的延時(shí)會(huì)太長。在兩地三中心的概念里,一定會(huì)要求這兩個(gè)生產(chǎn)級(jí)的數(shù)據(jù)中心是必須在同一個(gè)城市,或者在距離很近的另外一個(gè)城市也可以,但是對(duì)于距離是有要求的。異地備份數(shù)據(jù)中心通過異步復(fù)制去同步數(shù)據(jù)。兩地三中心對(duì)于京東來講有三個(gè)重要問題:

    當(dāng)一地的數(shù)據(jù)中心出問題的時(shí)候,是不敢流量切往異地的備份數(shù)據(jù)中心,原因是異地的備份數(shù)據(jù)中心是冷的,平時(shí)是沒有用戶流量進(jìn)去的。如果要把流量切到那邊起來之后,其實(shí)沒有人有很強(qiáng)的信心能夠保證起用以后是可以正常服務(wù)的,畢竟平時(shí)都是冷的。

    異地備份中心的機(jī)房和服務(wù)器基本是完全閑置的,成本非常高。

    在兩地三中心中,為保證支付數(shù)據(jù)的強(qiáng)一致性,數(shù)據(jù)一定是單點(diǎn)去寫!如果遇到“618店慶”并發(fā)壓力非常高的情況下,業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫是無法水平伸縮擴(kuò)容,整體系統(tǒng)的可用性就會(huì)受到影響!

    所以近一年團(tuán)隊(duì)對(duì)系統(tǒng)的維護(hù)及應(yīng)對(duì)類似黑天鵝事件做了很多工作:

    從系統(tǒng)維護(hù)角度,新的系統(tǒng)架構(gòu)上,實(shí)現(xiàn)了數(shù)據(jù)庫擴(kuò)容配置化,當(dāng)系統(tǒng)需要擴(kuò)容時(shí),把新的集群部署好,只需要簡(jiǎn)單的配置即可分擔(dān)原有集群的流量,極大的降低了風(fēng)險(xiǎn)及維護(hù)成本。

    從依賴單點(diǎn)角度,通過緩存和消息的互備,實(shí)現(xiàn)了即使數(shù)據(jù)庫宕機(jī),應(yīng)用照常提供服務(wù)。核心支付的主流程依賴的服務(wù)都不能有單點(diǎn),也就是說不能因?yàn)橐粋€(gè)服務(wù)掛了就導(dǎo)致整個(gè)支付不可用,必須預(yù)案或者備份!

    從機(jī)房容災(zāi)角度,實(shí)現(xiàn)了異地多中心,如果光纖被挖斷,或者運(yùn)營商網(wǎng)絡(luò)故障,其他中心都可以分鐘級(jí)去接管用戶的讀寫流量。注意,這里說的是異地多中心,讀寫流量,包括寫的流量,也就是每個(gè)集群的應(yīng)用加數(shù)據(jù)庫完全獨(dú)立的存在,并且部署也不受兩地三中心的距離限制。在這里數(shù)據(jù)一致性中很大的挑戰(zhàn)會(huì)出現(xiàn)在流量切換的動(dòng)作中,比如說a、b兩個(gè)數(shù)據(jù)中心,a開始是承擔(dān)20%的流量,b承擔(dān)80%的流量。當(dāng)把流量從一個(gè)地方切到另外一個(gè)地方的時(shí)間,有可能出現(xiàn)切換過程中你還在a數(shù)據(jù)中心寫,但其實(shí)寫完之后到b了,有可能看到出現(xiàn)的數(shù)據(jù)是不一致的,怎么保證在整個(gè)流量切換過程中數(shù)據(jù)是一致的?這就要在很多細(xì)節(jié)處做大量的工作。

    從監(jiān)控的角度,加強(qiáng)業(yè)務(wù)監(jiān)控和性能監(jiān)控兩個(gè)方向的監(jiān)控深度,方法的何種性能指標(biāo),何種維度的支付成功率、轉(zhuǎn)化率等等,一旦系統(tǒng)出現(xiàn)風(fēng)吹草動(dòng),工程師和運(yùn)營同學(xué)全部了然于心。

    從系統(tǒng)降級(jí)的維度,深度定制配置管理系統(tǒng),以及擁有自主知識(shí)產(chǎn)權(quán)的通道路由管理系統(tǒng),研發(fā)和運(yùn)營可以快速對(duì)非核心依賴的服務(wù)進(jìn)行降級(jí)。

    等等,做支付業(yè)務(wù)雖然有時(shí)很辛苦,但是它讓參與他的小伙伴快速成長!

    京東金融風(fēng)控研發(fā)部算法工程師裴積全談人臉識(shí)別

    裴積全·京東金融風(fēng)控研發(fā)部算法工程師

    裴積全表示,人臉識(shí)別過程中,照片、偷錄視頻、人皮面具等手段不能替代真人,因有活體檢測(cè)。活體檢測(cè)技術(shù),就是通過分析用戶動(dòng)作,人臉特征,甚至用戶表情變化來確保驗(yàn)證用戶確實(shí)是一個(gè)“活”人,而不是圖片、視頻或者人臉模型。”

    人臉識(shí)別技術(shù)應(yīng)用于金融領(lǐng)域的優(yōu)勢(shì)

    (1)方便、體驗(yàn)好。如很多人經(jīng)常會(huì)出現(xiàn)忘記密碼的現(xiàn)象,但生物識(shí)別技術(shù)就會(huì)很好避免這樣情況,且操作起來更便捷,只需對(duì)著手機(jī)做一些小動(dòng)作。

    (2)安全。如身份驗(yàn)證過程中,傳統(tǒng)的密碼驗(yàn)證不能保證操作者是其本人,人臉識(shí)別就不會(huì)出現(xiàn)這種問題。如手機(jī)中病毒,密碼泄露等就會(huì)出現(xiàn)很大風(fēng)險(xiǎn),特別是比較近出現(xiàn)的專門套現(xiàn)的“羊毛黨”,使得傳統(tǒng)的驗(yàn)證方式面臨很大的挑戰(zhàn),而生物識(shí)別技術(shù)則可很好的解決這些問題。

    當(dāng)然人臉識(shí)別技術(shù)還有一定局限性,如人臉識(shí)別技術(shù)對(duì)于雙胞胎不能很準(zhǔn)的進(jìn)行驗(yàn)證,需要結(jié)合其他生物特征,像指紋,來甄別。如目前人臉識(shí)別技術(shù)的“遷移性”不是很理想,對(duì)于不同的應(yīng)用場(chǎng)景需要分別進(jìn)行訓(xùn)練優(yōu)化。

    人臉識(shí)別技術(shù)應(yīng)用于金融領(lǐng)域的特殊性

    相比于其它行業(yè),金融領(lǐng)域的人臉識(shí)別技術(shù)在數(shù)據(jù)、算法和安全方面面臨很多新的挑戰(zhàn)。

    首先,金融領(lǐng)域人臉識(shí)別技術(shù)的應(yīng)用場(chǎng)景和一般的應(yīng)用場(chǎng)景有很大差別,很多時(shí)候需要識(shí)別的照片是有網(wǎng)紋的,而這種類型的數(shù)據(jù)搜集和標(biāo)注相對(duì)困難。

    其次,是算法方面,金融領(lǐng)域的人臉訓(xùn)練數(shù)據(jù)非常特殊,每個(gè)人只有2、3張照片,常規(guī)人臉識(shí)別系統(tǒng)的訓(xùn)練算法不適用于這種類型的數(shù)據(jù),必須根據(jù)數(shù)據(jù)的特點(diǎn)發(fā)展新的訓(xùn)練算法,這對(duì)人臉識(shí)別算法提出新的挑戰(zhàn)。

    比較后,在金融領(lǐng)域人臉識(shí)別技術(shù)不僅僅要做人臉驗(yàn)證,還需要防范各種攻擊,包括圖片攻擊(盜用別人圖片做人臉驗(yàn)證),視頻攻擊(偷錄別人的視頻做人臉驗(yàn)證),人皮面具攻擊等等,為了防范這些攻擊,必須加入活體檢測(cè)技術(shù),通過分析用戶的動(dòng)作,人臉的特征,甚至用戶的表情變化來確保驗(yàn)證的用戶確實(shí)是一個(gè)“活”的人,而不是圖片,視頻或者人臉模型。

    人臉識(shí)別技術(shù)在金融領(lǐng)域的場(chǎng)景

    人臉識(shí)別的應(yīng)用場(chǎng)景需要同時(shí)考慮技術(shù)可行性和用戶的體驗(yàn),目前在金融領(lǐng)域比較佳的應(yīng)用場(chǎng)景包括需要人工審核的實(shí)人認(rèn)證業(yè)務(wù),例如借貸業(yè)務(wù),信息修改,以及大額交易,這些場(chǎng)景不僅可以為公司節(jié)約成本,還可以提高用戶體驗(yàn),降低交易風(fēng)險(xiǎn)。但是對(duì)于一些小額度的高頻交易會(huì)對(duì)用戶產(chǎn)生很大的打擾,可能不太適用。

    京東金融消費(fèi)金融研發(fā)部白條業(yè)務(wù)研發(fā)組,軟件開發(fā)工程師馮成談白條

    馮成·京東金融消費(fèi)金融研發(fā)部白條業(yè)務(wù)研發(fā)組,軟件開發(fā)工程師

    馮成表示,白條貸后階段,如何將部分還款表現(xiàn)差的用戶轉(zhuǎn)化為優(yōu)質(zhì)用戶,是努力的一個(gè)方向…

    白條,不僅僅簡(jiǎn)單地作為一種支付工具,而是一個(gè)消費(fèi)生態(tài)體系,從而構(gòu)建了白條的三大業(yè)務(wù)板塊:貸前、貸中、貸后。

    針對(duì)不同消費(fèi)者人群或業(yè)務(wù)場(chǎng)景,并根據(jù)用戶特征、風(fēng)險(xiǎn)識(shí)別和差異化定價(jià)進(jìn)行精準(zhǔn)授信。隨著業(yè)務(wù)場(chǎng)景和用戶數(shù)據(jù)特征的不斷豐富,路由系統(tǒng)也由比較初的串行優(yōu)化成了并行,提高了系統(tǒng)響應(yīng)速度,同時(shí)增加了回?fù)乒δ?,?duì)未能滿足當(dāng)前通道激活風(fēng)險(xiǎn)策略的用戶,還進(jìn)行二次的路由。

    作為一個(gè)生態(tài),當(dāng)然不能缺少營銷,從比較初的有券到后來的無券,還款券,激活券等各種形式的優(yōu)惠方式,引導(dǎo)用戶更多的參與到白條的生態(tài)體系中。其中系統(tǒng)復(fù)雜度比較高的也是無券營銷,限制規(guī)則從比較初的幾個(gè)到目前的幾十個(gè),活動(dòng)從比較初的幾個(gè),到目前并存幾百個(gè),每一個(gè)訂單的優(yōu)惠券匹配,都要進(jìn)行規(guī)則和活動(dòng)的雙重疊加匹配,從而對(duì)系統(tǒng)的響應(yīng)速度有了更高的要求。不僅從系統(tǒng)結(jié)構(gòu)、邏輯處理上做了優(yōu)化,而且開發(fā)了數(shù)據(jù)預(yù)熱中心,作為整個(gè)系統(tǒng)的加速器,極大的縮短了系統(tǒng)的響應(yīng)速度,降低了數(shù)據(jù)庫的負(fù)載。

    白條同樣也要解決數(shù)據(jù)問題,當(dāng)前白條用戶規(guī)模和每日產(chǎn)生的數(shù)據(jù)非常龐大。白條數(shù)據(jù)都是圍繞用戶為中心,目前通過用戶id作為切分鍵進(jìn)行了分庫分表數(shù)據(jù)存儲(chǔ),當(dāng)需要數(shù)據(jù)庫擴(kuò)容時(shí),必須進(jìn)行數(shù)據(jù)遷移重新路由落庫,帶來很大的開發(fā)成本,所以也在通過其他的切分鍵進(jìn)行數(shù)據(jù)存儲(chǔ)的開發(fā),達(dá)到可配置化的橫向擴(kuò)展,不需要遷移數(shù)據(jù)等額外的開發(fā)工作。由于分散的數(shù)據(jù)存儲(chǔ),在運(yùn)營、財(cái)務(wù)、客服等方面無法滿足多維度的數(shù)據(jù)查詢應(yīng)用,從而打造了solr+hbase、mongo和es三個(gè)數(shù)據(jù)平臺(tái)。

    白條經(jīng)歷了多個(gè)618和雙十一,應(yīng)對(duì)大促的挑戰(zhàn),很多公司的方式大多雷同,主要在于精細(xì)化。就白條而言,首先預(yù)估大促期間的流量,進(jìn)行一個(gè)整體的系統(tǒng)壓測(cè),壓測(cè)分為單場(chǎng)景、混合場(chǎng)景、讀和寫的壓測(cè)。同時(shí)壓測(cè)的數(shù)據(jù)進(jìn)行隔離以及安全方便的保證,其次是做一些監(jiān)控限流的措施,按系統(tǒng)級(jí)別、流量分布、業(yè)務(wù)血緣關(guān)系結(jié)合壓測(cè)指標(biāo)進(jìn)行快速限流降級(jí),某一點(diǎn)有問題能第一時(shí)間定位。比較后就是所有依賴服務(wù)的災(zāi)備,進(jìn)行全鏈路的梳理。大促備戰(zhàn)檢驗(yàn)的是系統(tǒng)各方面的配合,融合在一起才能達(dá)到比較終的效果。

    京東金融固收理財(cái)研發(fā)部架構(gòu)師鄒保威談資產(chǎn)負(fù)債

    鄒保威·京東金融固收理財(cái)研發(fā)部架構(gòu)師

    鄒保威表示,資產(chǎn)負(fù)債和生活息息相關(guān),看起來高大上,但每天都會(huì)在我們生活中反復(fù)實(shí)踐…

    比較初接觸資產(chǎn)負(fù)債管理的時(shí)候,我就在想,這有什么好管理的呢,不就是把資產(chǎn)信息和負(fù)債信息一個(gè)一個(gè)記錄下來嗎?做著做著才發(fā)現(xiàn)其實(shí)遠(yuǎn)不是這么簡(jiǎn)單,因?yàn)閭€(gè)人在生活中的資產(chǎn)和負(fù)債的管理雖然和機(jī)構(gòu)的資產(chǎn)負(fù)債管理是相通的,但是它們之間的差別又是巨大的。

    第一個(gè)迎面而來的棘手問題就是資產(chǎn)的合理分配問題,往簡(jiǎn)單說就是,如何在考慮不同金融資產(chǎn)期限的前提下合理分配金額,使得在流動(dòng)性風(fēng)險(xiǎn)能夠控制的前提下保持整體投資的比較高收益,就有點(diǎn)像怎么用七個(gè)蓋子把八個(gè)杯子盡可能的蓋住的問題,而且這些蓋子大小還不一樣。好在數(shù)學(xué)上的線性規(guī)劃給出了解決這個(gè)問題的一個(gè)思路,但是這個(gè)模型實(shí)在不好建立,因?yàn)榧s束條件來源于很多個(gè)已知和未知的方面,這些約束大部分都直接來源于金融的本質(zhì)特性,這就迫使團(tuán)隊(duì)不僅要深入了解金融產(chǎn)品的本質(zhì),還要知道如何使用標(biāo)準(zhǔn)的會(huì)計(jì)方式來進(jìn)行準(zhǔn)確的度量。

    挑戰(zhàn)遠(yuǎn)不止于此,隨著項(xiàng)目的進(jìn)行,決定需要對(duì)資金流動(dòng)性進(jìn)行合理的管理,從而防止出現(xiàn)流動(dòng)性風(fēng)險(xiǎn),而做到這一點(diǎn)其實(shí)是非常困難的,迄今為止還沒有完美的模型,但是有相對(duì)次優(yōu)的模型,該模型要求對(duì)負(fù)債端的情況作出相對(duì)準(zhǔn)確的預(yù)測(cè),這個(gè)可是一個(gè)大難題,好在后期又打通了負(fù)債端的相關(guān)系統(tǒng)并從中獲取了很多關(guān)鍵數(shù)據(jù),從而能夠使用一定的模型較為準(zhǔn)確的計(jì)算出流動(dòng)性,并且使用十分直觀的圖表進(jìn)行展現(xiàn),并在后期使用中對(duì)模型進(jìn)行不斷的回歸校正,這個(gè)特性可是幫了業(yè)務(wù)很大的忙。

    長遠(yuǎn)來看將要在這個(gè)系統(tǒng)中加入更加多的特性,例如需要考慮資產(chǎn)的信用風(fēng)險(xiǎn),市場(chǎng)的利率風(fēng)險(xiǎn)等等,而每個(gè)特性的加入都將是對(duì)這個(gè)系統(tǒng)的一次提升和改造,使其成為一個(gè)較為完善的資產(chǎn)負(fù)債管理平臺(tái)。

    金融資產(chǎn)管理系統(tǒng)向來是金融機(jī)構(gòu)的核心平臺(tái),但是因?yàn)樗⒉恢苯用嫦虮容^終用戶,所以通常不為人知,但是它又非常重要,京東金融固定收益類理財(cái)業(yè)務(wù)也正在構(gòu)造類似的系統(tǒng),用來提升資產(chǎn)管理水平以及效率,并致力于將其打造成一個(gè)支持京東金融各種金融理財(cái)產(chǎn)品業(yè)務(wù)的特有行業(yè)系統(tǒng),并使之符合行業(yè)監(jiān)管要求。它的主要功能是管理負(fù)債端面向比較終用戶理財(cái)產(chǎn)品的發(fā)行以及其銷售情況,在資產(chǎn)端管理資產(chǎn)的生命周期以及比較優(yōu)組合,能夠在比較大程度上優(yōu)化投資負(fù)債行為,從而擴(kuò)大業(yè)務(wù)盈利。并打通內(nèi)部外部系統(tǒng)間交互,提升業(yè)務(wù)管理水平以及效率。這個(gè)系統(tǒng)定位為固收理財(cái)業(yè)務(wù)的投資管理分析決策系統(tǒng),以該業(yè)務(wù)下的資產(chǎn)、負(fù)債、投資信息管理為出發(fā)點(diǎn),通過對(duì)各類資金軌跡的記錄,資產(chǎn)價(jià)值的估算,未來幾日資產(chǎn)到期和用戶贖回情況的實(shí)時(shí)監(jiān)控和分析,及時(shí)反應(yīng)出賬戶下的資金水位,計(jì)算賬戶當(dāng)前價(jià)值,為決策者提供準(zhǔn)確的投資數(shù)據(jù)和投資方案,在為用戶提供平滑、簡(jiǎn)潔、直觀的使用體驗(yàn)前提下,比較終實(shí)現(xiàn)有效降低流動(dòng)性兌付風(fēng)險(xiǎn)和運(yùn)營成本的比較小化以及投資利潤比較大化的目標(biāo)。

    寫在比較后:

    以上所述僅是京東金融技術(shù)的部分內(nèi)容,其中有些取自「京東talk:專注技術(shù)·自我迭代——金融技術(shù)交流系列分享活動(dòng)」。當(dāng)下,金融領(lǐng)域錯(cuò)綜復(fù)雜,京東金融從「自營金融業(yè)務(wù)」逐步兼顧「為金融行業(yè)服務(wù)」的做法足以證明,其是一個(gè)的金融科技公司。相信在未來,金融科技公司會(huì)驅(qū)動(dòng)金融領(lǐng)域發(fā)生很大的變革和進(jìn)步,也會(huì)為傳統(tǒng)金融業(yè)賦能,提升或改進(jìn)行業(yè)中歷史留存的成本、效率等問題。

    京東金融是干什么的app

    這個(gè)問題還有疑問的話,可以加幕.思.城火星老師免費(fèi)咨詢,微.信號(hào)是為: msc496。

    難題沒解決?加我微信給你講!【僅限淘寶賣家交流運(yùn)營知識(shí),非賣家不要加我哈】
    >

    推薦閱讀:

    淘寶怎么開店,淘寶開店流程及費(fèi)用是什么?

    淘寶店鋪的花唄怎么開通?淘寶花唄手續(xù)費(fèi)怎么算?

    身份證件等相關(guān)禁售規(guī)則變更生效通知

    更多資訊請(qǐng)關(guān)注幕 思 城。

    發(fā)表評(píng)論

    別默默看了 登錄\ 注冊(cè) 一起參與討論!

      微信掃碼回復(fù)「666