• 移動端
    訪問手機端
    官微
    訪問官微

    搜索
    取消
    溫馨提示:
    敬愛的用戶,您的瀏覽器版本過低,會導致頁面瀏覽異常,建議您升級瀏覽器版本或更換其他瀏覽器打開。

    淺談支付公司業務監控體系建設之經驗

    來源:移動支付網 2019-07-01 09:08:21 支付 監控 網絡支付
         來源:移動支付網     2019-07-01 09:08:21

    核心提示我們的支付體系建設在經歷多年的時間,由最初的單體架構,逐步演變為分布式架構,再到現在的微服務架構。

    熟悉的場景:

    運營:你們系統出問題啦!

    技術:不可能出問題吧?沒有什么發布和上線啊,要不給個信息來排查一下呢?

    一個小時候后......

    運營:查出什么問題了嗎?

    技術:還沒有,系統多,層級深,需要拉通了查。

    運營:能不能盡快,客戶已經抱怨多次啦。

    不管是誰充當其中的角色,都會一次次崩潰掉,特別是非工作日,技術及相關人員不在線,這中間消耗的是客戶的耐心和信任,相關人員也會被消耗在這樣的日常工作中,久而久之,也會讓人產生不良的情緒,影響整個團隊的效率。

    問題是時代的聲音,更是需求的聲音。善于發現業務中的問題、提出問題、直面問題、研究問題、回答問題,積極推動問題的解決,是一個技術人員的分內之事、應盡之責,更是其價值體現。

    整套系統是一個復雜的工程,是由基礎網絡、服務器、數據庫及各種中間件,業務系統及各種資源渠道等組成,誰也不能保障哪里不出問題。因此迫切需要有效的體系(工具)和手段來解決這些,這就是當初很堅定的來做監控體系的背景。

    現在技術領域里面開源的也有一些監控系統,各有各的優點,但都很難找到適合我們自身業務的那款,所以我們當初針對已有的系統做了分析與對比,最終選擇了自建方式。這里就談一下業務監控體系應該如何落地,這中間應該注意什么。

    我們的支付體系建設在經歷多年的時間,由最初的單體架構,逐步演變為分布式架構,再到現在的微服務架構。隨著業務的發展,體系架構還在不斷迭代過程中,在其可擴展和高可用等方面已具備相當好的優勢,同時體系結構也演變的較為復雜,層級相對較深,還要支撐各種各樣的產品場景。這就會帶來另外一個問題:如何排查問題?

    而作為技術來說,最重要的工作之一,那就是日常支撐,每天都在處理各種各樣的疑難雜癥,當時技術中心為解放大部分程序員的日常運維工作,特別成立了“服務臺”這個組織。專人處理這些日常問題。

    這就是采用了犧牲小部分高素質程序員的產出能力,去解決整體日常的技術運維。而每次投訴咨詢都是一個數據從頭到尾的排查,效率相當低下,時間一久這些人也形成了自己的經驗和套路,日常工作就成了繁重的體力勞動,久而久之大家也對其失去了動力,導致無以為繼??偟膩碚f投入的成本何其高,產出的效率還達不到要求,何況人才會流失,難以培養。不難看出,這其中最大的痛點就是我們沒有相應的業務監控體系。

    20190701144756061676.webp

    如何嘗試搭建這樣的監控體系,開啟了我們的業務監控建設之路。

    1.建設目標要清晰

    ◆實時反映系統的健康狀況,可預警;

    ◆掌握系統的峰值及壓力,及相關資源的消耗與承載情況,報警且能有效自動處理與恢復;

    ◆能夠做到業務及產品場景下的有效監控,掌握業務運行情況,能夠及時發現業務異常,并根據業務異常識別告警級別和觸發應急處理機制;

    ◆對系統問題能夠早發現和快速定位,盡量智能化處理和規避風險性問題;

    ◆透過監控里的重要指標,能夠推動體系結構的迭代優化,建設合理的技術運維監控產品,降低運營、技術等相關角色的溝通成本,減少技術在運營支撐上的投入成本。

    服務對象的定位,受益者會涉及到運營、技術、運維等,以及管理者,能夠滿足不同所需,不同的受益者都會有它特有的需求。

    監控不是一個獨立(封閉)的體系,它提供的指標數據以及分析結果,可以促進相關領域的迭代,甚至不同部門的協作進行整站的改進和完善。

    2.以業務為主導方向,而非技術

    監控的目的是服務前端業務,是以解決問題為導向,問題才是需求的聲音。以技術主導做的一些基礎技術服務體系,很難與業務契合的很好,因為一開始就不清楚使用對象是誰,又解決誰的問題,可能更談不上可用性,及用戶體驗。

    在確定方向的同時,我們的大體思路也初步形成,基于事后慢慢向事前轉變,在實現目標后,將轉身由事中去把握事前,這中間就是一個質的轉變,由被動轉為主動,就需要大量的信息做支撐(信息的采集—>信息的清洗—>信息的加工—>信息的編排—>信息的有效利用),不同的階段會有對應的技術選型,但把握一個原則,不過度設計,規避簡單事情復雜化。

    3.初心很重要

    知道發生了問題(預警),快速定位(哪里發生),自動處理與恢復(解決方式),這個就是當初我們簡單勾勒出來的愿景。這個也是在整個過程中,不管人員或資源上發生了那些變化,有了什么沖突,或者我們的想法上有了什么更好的idea,盡量用有效的資源來做有效的事,而且是有意義的事情。

    一直到現在,我們都會用初心這樣的方式,來讓我們走進現實,把復雜的事情簡單化,從實際出發解決我們最本質的問題,當一個個迫切待解決的問題都被消滅了,那強大的監控體系自然而然也就被迭代出來了。

    4.選擇適合自己的方式

    從一開始我們選擇了敏捷的模式來落地這個體系建設。萬事開頭難,但要開好頭,一直堅持下來,更考驗團隊的毅力和有效執行力。

    我們把當初構思的監控體系的藍圖勾勒出來后,就切分成了不同的目標(階段),而把看得清楚想得明白,且立竿見影的那部分作為第一個迭代周期,通過快速的迭代實現,驗證我們的設想,同時又可以調整后面不同階段的目標和規劃,就這樣一個一個迭代周而復始,不斷的打磨,在對偏離的那部分進行下一個迭代周期修復。雖然有試錯的場景在里面,但也不會對我們資源造成浪費,這個也取決于迭代周期和交付成果的合理設計。

    從最初的金融域,到全站,再到具體業務場景,我們也是在變化中不斷的去實踐,圍繞著初心去構建和迭代。透過這樣的實踐形成的模式與意識,可以運用于其它地方,可以很好的推進相關工作的開展,以及把控風險,最終實現預期目標。

    5.意義所在

    要做這件事的意義可以羅列很多,結合公司目前的研發資源情況,在這里,我想說的有以下幾點:

    ◆把人的精力從低級、繁雜的日常中釋放出來,去做有意義的事情,從而達到增效和降低成本的目的;

    ◆在跨界的領域里面讓小伙伴成長,能夠把握體系結構,擴展自身的廣度;

    ◆改變我們的視角,從點走出來,站在線、面、體上,同時主動的思考和捕捉問題;

    ◆彌補體系的不足,有效控制風險;

    ◆解決掉對角色(人)或崗的依賴,不可能百分百做到,結合自身做到最大程度上的緩解。

    最開始的時候,我們選擇了最重要的金融域,也是我們最為熟悉的業務產品之一,包括對金融渠道的掌握程度,這也是我們從一開始就能夠取得成功的地方,也從最初的時候就激發了小伙伴的動力,讓大家看到了可行性,和實現了目標與價值,得到認可。

    這中間對金融的各種異常和異動都做了詳細的定位,通過攔截、異步、嘗試、探測等方式,結合預警和自動處理,盡量不影響業務,特別是反向路由做到重路由,也是小伙伴在實踐中想到的最佳的解法渠道異常的最為有效的方式之一,省去了運營和技術崗上人力的投入。

    擁抱變化,主動的接納,基于這樣的態度來面對監控體系建設,可能不是人人都能看到的事情,但確實是很有意義的事情。所以對人的選擇也很重要,不但要有興趣,對技術和業務有相當的熟悉度,且需要有全局的思維和角度,耐得住乏味的工作,自驅力要強,才能保障這樣的體系不斷的持續迭代,才能輸出適合企業自身的監控體系,給整個支付體系保駕護航。

    在這條路上,沒有終點,我們一直在路上。隨著業務和體系的不斷演變,未來還有未知的領域等著我們,唯有加緊當下的腳步,才能跟得上變化,與時俱進,好的東西永遠都是在不斷演變中進化出來的。

    責任編輯:韓希宇

    免責聲明:

    中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。

    為你推薦

    猜你喜歡

    收藏成功

    確定
    欧美日韩国产成人_亚洲VA欧洲VA日韩VA忘忧草_无码精品国产va在线观看_久久综合噜噜激激的五月天