系統(tǒng)運(yùn)維架構(gòu)演進(jìn)之路

《系統(tǒng)運(yùn)維架構(gòu)演進(jìn)之路》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、從5臺(tái)服務(wù)器到兩地三中心魅族系統(tǒng)運(yùn)維架構(gòu)演進(jìn)之路魅族的互聯(lián)網(wǎng)業(yè)務(wù)起步得比較早，2011年就開始，到2014年真正轉(zhuǎn)變?yōu)橐患乙苿?dòng)互聯(lián)網(wǎng)公司。從2014年開始，魅族互聯(lián)網(wǎng)業(yè)務(wù)呈現(xiàn)爆發(fā)式增長(zhǎng),截至2015年底，F(xiàn)lyme注冊(cè)用戶突破3000萬(wàn)，應(yīng)用商店超過(guò)100萬(wàn)款應(yīng)用，總下載量超過(guò)100億z營(yíng)收能力同比增長(zhǎng)12倍。伴隨著業(yè)務(wù)的高速發(fā)展，運(yùn)維面臨的挑戰(zhàn)也越來(lái)越大,碰到的問(wèn)題也越來(lái)越多，同時(shí)運(yùn)維架構(gòu)在不斷的完善變更。系統(tǒng)運(yùn)維架構(gòu)演進(jìn)史這幾年我們主要圍繞質(zhì)量、效率、流程、成本維度對(duì)運(yùn)維工作進(jìn)行優(yōu)化,慢慢的由運(yùn)維轉(zhuǎn)變?yōu)榧夹g(shù)運(yùn)營(yíng)，提高自身的價(jià)值。一、遠(yuǎn)古時(shí)代(2011.1-2011.12)規(guī)模?

2、機(jī)柜：1個(gè)?服務(wù)器：5臺(tái)?業(yè)務(wù)：2個(gè)?人力：開發(fā)兼職運(yùn)維問(wèn)題?機(jī)房穩(wěn)定性?監(jiān)控缺失?架構(gòu)單點(diǎn)二石器時(shí)代(2012.1?2014.6)nIIINagios,Cacti監(jiān)控運(yùn)維管理IDC衣礎(chǔ)mysqKmongodb、MFS文件系統(tǒng)腳本工具實(shí)現(xiàn)自動(dòng)化運(yùn)維服務(wù)器/VM網(wǎng)絡(luò)V1.0IDCJ理高可用架構(gòu)規(guī)模?IDC:1個(gè)?機(jī)柜:30個(gè)?服務(wù)器/VM:800臺(tái)?業(yè)務(wù):>100個(gè)?人力：運(yùn)維12個(gè)問(wèn)題?IBM刀箱、EMC存儲(chǔ)、Vmware虛擬化、硬件供應(yīng)商單一。去IOE?網(wǎng)絡(luò)不穩(wěn)定、活動(dòng)日流量突增。搭建新網(wǎng)絡(luò)架構(gòu)，帶寬冗余?機(jī)房資源不足擴(kuò)容難。遷移機(jī)房”資源冗余?部分業(yè)務(wù)架構(gòu)單點(diǎn)乍去單點(diǎn)，保證可靠

3、性?部署：手工操作，依賴于人。自動(dòng)化運(yùn)維工具?監(jiān)控：覆蓋率彳氐。定時(shí)巡檢?DB壓力e使用SSD?安全性較低。RSAToken+堡壘機(jī),自硏WAF,岀口ACL控制，采購(gòu)DDOS流量清洗服務(wù)三.青銅時(shí)代(2014.7-2015.12)規(guī)模?IDC:多個(gè)?機(jī)柜：＞150個(gè)?服務(wù)器/VM:＞4000臺(tái)?業(yè)務(wù)：＞200個(gè)?人力：運(yùn)維平臺(tái)35個(gè)問(wèn)題?標(biāo)準(zhǔn)化率低z監(jiān)控覆蓋率低，維護(hù)成本高，有效性低?標(biāo)準(zhǔn)化巡檢，監(jiān)控巡檢?機(jī)房擴(kuò)容難，成本高。遷移，了解行業(yè)價(jià)格?IOE、虛擬化方案。使用X86服務(wù)器，建立基于KVM的魅族云平臺(tái)?部分業(yè)務(wù)架構(gòu)單點(diǎn)。梳理單點(diǎn)業(yè)務(wù)，統(tǒng)一高可用架構(gòu)?故障多樣性。建立知識(shí)庫(kù)，

4、廠商技術(shù)支持?規(guī)模突增◎容量管理?資源擴(kuò)容效率低。資源冗余，自動(dòng)化裝機(jī)平臺(tái)?配置管理，準(zhǔn)確性低°流程化管理?業(yè)務(wù)可用性。架構(gòu)冗余，兩地三中心四.鐵器時(shí)代（201&］至今）FullnatLVSrouter邏軻/展小層PHPwJava.C、Ci、GolangZabbb（監(jiān)控、BI監(jiān)控_Jk.鼻1告警系統(tǒng)發(fā)布平臺(tái)°‘1域名平臺(tái)］自動(dòng)化運(yùn)維工幾業(yè)存MIIDC認(rèn)礎(chǔ):MysqKredis.mongodb.MFS.FastDFS.HOPS眼務(wù)器/KVM/Docker網(wǎng)絡(luò)V3.0裝機(jī)平臺(tái)事件系統(tǒng)CMDBSJ產(chǎn)管理■swIDCi*網(wǎng)規(guī)模?IDC:多個(gè)?機(jī)柜：>200個(gè)?服務(wù)器/VM:>6000臺(tái)?業(yè)

5、務(wù):>200個(gè)?人力：運(yùn)維平臺(tái)43個(gè)問(wèn)題?監(jiān)控問(wèn)題：監(jiān)控指標(biāo)量化、可視化◎統(tǒng)一告警平臺(tái)，告警收斂?機(jī)器套餐多,業(yè)務(wù)需求個(gè)性化J根據(jù)容量情況整合同類型機(jī)型?運(yùn)營(yíng)成本高，各業(yè)務(wù)ROI量化*資源使用考核，建立內(nèi)部營(yíng)收體系?工作流程化R工單系統(tǒng)?資源利用率低*容量系統(tǒng)?預(yù)案管理？定時(shí)演練顧總結(jié)基礎(chǔ)設(shè)施規(guī)劃（業(yè)務(wù)爆發(fā)式增長(zhǎng)）?IDC遷移,單個(gè)變多個(gè)，建設(shè)兩地三中心?保留足夠的機(jī)柜預(yù)留資源，保證快速部署需求?去IOE,建設(shè)以KVM為基礎(chǔ)的魅族云平臺(tái),引入Docker容器平臺(tái)，實(shí)現(xiàn)微服務(wù)監(jiān)控告警與定位（及時(shí)發(fā)現(xiàn)與定位）?告警分級(jí)：郵件、短信、釘釘?自動(dòng)化添加監(jiān)控設(shè)備，根據(jù)CMDB業(yè)務(wù)樹進(jìn)行巡檢，

6、保證監(jiān)控覆蓋率?BI告警，度量系統(tǒng)成本控制?提高資源使用率：監(jiān)控系統(tǒng)+容量管理平臺(tái)?容器服務(wù)化?供應(yīng)商管理，引入多家廠商?Flyme內(nèi)部結(jié)算，建立內(nèi)部營(yíng)收體系業(yè)務(wù)同質(zhì)化與差異性（維護(hù)成本）?標(biāo)準(zhǔn)化：OS標(biāo)準(zhǔn)化、硬件標(biāo)準(zhǔn)化、軟件標(biāo)準(zhǔn)化、架構(gòu)標(biāo)準(zhǔn)化、組件標(biāo)準(zhǔn)化、協(xié)議標(biāo)準(zhǔn)化?規(guī)范：日志規(guī)范、部署規(guī)范手工重復(fù)操作,依賴人（效率）?運(yùn)維自動(dòng)化、平臺(tái)化達(dá)到快速交付要求?上線流程+標(biāo)準(zhǔn)化打包+自助發(fā)布+灰度發(fā)布（持續(xù)交付）預(yù)案-異地雙活+快速切換措施?專線切換演練運(yùn)維整體架構(gòu)魅族的整體架構(gòu)還是跟多數(shù)互聯(lián)公司一樣，采用多級(jí)分層模式，目前所有的業(yè)務(wù)全部有高可用方案，應(yīng)用或DB至少2臺(tái)以上。當(dāng)然，具體

7、業(yè)務(wù)要復(fù)雜很多，以上只是抽象出簡(jiǎn)單層面。（點(diǎn)擊圖片可放大瀏覽）魅族的運(yùn)維平臺(tái)和技術(shù)平臺(tái)開發(fā)了很多實(shí)用的系統(tǒng)，這些系統(tǒng)組成了整體的運(yùn)維體系。在自動(dòng)化方面，我們也是摸著石頭過(guò)河，根據(jù)實(shí)際出發(fā)，找出痛點(diǎn)，歸納整理出需求，并考慮如何實(shí)現(xiàn)。我們的思路是定義優(yōu)先級(jí),任務(wù)分解，先做最容易的，最能提高效率點(diǎn)，再做整合，通過(guò)各個(gè)子系統(tǒng)的整合，慢慢形成適合自己的自動(dòng)化運(yùn)維框架。監(jiān)控系統(tǒng)接下來(lái)給大家介紹下我們的監(jiān)控系統(tǒng)，魅族基礎(chǔ)系統(tǒng)層監(jiān)控采用的zabbix，這也是當(dāng)前規(guī)模比較適合的一套監(jiān)系