1.1 Linux運(yùn)維的主要工作內(nèi)容

1、什么是linux運(yùn)維

運(yùn)維是指大型組織已經(jīng)建立好的網(wǎng)絡(luò)軟硬件的維護(hù)，就是要保證業(yè)務(wù)的上線與運(yùn)作的正常。

在他運(yùn)轉(zhuǎn)的過程中，對他進(jìn)行維護(hù)，他集合了網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫、開發(fā)、安全、監(jiān)控于一身的技術(shù)。

運(yùn)維又包括很多種，有DBA運(yùn)維、網(wǎng)站運(yùn)維、虛擬化運(yùn)維、監(jiān)控運(yùn)維、游戲運(yùn)維等等。

運(yùn)維分類：

1）開發(fā)運(yùn)維：是給應(yīng)用運(yùn)維開發(fā)運(yùn)維工具和運(yùn)維平臺(tái)的

2）應(yīng)用運(yùn)維：是給業(yè)務(wù)上線、維護(hù)和做故障排除的，用開發(fā)運(yùn)維開發(fā)出來的工具給業(yè)務(wù)上線、維護(hù)、做故障排查

3）系統(tǒng)運(yùn)維：是給應(yīng)用運(yùn)維提供業(yè)務(wù)上的基礎(chǔ)設(shè)施，比如：系統(tǒng)、網(wǎng)絡(luò)、監(jiān)控、硬件等等

2、基礎(chǔ)運(yùn)維常見工作內(nèi)容

服務(wù)監(jiān)控技術(shù)：包括監(jiān)控平臺(tái)的研發(fā)、應(yīng)用，服務(wù)監(jiān)控準(zhǔn)確性、實(shí)時(shí)性、全面性的保障

服務(wù)故障管理：包括服務(wù)的故障預(yù)案設(shè)計(jì)，預(yù)案的自動(dòng)化執(zhí)行，故障的總結(jié)并反饋到產(chǎn)品/系統(tǒng)的設(shè)計(jì)層面進(jìn)行優(yōu)化以提高產(chǎn)品的穩(wěn)定性

服務(wù)容量管理：測量服務(wù)的容量，規(guī)劃服務(wù)的機(jī)房建設(shè)，擴(kuò)容、遷移等工作

服務(wù)性能優(yōu)化：從各個(gè)方向，包括網(wǎng)絡(luò)優(yōu)化、操作系統(tǒng)優(yōu)化、應(yīng)用優(yōu)化、客戶端優(yōu)化等，提高服務(wù)的性能和響應(yīng)速度，改善用戶體驗(yàn)

服務(wù)全局流量調(diào)度：接入服務(wù)的流量，根據(jù)容量和服務(wù)狀態(tài)在各個(gè)機(jī)房間分配流量

服務(wù)安全保障：包括服務(wù)的訪問安全、防攻擊、權(quán)限控制等

服務(wù)自動(dòng)發(fā)布部署：部署平臺(tái)/工具的研發(fā)，及平臺(tái)/工具的使用，做到安全、高效的發(fā)布服務(wù)

服務(wù)集群管理：包括服務(wù)的服務(wù)器管理、大規(guī)模集群管理等

服務(wù)成本優(yōu)化：盡可能降低服務(wù)運(yùn)行使用的資源，降低服務(wù)運(yùn)行成本

數(shù)據(jù)庫管理（DBA）：通過設(shè)計(jì)、開發(fā)和管理高性能數(shù)據(jù)庫集群，使數(shù)據(jù)庫服務(wù)更穩(wěn)定、更高效、更易于管理。

平臺(tái)化的開發(fā)：類docker等平臺(tái)的開發(fā)管理，及服務(wù)接入技術(shù)

1.2 Linux運(yùn)維工作發(fā)展過程

1、手工管理階段

1）業(yè)務(wù)規(guī)模

業(yè)務(wù)流量不大，服務(wù)器數(shù)量相對較少，系統(tǒng)復(fù)雜度不高。

對于日常的業(yè)務(wù)管理操作，大家更多的是逐臺(tái)登錄服務(wù)器進(jìn)行手工操作，屬于各自為戰(zhàn)。

每個(gè)人都有自己的操作方式，缺少必要的操作標(biāo)準(zhǔn)、流程機(jī)制，比如業(yè)務(wù)目錄環(huán)境都是各式各樣的。

2）工作職責(zé)

早期的運(yùn)維團(tuán)隊(duì)在人員較少的情況下，主要是進(jìn)行數(shù)據(jù)中心建設(shè)、基礎(chǔ)網(wǎng)絡(luò)建設(shè)、服務(wù)器采購和服務(wù)器安裝交付工作。

幾乎很少涉及線上服務(wù)的變更、監(jiān)控、管理等工作。

這個(gè)時(shí)候的運(yùn)維團(tuán)隊(duì)更多的屬于基礎(chǔ)建設(shè)的角色，提供一個(gè)簡單、可用的網(wǎng)絡(luò)環(huán)境和系統(tǒng)環(huán)境即可。

2、工具批量操作階段

1）業(yè)務(wù)規(guī)模

隨著服務(wù)器規(guī)模、系統(tǒng)復(fù)雜度的增加，全人工的操作方式已經(jīng)不能滿足業(yè)務(wù)的快速發(fā)展需要。

因此，運(yùn)維人員逐漸開始使用批量化的操作工具，針對不同操作類型出現(xiàn)了不同的腳本程序。

此時(shí)，雖然效率提升了一部分，但很快又遇到了瓶頸，操作的質(zhì)量并沒有太多的提升。

我們開始建立大量的流程規(guī)范，比如復(fù)查機(jī)制，先上線一臺(tái)服務(wù)器觀察10分鐘后再繼續(xù)后面的操作，一次升級完成后至少要觀察20分鐘等。

這些主要還是靠人來監(jiān)督和執(zhí)行，但在實(shí)際過程中執(zhí)行往往不到位，反而降低了工作效率。

2）工作職責(zé)

這個(gè)時(shí)候的運(yùn)維團(tuán)隊(duì)還會(huì)承擔(dān)一些服務(wù)器監(jiān)控的工作，同時(shí)會(huì)負(fù)責(zé)LVS、Nginx等與業(yè)務(wù)邏輯無關(guān)的4/7層運(yùn)維工作。

這個(gè)時(shí)候服務(wù)變更更多的是逐臺(tái)的手工操作，或者有一些簡單批量腳本的出現(xiàn)。

監(jiān)控的焦點(diǎn)更多的在服務(wù)器狀態(tài)和資源使用情況上，對服務(wù)應(yīng)用狀態(tài)的監(jiān)控幾乎很少，監(jiān)控更多的使用各種開源系統(tǒng)如Nagios、Cacti等。

3、平臺(tái)管理階段

1）業(yè)務(wù)規(guī)模

在這個(gè)階段，我們決定開始建設(shè)運(yùn)維平臺(tái)，通過平臺(tái)承載標(biāo)準(zhǔn)、流程，進(jìn)而解放人力和提高質(zhì)量。

這個(gè)時(shí)候?qū)Ψ?wù)的變更動(dòng)作進(jìn)行了抽象，形成了操作方法、服務(wù)目錄環(huán)境、服務(wù)運(yùn)行方式等統(tǒng)一的標(biāo)準(zhǔn)。

通過平臺(tái)來約束操作流程，如上面提到的上線一臺(tái)服務(wù)器觀察10分鐘，程序的啟停接口必須包括啟動(dòng)、停止、重載等。

在平臺(tái)中強(qiáng)制設(shè)定暫停檢查點(diǎn)，在第一臺(tái)服務(wù)器操作完成后，需要運(yùn)維人員填寫相應(yīng)的檢查項(xiàng)，然后才可以繼續(xù)執(zhí)行后續(xù)的部署動(dòng)作。

2）工作職責(zé)

由于業(yè)務(wù)規(guī)模和復(fù)雜度的持續(xù)增加，運(yùn)維團(tuán)隊(duì)會(huì)逐漸劃分為應(yīng)用運(yùn)維和系統(tǒng)運(yùn)維兩大塊。

應(yīng)用運(yùn)維開始接手線上業(yè)務(wù)，逐步開展服務(wù)監(jiān)控梳理、數(shù)據(jù)備份以及服務(wù)變更的工作。

隨著對服務(wù)的深入，應(yīng)用運(yùn)維工程師有能力開始對服務(wù)進(jìn)行一些簡單的優(yōu)化。

同時(shí)，為了應(yīng)對每天大量的服務(wù)變更，我們也開始編寫各類運(yùn)維工具，針對某些特定的服務(wù)能夠很方便的批量變更。

隨著業(yè)務(wù)規(guī)模的增大，基礎(chǔ)設(shè)施由于容量規(guī)劃不足或抵御風(fēng)險(xiǎn)能力較弱導(dǎo)致的故障也越來越多，迫使運(yùn)維人員開始將更多的精力投入到多數(shù)據(jù)中心容災(zāi)、預(yù)案管理的方向上。

4、系統(tǒng)自調(diào)度階段

1）工作環(huán)境

更大規(guī)模的服務(wù)數(shù)量、更復(fù)雜的服務(wù)關(guān)聯(lián)關(guān)系、各個(gè)運(yùn)維平臺(tái)的林立，原有的將批量操作轉(zhuǎn)化成平臺(tái)操作的方式已經(jīng)不再適合。

需要對服務(wù)變更進(jìn)行更高一層的抽象，將每一臺(tái)服務(wù)器抽象成一個(gè)容器，由調(diào)度系統(tǒng)根據(jù)資源使用情況，將服務(wù)調(diào)度、部署到合適的服務(wù)器上。

自動(dòng)化完成與周邊各個(gè)運(yùn)維系統(tǒng)的聯(lián)動(dòng)，比如監(jiān)控系統(tǒng)、日志系統(tǒng)、備份系統(tǒng)等。

通過自調(diào)度系統(tǒng)，根據(jù)服務(wù)運(yùn)行情況動(dòng)態(tài)伸縮容量，能夠自動(dòng)化處理常見的服務(wù)故障。

運(yùn)維人員的工作也會(huì)前置到產(chǎn)品設(shè)計(jì)階段，協(xié)助研發(fā)人員改造服務(wù)使其可以接入到自調(diào)度系統(tǒng)中。

2）工作職責(zé)

業(yè)務(wù)規(guī)模達(dá)到一定程度后，開源的監(jiān)控系統(tǒng)在性能和功能方面，已經(jīng)無法滿足業(yè)務(wù)需求;

大量的服務(wù)變更、復(fù)雜的服務(wù)關(guān)系，以前靠人工記錄、工具變更的方式不管在效率還是準(zhǔn)確性方面也都無法滿足業(yè)務(wù)需求;

在安全方面也出現(xiàn)了各種大大小小的事件，迫使我們投入更多的精力在安全防御上。

逐漸的，運(yùn)維團(tuán)隊(duì)形成之前提到的5個(gè)大的工作分類，每個(gè)分類都需要有專精的人才。

這個(gè)時(shí)候系統(tǒng)運(yùn)維更專注于基礎(chǔ)設(shè)施的建設(shè)和運(yùn)維，提供穩(wěn)定、高效的網(wǎng)絡(luò)環(huán)境，交付服務(wù)器等資源給應(yīng)用運(yùn)維工程師。

應(yīng)用運(yùn)維更專注于服務(wù)運(yùn)行狀態(tài)和效率，數(shù)據(jù)庫運(yùn)維屬于應(yīng)用運(yùn)維工作的細(xì)化，更專注于數(shù)據(jù)庫領(lǐng)域的自動(dòng)化、性能優(yōu)化和安全防御。

運(yùn)維研發(fā)和運(yùn)維安全提供各類平臺(tái)、工具，MT5使用進(jìn)一步提升運(yùn)維工程師的工作效率，使業(yè)務(wù)服務(wù)運(yùn)行得更加穩(wěn)定、高效和安全。

1.3 Linux運(yùn)維工作分類

1、應(yīng)用運(yùn)維（SRE）：

應(yīng)用運(yùn)維負(fù)責(zé)線上服務(wù)的變更、服務(wù)狀態(tài)監(jiān)控、服務(wù)容災(zāi)和數(shù)據(jù)備份等工作，對服務(wù)進(jìn)行例行排查、故障應(yīng)急處理等工作

工作職責(zé)如下：設(shè)計(jì)評審、服務(wù)管理、資源管理、例行檢查、預(yù)案管理、數(shù)據(jù)備份。

2、系統(tǒng)運(yùn)維（SYS）：

負(fù)責(zé)IDC、網(wǎng)絡(luò)、CDN和基礎(chǔ)服務(wù)的建設(shè)（LVS、NTP、DNS）;

負(fù)責(zé)資產(chǎn)管理，服務(wù)器選型、交付和維修，網(wǎng)絡(luò)建設(shè)、LVS負(fù)載均衡和SNAT建設(shè)

3、運(yùn)維開發(fā)

是給應(yīng)用運(yùn)維開發(fā)運(yùn)維工具和運(yùn)維平臺(tái)的

主要包含的平臺(tái)：工單系統(tǒng)、CMDB、監(jiān)控系統(tǒng)、ELK日志系統(tǒng)、CI/CD、LDAP、FAQ、培訓(xùn)系統(tǒng)、OpenStack平臺(tái)

4、數(shù)據(jù)庫運(yùn)維（DBA）：

數(shù)據(jù)庫運(yùn)維負(fù)責(zé)數(shù)據(jù)存儲(chǔ)方案設(shè)計(jì)、數(shù)據(jù)庫表設(shè)計(jì)、索引設(shè)計(jì)和SQL優(yōu)化，

對數(shù)據(jù)庫進(jìn)行變更、監(jiān)控、備份、高可用設(shè)計(jì)等工作，詳細(xì)的工作內(nèi)容如下

設(shè)計(jì)評審、容量規(guī)劃、數(shù)據(jù)備份與災(zāi)備、數(shù)據(jù)庫監(jiān)控、數(shù)據(jù)庫安全、數(shù)據(jù)庫高可用和性能優(yōu)化

自動(dòng)化系統(tǒng)建設(shè)、運(yùn)維研發(fā)、運(yùn)維平臺(tái)、監(jiān)控系統(tǒng)、自動(dòng)化部署系統(tǒng)

5、運(yùn)維安全（SEC）：

運(yùn)維安全負(fù)責(zé)網(wǎng)絡(luò)、系統(tǒng)和業(yè)務(wù)等方面的安全加固工作

進(jìn)行常規(guī)的安全掃描、滲透測試，進(jìn)行安全工具和系統(tǒng)研發(fā)以及安全事件應(yīng)急處理

工作內(nèi)容如下：安全制度建立、安全培訓(xùn)、風(fēng)險(xiǎn)評估、安全建設(shè)、安全合規(guī)、應(yīng)急響應(yīng)。