“日志管理”包括自動(dòng)備份的設(shè)置、備份數(shù)據(jù)的導(dǎo)入和刪除等功能。
過(guò)去十年來(lái)，隨著分布式系統(tǒng)的發(fā)展，日志數(shù)據(jù)管理起來(lái)更加復(fù)雜。如今，系統(tǒng)中可以容納數(shù)以千計(jì)的服務(wù)器實(shí)例或者微服務(wù)容器，而所有這些實(shí)例或容器又會(huì)生成自己的日志數(shù)據(jù)。隨著以云為基礎(chǔ)的系統(tǒng)快速出現(xiàn)并占據(jù)主導(dǎo)地位，由機(jī)器所生成的日志數(shù)據(jù)呈爆炸性增長(zhǎng)。而日志管理隨之成為現(xiàn)代化IT運(yùn)營(yíng)中的重要任務(wù)，為包括調(diào)試、生產(chǎn)監(jiān)控、性能監(jiān)控、支持援助與故障查找之類(lèi)的許多用例提供輔助支撐。
1. 設(shè)立策略
日志記錄不可盲目，要對(duì)所記錄的內(nèi)容以及這樣做的原因進(jìn)行仔細(xì)考量。就像其他重要的IT組件一樣，記錄日志是需要策略的。在構(gòu)建DevOps設(shè)置時(shí)，甚至只是發(fā)布一個(gè)單獨(dú)的新功能時(shí)，都要確保做好日志記錄的計(jì)劃。沒(méi)有明確的戰(zhàn)略時(shí)，由于最終需要手動(dòng)管理一個(gè)日漸龐大的日志數(shù)據(jù)集，識(shí)別重要信息的過(guò)程就會(huì)變得極為復(fù)雜。
在策劃日志戰(zhàn)略時(shí)，需要從自身角度考慮什么是最重要的，想要從日志中獲得什么價(jià)值。你的計(jì)劃應(yīng)當(dāng)包含：日志的記錄方式與工具，數(shù)據(jù)托管的位置，以及最重要的——具體要尋找什么信息。
2. 日志數(shù)據(jù)的結(jié)構(gòu)
除了要制定策略，還要考慮日志格式，這點(diǎn)也很重要。如果日志格式難以理解，想要識(shí)別日志，并從中總結(jié)出見(jiàn)解就很困難。無(wú)論對(duì)象是機(jī)器還是人類(lèi)，日志的結(jié)構(gòu)都應(yīng)當(dāng)清晰易懂。
管理者能夠通過(guò)易讀的日志更容易地找到故障，有時(shí)候還能使用日志管理服務(wù)對(duì)日志數(shù)據(jù)做進(jìn)一步處理，讓得出的見(jiàn)解更有深度，數(shù)據(jù)可視化更為優(yōu)秀。兩種常見(jiàn)的日志結(jié)構(gòu)格式分別是JSON和KVP(主鍵配對(duì))。兩種日志數(shù)據(jù)均清晰易懂，適合人類(lèi)理解，并且方便記錄日志的軟件解決方案從半結(jié)構(gòu)化的格式中提取信息。
3. 日志數(shù)據(jù)的分離與集中
日志應(yīng)當(dāng)由系統(tǒng)自動(dòng)收集并發(fā)送到集中的地點(diǎn)，與生產(chǎn)環(huán)境相分離。合并日志數(shù)據(jù)促進(jìn)管理的有序與分析能力的增強(qiáng)，管理者能夠有效地運(yùn)行交叉分析，并識(shí)別不同數(shù)據(jù)源之間的關(guān)聯(lián)。將日志數(shù)據(jù)集中化同時(shí)也降低了在自動(dòng)擴(kuò)展環(huán)境中損失日志數(shù)據(jù)的風(fēng)險(xiǎn)。
將日志數(shù)據(jù)轉(zhuǎn)發(fā)到統(tǒng)一的位置后，系統(tǒng)管理員可以授權(quán)開(kāi)發(fā)者、QA和支持團(tuán)隊(duì)訪問(wèn)日志數(shù)據(jù)，而無(wú)需賦予他們?cè)L問(wèn)生產(chǎn)環(huán)境的權(quán)限。因而，這些團(tuán)隊(duì)可以使用日志數(shù)據(jù)調(diào)試，但不會(huì)有影響生產(chǎn)環(huán)境的風(fēng)險(xiǎn)。復(fù)制與獨(dú)立化的日志數(shù)據(jù)也解決了相應(yīng)的安全漏洞，避免攻擊者刪除日志數(shù)據(jù)，就算系統(tǒng)被破壞了，日志仍是安全的。
4. 端對(duì)端記錄日志
為了簡(jiǎn)化定位故障的復(fù)雜度，在應(yīng)用和系統(tǒng)層面獲得更全局化的觀點(diǎn)，應(yīng)當(dāng)在所有系統(tǒng)組件中監(jiān)控并記錄日志。大多數(shù)人都知道要記錄服務(wù)器日志，比如Windows的安全日志。但是，在底層基礎(chǔ)架構(gòu)、應(yīng)用層面和終端用戶客戶端記錄所有相關(guān)的指標(biāo)與事件也同樣重要。
端對(duì)端日志記錄讓管理者得以從終端用戶的角度了解系統(tǒng)性能，比如網(wǎng)絡(luò)延遲、數(shù)據(jù)庫(kù)事務(wù)處理延遲與頁(yè)面加載時(shí)間。在這些地方清楚明了有利于提供無(wú)縫的用戶體驗(yàn)。
5. 相關(guān)數(shù)據(jù)來(lái)源
將端對(duì)端日志統(tǒng)一記錄到集中的地方，就可以動(dòng)態(tài)聚合不同來(lái)源的各類(lèi)數(shù)據(jù)流，比如來(lái)自應(yīng)用的、服務(wù)器的、用戶的和CDN的，從而分析得到相應(yīng)的關(guān)鍵趨勢(shì)與指標(biāo)。這些關(guān)聯(lián)的數(shù)據(jù)可以讓管理者快速準(zhǔn)確識(shí)別并理解導(dǎo)致系統(tǒng)故障的事件。例如，實(shí)時(shí)發(fā)現(xiàn)基礎(chǔ)設(shè)施資源使用與應(yīng)用出錯(cuò)率之間的關(guān)聯(lián)，能夠協(xié)助管理者在終端用戶受到影響前先一步識(shí)別出異常與影響。
6. 使用唯一標(biāo)識(shí)符
在調(diào)試、支持救援與分析中使用唯一的標(biāo)識(shí)符非常有用。通過(guò)標(biāo)識(shí)符可以追蹤特定的用戶會(huì)話，并精確地找出某個(gè)用戶的活動(dòng)。如果知道用戶的唯一ID，就能搜索到某一時(shí)段用戶的所有活動(dòng)。一旦用戶活動(dòng)出現(xiàn)中斷，可以通過(guò)追蹤整個(gè)事務(wù)來(lái)查找。
7. 增加背景信息
將日志用做數(shù)據(jù)時(shí)，考慮每個(gè)數(shù)據(jù)點(diǎn)的背景情況非常重要。了解用戶點(diǎn)擊了一個(gè)按鈕，也許比不上知道用戶具體點(diǎn)擊了“購(gòu)買(mǎi)”按鈕。增加額外的背景能夠揭示購(gòu)買(mǎi)模式。如果用戶的購(gòu)買(mǎi)請(qǐng)求出現(xiàn)錯(cuò)誤，相應(yīng)背景也能讓問(wèn)題更快解決。
8. 執(zhí)行實(shí)時(shí)監(jiān)控
服務(wù)中斷會(huì)引發(fā)一系列不幸的結(jié)果，包括引發(fā)用戶不滿、購(gòu)買(mǎi)意向流失與數(shù)據(jù)丟失。一旦出現(xiàn)生產(chǎn)層面的問(wèn)題，在這個(gè)爭(zhēng)分奪秒的時(shí)刻，實(shí)時(shí)監(jiān)控非常重要。
除了發(fā)布簡(jiǎn)單的通知之外，能夠?qū)崟r(shí)分析問(wèn)題與識(shí)別重要信息也同樣重要。在日志數(shù)據(jù)中能夠查看“實(shí)時(shí)軌跡”，使開(kāi)發(fā)者和管理者能夠在用戶與應(yīng)用或系統(tǒng)互動(dòng)時(shí)分析日志事件。搜索并報(bào)告“實(shí)時(shí)軌跡”還能讓支持團(tuán)隊(duì)對(duì)用戶的問(wèn)題進(jìn)行分析與解決。
9. 使用日志來(lái)識(shí)別關(guān)鍵趨勢(shì)
查找故障和調(diào)試只涉及了日志數(shù)據(jù)提供的表層信息。之前，查找日志曾因過(guò)于費(fèi)勁，而被認(rèn)為是查找信息的最終手段，而如今的日志服務(wù)可以讓所有人——包括開(kāi)發(fā)者、數(shù)據(jù)科學(xué)家都能從應(yīng)用和系統(tǒng)中識(shí)別出有用的趨勢(shì)與關(guān)鍵的見(jiàn)解。
10. 增強(qiáng)整個(gè)團(tuán)隊(duì)
只開(kāi)放給高級(jí)技術(shù)團(tuán)隊(duì)的日志管理與分析服務(wù)嚴(yán)重限制了公司從日志數(shù)據(jù)中獲得好處的機(jī)會(huì)。日志管理與分析工具應(yīng)當(dāng)能讓開(kāi)發(fā)者實(shí)時(shí)追蹤調(diào)試，讓管理者實(shí)時(shí)收到警報(bào)，讓數(shù)據(jù)科學(xué)家集合數(shù)據(jù)并可視化，讓支持團(tuán)隊(duì)執(zhí)行實(shí)時(shí)搜索與篩選，而無(wú)需賦予他們?cè)L問(wèn)生產(chǎn)環(huán)境的權(quán)限。