| |
這是筆者最近親歷的一起網(wǎng)絡(luò)故障，故障比較典型，排錯思路比較可取。我把這個過程寫下來和大家分享，希望能夠幫助到你。
1、癥狀描述
客戶來電報告中心主網(wǎng)絡(luò)則基本正常，而一個子網(wǎng)突然變慢。這是本地鐵通網(wǎng)絡(luò)服務(wù)公司，該公司為普通用戶提供Web服務(wù)和Internet接入服務(wù)。前幾天其服務(wù)的一個片區(qū)的用戶反映網(wǎng)絡(luò)速度很慢，發(fā)Email也需要等待超過60秒以上的時間才能聯(lián)通。這個片區(qū)被劃分為一個子網(wǎng)，從主機房的網(wǎng)管系統(tǒng)上觀察發(fā)現(xiàn)除了該片區(qū)(子網(wǎng))路由器流量很高以外(測試為97%)，中心網(wǎng)絡(luò)的路由器與其它子網(wǎng)的交互流量均為40%以下。此外，沒有其它特別現(xiàn)象。
2、診斷過程
鐵通的維護人員自行進行了網(wǎng)絡(luò)排錯可惜沒有找到故障所在，由于不能斷開網(wǎng)絡(luò)停止用戶服務(wù)來進行檢查，于是求助于我們，本人被派出診。應(yīng)該說，從癥狀上看這個故障比較簡單，只要查出子網(wǎng)的路由流量來源就可以很快確定故障方向，進一步則立即可以查出流量源。
從網(wǎng)絡(luò)拓撲圖上看，故障子網(wǎng)與中心網(wǎng)絡(luò)為E1鏈路。故障子網(wǎng)下面有一個營業(yè)廳，一般只與中心網(wǎng)絡(luò)交互一些業(yè)務(wù)數(shù)據(jù)應(yīng)該不會有太大的流量。此外，該子網(wǎng)下的Web服務(wù)器數(shù)量為45臺，中心的網(wǎng)管系統(tǒng)報告97%的流量肯定是過高的。
筆者考慮只有一種情況可以比較多地占用E1通道的有效流量，那就是故障子網(wǎng)下的網(wǎng)站與中心網(wǎng)絡(luò)的網(wǎng)站或服務(wù)器之間有多媒體文檔的傳輸或者下載業(yè)務(wù)才會造成這種情況。不過詢問管理人員得知中心網(wǎng)絡(luò)并不提供諸如多媒體視頻的播放和下載服務(wù)，那只能借助工具進行檢測了。
由于故障網(wǎng)絡(luò)規(guī)模比較小，中心網(wǎng)絡(luò)的網(wǎng)管系統(tǒng)只支持到路由器一級的管理，交換機和服務(wù)器等采用的是廉價的桌面交換機，所以無法支持網(wǎng)絡(luò)管理。將網(wǎng)絡(luò)測試儀接入交換機進行測試，啟動便攜網(wǎng)管功能，可以看到路由器的流量和網(wǎng)管系統(tǒng)觀測的到的流量是相同的，均為97%左右。
查看中心網(wǎng)絡(luò)處與此相連的路由器流量，也是997%左右，這說明路由器通道鏈路性能基本正常。不過這樣高的通道流量必然導(dǎo)致路由器擁塞和丟包，所以從流量的角度看又是不正常的�，F(xiàn)在需要了解的是，如此高的路由流量是從哪里來的，以及數(shù)據(jù)包到達路由器以后的去向等。這樣就可以很快定位導(dǎo)致如此之高的通道流量的數(shù)據(jù)源和擁塞源。
將網(wǎng)絡(luò)流量分析儀接入網(wǎng)絡(luò)的路由器通道進行監(jiān)測和分析，結(jié)果顯示95%流量流向了業(yè)務(wù)數(shù)據(jù)服務(wù)器，且多數(shù)為HTTP和Email方面應(yīng)用。其中，Internet訪問流量占88%，本地流量占7%。查看流量分析儀指示的流量來源分布圖，沒有發(fā)現(xiàn)集中的流量應(yīng)用，IP地址分布比較均衡，最高的流量只占0.5%。這些數(shù)據(jù)表明，用戶的應(yīng)用比例均衡，故障原因應(yīng)該在應(yīng)用過程中而不是某個集中的用戶“轟擊”比如黑客等。也就是說，應(yīng)該是應(yīng)用的過程和通道出了問題。其原因是這些流量按通道設(shè)計不應(yīng)該到達營業(yè)廳網(wǎng)絡(luò)的業(yè)務(wù)服務(wù)器，而是應(yīng)該直接從中心網(wǎng)絡(luò)的Internet主路由器進入互聯(lián)網(wǎng)。那么，這些流量是如何被引導(dǎo)到營業(yè)廳服務(wù)器方向上來的呢?
下面我們進行進一步的分析，大家知道IP數(shù)據(jù)包在傳輸過程中會在路由器中作地址解析(ARP)，或是在本地DNS中進行域名分析。如果這些分析路徑出問題，則IP數(shù)據(jù)包的傳輸和交換就會出問題。根據(jù)流量分析儀的指示，筆者任意選擇了10個IP地址做路由追蹤測試，用網(wǎng)絡(luò)測試儀追蹤的結(jié)果是，他們都要經(jīng)過一個DNS服務(wù)器。而模仿營業(yè)廳網(wǎng)絡(luò)成員分別對已知的本地和外地用戶做ICMP監(jiān)測和路由追蹤測試，結(jié)果發(fā)現(xiàn)ICMP監(jiān)測中重定向數(shù)據(jù)包占82%，目標(biāo)不可達數(shù)據(jù)包數(shù)量占13%。這表明，只有約2%的用戶能一次性出入正常路由到達目標(biāo)站點，其余95%的IP數(shù)據(jù)包都要經(jīng)過路由競爭或重新發(fā)送才能有部分機會到達目的地。
由此，可以重點檢查主路由器的路由表和DNS的轉(zhuǎn)換表。由于多數(shù)Internet訪問流量被引導(dǎo)到了營業(yè)廳業(yè)務(wù)服務(wù)器，所以可以重點檢查DNS服務(wù)器。用網(wǎng)絡(luò)測試儀對DNS服務(wù)器做查詢，觀察查詢結(jié)果，發(fā)現(xiàn)DNS轉(zhuǎn)換表有相當(dāng)大的比例指向了營業(yè)廳子網(wǎng)中的業(yè)務(wù)服務(wù)器。筆者懷疑是DNS服務(wù)器出了問題!
于是通知中心網(wǎng)絡(luò)的網(wǎng)管人員將DNS服務(wù)器重新啟動并快速設(shè)置一次，稍后網(wǎng)絡(luò)管理人員報告網(wǎng)絡(luò)業(yè)務(wù)恢復(fù)正常。用網(wǎng)絡(luò)測試儀的Internet工具包查詢DNS服務(wù)器，可以看到指向營業(yè)廳業(yè)務(wù)服務(wù)器的數(shù)據(jù)已經(jīng)全部消失，這表明網(wǎng)絡(luò)已經(jīng)完全恢復(fù)了正常工作。但好景不長，約3分鐘后，故障重新出現(xiàn)，仍有97%的通道流量被指向了子網(wǎng)。
由于DNS服務(wù)器只設(shè)置了一臺，沒有備份或備用服務(wù)器，于是不得不立即來到中心網(wǎng)絡(luò)機房，對DNS服務(wù)器及其周圍設(shè)備進行檢查。測試服務(wù)器網(wǎng)卡和與路由器的電纜正常。為了不中斷服務(wù)，筆者讓網(wǎng)管人員在另一臺備用服務(wù)器上臨時安裝設(shè)置了DNS服務(wù)器。經(jīng)過短暫的業(yè)務(wù)中斷后，更換上的新DNS服務(wù)器開始投入適用。只見子網(wǎng)路由器的流量立刻降低到了1.5%。經(jīng)過30分鐘的穩(wěn)定工作后，所有用戶均恢復(fù)到正常工作狀態(tài)，故障消除。 |
| 【收藏】【打印】【進入論壇】 |
|
|
|
|
| |
|
|
|
