網站日志是記錄web服務器接收處理請求以及運行時錯誤等各種原始信息的以.log結尾文件。通過網站日志可以清楚的得知用戶在什么IP、什么時間、用什么操作系統、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網站的哪個頁面，是否訪問成功。(摘自百度百科)

對于專業從事搜索引擎優化工作者而言，網站日志可以記錄各搜索引擎蜘蛛機器人爬行網站的詳細情況，例如：哪個IP的百度蜘蛛機器人在哪天訪問了網站多少次，訪問了哪些頁面，以及訪問頁面時返回的HTTP狀態碼。

百度的蜘蛛程序名稱是baiduspider，Google的機器人程序名稱是Google-Googlebot等等，我們在網站日志的內容里搜索上述的的蜘蛛名就可以知道哪個搜索引擎已經爬取過網站了，這里就留下了他們的蛛絲馬跡。

再者，必須能看懂常見的http狀態碼，最常見的HTTP狀態碼有200(頁面抓取成功)、304(上次抓取的和這次抓取的沒變化)，404(未找到頁面，錯誤鏈接)，500(服務器未響應，一般由服務器維護和出故障，網站打不開時出現的)，這些狀態碼是我們必須能看懂的，服務器狀態碼的值是我們和蜘蛛交流的信號。知道了這些基本信息以后我們就可以根據網站日志進行分析了，一般來說我們只看百度和谷歌蜘蛛的爬行和抓取情況，當然有特殊需要的也可以對其他幾個蜘蛛的爬行情況進行分析。網站日志中出現大量的谷歌蜘蛛和百度蜘蛛，說明搜索引擎蜘蛛時常來光顧你的網站。

下面說下分析日志的時機，那么在什么情況下我們要去分析日志文件呢?

首先，新網站剛建立的時候，這個時候也是站長朋友最急切的時候，我們一般都會焦急的等待搜索引擎收錄網站內容，經常會做的事情就是去百度或者Google用命令site:下網站域名看看是否被收錄，這個時候，其實我們沒必要頻繁的查詢網站是否被收錄，要想知道搜索引擎是否關顧我們的網站。我們就可以借助網站日志文件來查看，怎么看?看網站日志是否有搜索引擎的蜘蛛來網站抓取過，看返回的狀態碼是200還是其他，如果返回200說明抓取成功，如果返回404說明頁面錯誤，或者頁面不存在，就需要做301永久重定向或者302暫時重定向。一般抓取成功后被搜索引擎放出來的時間也會晚點，一般谷歌機器人放出來的比較快，最快可秒殺，但是百度反應就慢了，最快也要一周左右，不過11月份百度算法調整后，放出來的速度還是很快的。

其次，當網站收錄異常時我們要把正常收錄的日志和異常的日志進行對比分析，找出問題所在，這樣可以解決網站收錄問題，也是對完整優化大有裨益的。

第三，網站被搜索引擎K掉后，我們必須要觀察網站日志文件來亡羊補牢，一般這種情況下，日志文件里只有很少的幾個蜘蛛爬行了首頁和robots，我們要找出被K的原因并改正，再提交給搜索引擎，接下來就可以通過觀察日志來看蜘蛛是否正常來臨，慢慢過一段時間，如果蜘蛛數量增加或者經常來臨并且返回200狀態嗎，那么恭喜你，你的網站又活了，如果半年都沒反應，那么建議放棄該域名重新再戰了。

很多站長朋友不懂得如何利用網站日志文件，遇到網站收錄問題就去提問別人，而不好好自檢，這是作為站長的悲哀。而且網上的很多軟文都提到要做好日志文件的分析，但是那只是軟文而已，說不定寫文章的作者都沒有去看日志文件。說到底，還是希望站長朋友一定不要忽略了網站日志文件，合理的利用好網站日志文件是一個站長必備的技能。再者說，看懂網站日志文件并不需要你有多么高深的編碼知識，其實只要看得懂html代碼和幾個返回的狀態碼就可以了，一定不能懶，或者抱著僥幸心理去對待你的網站，這種心理會導致你輸得很慘。如果你是一個小站長，如果你以前沒有意識到網站日志文件的重要性，那么從看到我寫的這篇文章開始要好好對待你的網站日志了。