百度百科全書將網(wǎng)站日志定義為網(wǎng)站日志是記錄各種原始信息的文件,如web服務(wù)器的接收和處理請(qǐng)求以及操作過程中的錯(cuò)誤。具體來說,它應(yīng)該是一個(gè)服務(wù)器日志,我們都知道,網(wǎng)站日志對(duì)網(wǎng)站排名具有重要的指導(dǎo)意義,沒有網(wǎng)站(服務(wù)器)日志務(wù)器)日志分開。網(wǎng)站日志記錄了完整的網(wǎng)站運(yùn)行信息,主要包括訪問者信息(如訪問者)IP、使用什么樣的瀏覽器,操作系統(tǒng),訪問時(shí)間等。),蜘蛛抓取網(wǎng)站(抓取哪個(gè)目錄,抓取哪個(gè)蜘蛛等。),操作錯(cuò)誤信息(主要看一些http狀態(tài)碼)。這么多奇怪的數(shù)字串有什么信息?我們需要注意***是什么?
一、抓蜘蛛
1、我們稱之為蜘蛛。每只蜘蛛也有自己的代碼。在網(wǎng)站日志中,檢查主流蜘蛛是否訪問網(wǎng)站。如果沒有,可能會(huì)被網(wǎng)站屏蔽。您可以查看該網(wǎng)站robots文件設(shè)置。
2、對(duì)于哪些目錄,統(tǒng)計(jì)蜘蛛對(duì)網(wǎng)站目錄的爬網(wǎng)情況,各級(jí)網(wǎng)站目錄的爬網(wǎng)是否正常,一些需要改進(jìn)的目錄是否有爬網(wǎng)。如果沒有,則需要調(diào)整網(wǎng)站內(nèi)部鏈或增加外部鏈,提高柱重,引導(dǎo)蜘蛛爬行。此外,蜘蛛可能會(huì)捕獲一些毫無意義的目錄,例如我們不想讓搜索引擎知道的信息,然后我們可以阻止它們。
3、哪些頁面被爬上網(wǎng)來統(tǒng)計(jì)蜘蛛對(duì)網(wǎng)站頁面的爬上網(wǎng)?通過一段時(shí)間的觀察,你會(huì)發(fā)現(xiàn)一些蜘蛛經(jīng)常爬行的頁面,分析蜘蛛為什么喜歡這些頁面,這些頁面和其他頁面有什么區(qū)別,以及其他頁面是否可以作為參考。此外,通過分析網(wǎng)頁捕獲,我們還可以了解網(wǎng)站的一些問題,如重復(fù)頁面問題URL標(biāo)準(zhǔn)化問題等。
百度排名優(yōu)化離不開網(wǎng)站(服務(wù)器)日志工具
蜘蛛經(jīng)常訪問網(wǎng)站,表明他們喜歡網(wǎng)站,經(jīng)常看到網(wǎng)站內(nèi)容是否更新,這對(duì)網(wǎng)站有好處。如果每十天半只有一次,網(wǎng)站的內(nèi)容可能需要更頻繁地更新。此外,還應(yīng)添加一些額外的鏈來指導(dǎo)蜘蛛訪問網(wǎng)站。停留時(shí)間的長度可以反映蜘蛛對(duì)網(wǎng)站的偏好。需要注意的是,如果停留時(shí)間長,但爬行量低,就會(huì)出現(xiàn)問題,這可能是由蜘蛛爬行網(wǎng)站內(nèi)容或網(wǎng)站內(nèi)容質(zhì)量低造成的。只有結(jié)合這三個(gè)指標(biāo),我們才能獲得更有價(jià)值的信息。
1、HTTP狀態(tài)碼主要集中在404、500、302等。不用說,盡量定期組織死鏈接并提交給網(wǎng)站管理員平臺(tái)。如果經(jīng)常發(fā)生500,可能是服務(wù)器問題,比如內(nèi)容太多,服務(wù)器不能滿足需求,超負(fù)荷運(yùn)行,會(huì)加班,無法訪問。302是一個(gè)臨時(shí)的重定位。這取決于問題是什么。搜索引擎更喜歡301。如果可以,玩301。
5、通過日志分析,及時(shí)了解網(wǎng)站是否安全。當(dāng)然,我們?cè)诰W(wǎng)站的日志分析中看到的并不像看起來那么簡單。