1.網站打(da)開速度。
(1)服務器帶寬速度(du)會影響抓取(qu),如果(guo)訪問量過大,可以使用CDN加(jia)速或者直接MIP或者AMP改造。
2.簡單明了的網(wang)站(zhan)結構
Spider抓取相當于對web這個(ge)有(you)向圖進(jin)行遍歷(li),那(nei)么一個(ge)簡(jian)單(dan)明(ming)了結(jie)構層次分明(ming)的網站(zhan)肯定(ding)是它所(suo)喜歡的,并盡量保(bao)證spider的可讀性。
(1)樹型(xing)結構(gou)最 優的結構(gou)即“首頁—頻道—詳情頁”;
(2)扁平首頁到詳情頁的(de)層次盡量少,既(ji)對抓取友(you)好(hao)又可以很好(hao)的(de)傳遞(di)權重。
(3)網(wang)狀保(bao)證每個(ge)頁面(mian)都(dou)至少有一個(ge)文本鏈(lian)接指向,可(ke)以使網(wang)站盡可(ke)能全面(mian)的被抓取收錄,內鏈(lian)建設同樣(yang)對(dui)排序能夠(gou)產(chan)生積極(ji)作用。
(4)導(dao)(dao)航(hang)為(wei)每個頁面(mian)加一個導(dao)(dao)航(hang)方便用戶(hu)知曉所在路徑(jing)。
(5)子域與目錄的(de)選擇相信(xin)有大批的(de)站(zhan)長對此(ci)有疑(yi)問,在我們(men)看來(lai),當(dang)(dang)內(nei)容(rong)較少并且(qie)內(nei)容(rong)相關度較高(gao)時(shi)建(jian)議(yi)以(yi)目錄形(xing)式(shi)來(lai)實(shi)現,有利(li)于(yu)權(quan)重的(de)繼承與收斂;當(dang)(dang)內(nei)容(rong)量較多并且(qie)與主站(zhan)相關度略差(cha)時(shi)建(jian)議(yi)再以(yi)子域的(de)形(xing)式(shi)來(lai)實(shi)現。
3.簡潔美觀的url規則
(1)唯 一性網站中(zhong)同一內容頁只與唯 一一個url相(xiang)對應(ying),過多形式的url將分散該頁面的權重(zhong),并且目標url在系統中(zhong)有(you)被濾重(zhong)的風險;
(2)簡潔性動(dong)態參數盡(jin)量(liang)少(shao),保證url盡(jin)量(liang)短;
(3)美觀性使(shi)得用(yong)(yong)戶(hu)及機器能夠通過url即可判斷出(chu)頁面(mian)內(nei)容的(de)(de)主旨;我們推薦如下形式的(de)(de)url:url盡量(liang)短且易讀使(shi)得用(yong)(yong)戶(hu)能夠快速理解,例(li)如使(shi)用(yong)(yong)拼(pin)音(yin)作為目錄名(ming)稱;同一內(nei)容在系統中只產生(sheng)唯 一的(de)(de)url與之對應(ying),去(qu)掉無(wu)意(yi)義的(de)(de)參數;如果(guo)無(wu)法保證(zheng)url的(de)(de)******性,盡量(liang)使(shi)不同形式的(de)(de)url301到目標(biao)url;防(fang)止用(yong)(yong)戶(hu)輸錯的(de)(de)備用(yong)(yong)域名(ming)301至主域名(ming)。
(4)過(guo)多的(de)冗(rong)余(yu)代(dai)碼會(hui)嚴(yan)重影響蜘(zhi)蛛抓取的(de)效率(lv),尤(you)其是需(xu)要減少JS的(de)使用頻率(lv)。
4.其它(ta)注(zhu)意事(shi)項
(1)不要忽(hu)略(lve)倒霉的robots文件,默認情(qing)況下部分系統robots是封禁(jin)搜索引擎抓(zhua)取(qu)的,當(dang)網站建立后及時查看(kan)并書寫(xie)合適的robots文件,網站日常維(wei)護過程中也(ye)要注意定期檢查;
(2)建(jian)立網站sitemap文(wen)件、死鏈文(wen)件,并及時通(tong)過(guo)百度站長平(ping)臺進行提交;
(3)部(bu)分電商網站存在地域跳轉問(wen)題,有(you)貨無貨建議統一(yi)做成一(yi)個頁(ye)(ye)面(mian)(mian),在頁(ye)(ye)面(mian)(mian)中標識(shi)有(you)無貨即(ji)可,不要此地區無貨即(ji)返回一(yi)個無效頁(ye)(ye)面(mian)(mian),由(you)于spider出口的(de)有(you)限性將造(zao)成正常頁(ye)(ye)面(mian)(mian)無法收錄(lu)。
(4)合理利用站(zhan)長平(ping)臺提供(gong)的robots、sitemap、索引(yin)量(liang)、抓取(qu)壓力、死鏈(lian)提交、網(wang)站(zhan)改版等工具