第一、FLASH
有的網(wǎng)站整個(gè)首頁(yè)就是一個(gè)很大的flash，這就構(gòu)成了蜘蛛陷阱。搜索引擎住宅區(qū)的html代碼只有一個(gè)鏈向flash文件的鏈接，沒有其他文字內(nèi)容。
還有網(wǎng)站在首頁(yè)的banner就使用一個(gè)flash，并且添加活動(dòng)鏈接，雖然對(duì)用戶來說能夠直觀的看到活動(dòng)內(nèi)容，但是對(duì)于蜘蛛來說，就無法識(shí)別，而且抓取不到flash的鏈向地址。
第二、Session ID
有些網(wǎng)站使用sission ID（會(huì)話ID）跟蹤用戶訪問，每個(gè)用戶訪問都會(huì)生成一個(gè)獨(dú)特唯一的session ID，加在URL中。搜索引擎蜘蛛的每一次訪問也會(huì)被當(dāng)成一個(gè)新的用戶，URL中會(huì)加上一個(gè)不同的session ID，這樣搜索引擎每次來訪問時(shí)所得到的同一個(gè)頁(yè)面的URL將不一樣，后面帶著一個(gè)不一樣的session ID。這也是最常見的蜘蛛陷阱之一。
第三、各種跳轉(zhuǎn)
除了301跳轉(zhuǎn)以外，搜索引擎蜘蛛對(duì)其他形式的跳轉(zhuǎn)都比較敏感，如302跳轉(zhuǎn)，javascript跳轉(zhuǎn)、meta refresh 跳轉(zhuǎn)。
如果必須轉(zhuǎn)向，301轉(zhuǎn)向是搜索引擎推薦的、用于網(wǎng)站更改的轉(zhuǎn)向，可以吧頁(yè)面權(quán)重從舊網(wǎng)址轉(zhuǎn)移到新網(wǎng)址。其他的轉(zhuǎn)向方式都對(duì)蜘蛛爬行不利。所以除非萬(wàn)不得已，盡量不要使用301轉(zhuǎn)向以外的跳轉(zhuǎn)。
第四、框架結(jié)構(gòu)
使用框架結(jié)構(gòu)設(shè)計(jì)頁(yè)面，在網(wǎng)站誕生初期曾經(jīng)聽流行，但是現(xiàn)在網(wǎng)站已經(jīng)很少使用框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一，對(duì)于搜索引擎來說，訪問一個(gè)使用框架的網(wǎng)址所抓取的html只包含調(diào)用其他html文件的代碼，并不包含任何文字信息。搜索引擎無法判斷這個(gè)網(wǎng)址的內(nèi)容是什么。
總之，如果你的網(wǎng)站還在使用框架，或者你的老板要使用框架結(jié)構(gòu)，唯一要記住的是，忘記使用框架這回事。和Flash一樣，別浪費(fèi)時(shí)間研究怎么讓搜索引擎收錄框架結(jié)構(gòu)網(wǎng)站。
第五、動(dòng)態(tài)URL
動(dòng)態(tài)URL值的是數(shù)據(jù)庫(kù)驅(qū)動(dòng)的網(wǎng)站所生成的、帶有問號(hào)、等號(hào)及參數(shù)的網(wǎng)址。一般來說動(dòng)態(tài)URL不利于搜索引擎蜘蛛爬行，應(yīng)該盡量避免。雖然百度現(xiàn)在已經(jīng)能夠識(shí)別動(dòng)態(tài)URL了，但是也不能保證百分百能識(shí)別。
第六、javaScript鏈接
由于javaScript可以創(chuàng)再出很多吸引人的視覺效果，有些網(wǎng)站喜歡使用javascript腳本生成導(dǎo)航系統(tǒng)。這也是比較嚴(yán)重的蜘蛛陷阱之一，雖然搜索引擎都在嘗試解析JS腳本，不過我們不能寄希望與搜索引擎自己去客服困難，而要讓搜索引擎跟蹤爬行鏈接的工作盡量簡(jiǎn)單容易。
jacascritp鏈接在SEo中也有特殊用途，那就是站長(zhǎng)不希望被收錄的頁(yè)面，比希望被百度抓起的鏈接，可以使用javascript腳本阻止搜索引擎蜘蛛爬行
第七、要求登錄
有些網(wǎng)站的內(nèi)容需要用戶登錄后才能看到的頁(yè)面，這部分內(nèi)容搜索引擎是無法看到的。這個(gè)要注意確定是否是需要登錄以后才能看到。
第八、強(qiáng)制使用cookies
很多網(wǎng)站為了實(shí)現(xiàn)某種功能，強(qiáng)制使用cookies,用戶瀏覽器如果沒有啟用cookies，頁(yè)面顯示不正常。搜索引擎蜘蛛就相當(dāng)于一個(gè)禁止了cookies的瀏覽器，強(qiáng)制使用cookies只能造成搜索引擎蜘蛛無法正常訪問。
雖然現(xiàn)在搜索引擎在不斷完善他的抓取功能，但是我們也要盡量避免不友好的頁(yè)面，不然會(huì)給我們的網(wǎng)站帶來不必要的麻煩。
有的網(wǎng)站整個(gè)首頁(yè)就是一個(gè)很大的flash，這就構(gòu)成了蜘蛛陷阱。搜索引擎住宅區(qū)的html代碼只有一個(gè)鏈向flash文件的鏈接，沒有其他文字內(nèi)容。
還有網(wǎng)站在首頁(yè)的banner就使用一個(gè)flash，并且添加活動(dòng)鏈接，雖然對(duì)用戶來說能夠直觀的看到活動(dòng)內(nèi)容，但是對(duì)于蜘蛛來說，就無法識(shí)別，而且抓取不到flash的鏈向地址。
第二、Session ID
有些網(wǎng)站使用sission ID（會(huì)話ID）跟蹤用戶訪問，每個(gè)用戶訪問都會(huì)生成一個(gè)獨(dú)特唯一的session ID，加在URL中。搜索引擎蜘蛛的每一次訪問也會(huì)被當(dāng)成一個(gè)新的用戶，URL中會(huì)加上一個(gè)不同的session ID，這樣搜索引擎每次來訪問時(shí)所得到的同一個(gè)頁(yè)面的URL將不一樣，后面帶著一個(gè)不一樣的session ID。這也是最常見的蜘蛛陷阱之一。
第三、各種跳轉(zhuǎn)
除了301跳轉(zhuǎn)以外，搜索引擎蜘蛛對(duì)其他形式的跳轉(zhuǎn)都比較敏感，如302跳轉(zhuǎn)，javascript跳轉(zhuǎn)、meta refresh 跳轉(zhuǎn)。
如果必須轉(zhuǎn)向，301轉(zhuǎn)向是搜索引擎推薦的、用于網(wǎng)站更改的轉(zhuǎn)向，可以吧頁(yè)面權(quán)重從舊網(wǎng)址轉(zhuǎn)移到新網(wǎng)址。其他的轉(zhuǎn)向方式都對(duì)蜘蛛爬行不利。所以除非萬(wàn)不得已，盡量不要使用301轉(zhuǎn)向以外的跳轉(zhuǎn)。
第四、框架結(jié)構(gòu)
使用框架結(jié)構(gòu)設(shè)計(jì)頁(yè)面，在網(wǎng)站誕生初期曾經(jīng)聽流行，但是現(xiàn)在網(wǎng)站已經(jīng)很少使用框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一，對(duì)于搜索引擎來說，訪問一個(gè)使用框架的網(wǎng)址所抓取的html只包含調(diào)用其他html文件的代碼，并不包含任何文字信息。搜索引擎無法判斷這個(gè)網(wǎng)址的內(nèi)容是什么。
總之，如果你的網(wǎng)站還在使用框架，或者你的老板要使用框架結(jié)構(gòu)，唯一要記住的是，忘記使用框架這回事。和Flash一樣，別浪費(fèi)時(shí)間研究怎么讓搜索引擎收錄框架結(jié)構(gòu)網(wǎng)站。
第五、動(dòng)態(tài)URL
動(dòng)態(tài)URL值的是數(shù)據(jù)庫(kù)驅(qū)動(dòng)的網(wǎng)站所生成的、帶有問號(hào)、等號(hào)及參數(shù)的網(wǎng)址。一般來說動(dòng)態(tài)URL不利于搜索引擎蜘蛛爬行，應(yīng)該盡量避免。雖然百度現(xiàn)在已經(jīng)能夠識(shí)別動(dòng)態(tài)URL了，但是也不能保證百分百能識(shí)別。
第六、javaScript鏈接
由于javaScript可以創(chuàng)再出很多吸引人的視覺效果，有些網(wǎng)站喜歡使用javascript腳本生成導(dǎo)航系統(tǒng)。這也是比較嚴(yán)重的蜘蛛陷阱之一，雖然搜索引擎都在嘗試解析JS腳本，不過我們不能寄希望與搜索引擎自己去客服困難，而要讓搜索引擎跟蹤爬行鏈接的工作盡量簡(jiǎn)單容易。
jacascritp鏈接在SEo中也有特殊用途，那就是站長(zhǎng)不希望被收錄的頁(yè)面，比希望被百度抓起的鏈接，可以使用javascript腳本阻止搜索引擎蜘蛛爬行
第七、要求登錄
有些網(wǎng)站的內(nèi)容需要用戶登錄后才能看到的頁(yè)面，這部分內(nèi)容搜索引擎是無法看到的。這個(gè)要注意確定是否是需要登錄以后才能看到。
第八、強(qiáng)制使用cookies
很多網(wǎng)站為了實(shí)現(xiàn)某種功能，強(qiáng)制使用cookies,用戶瀏覽器如果沒有啟用cookies，頁(yè)面顯示不正常。搜索引擎蜘蛛就相當(dāng)于一個(gè)禁止了cookies的瀏覽器，強(qiáng)制使用cookies只能造成搜索引擎蜘蛛無法正常訪問。
雖然現(xiàn)在搜索引擎在不斷完善他的抓取功能，但是我們也要盡量避免不友好的頁(yè)面，不然會(huì)給我們的網(wǎng)站帶來不必要的麻煩。
