台灣最大程式設計社群網站
線上人數
2740
 
會員總數:246323
討論主題:189853
歡迎您免費加入會員
討論區列表 >> 網管 / 資安 / VM >> 搜尋引擎索引
[]  
[我要回覆]
1
回應主題 加入我的關注話題 檢舉此篇討論 將提問者加入個人黑名單
搜尋引擎索引
價值 : 60 QP  點閱數:2006 回應數:1
樓主

咖哩
初學者
49 32
980 31
發送站內信

請問如何防止市面上搜尋引擎,如google, yahoo, msn ...etc對網站停止索引動作
如果是都要去搜尋網站登記取消索引,那如何兼顧所有的搜尋引擎
是否有其他有效的解決方法
解決網站不會被搜尋引擎索引
謝謝

搜尋相關Tags的文章: [ google ] , [ msn ] , [ yahoo ] , [ search ] , [ index ] ,
本篇文章發表於2006-11-22 14:35
1樓
最有價值解答

Bryan(不來ㄣ)
捐贈 VP 給 Bryan(不來ㄣ) 檢舉此回應
7. 如何要求 Google 不要在我的網站裡漫遊?

在 http://www.robotstxt.org/wc/norobots.html 裡有限制漫遊的標準。您可以在伺服器上放一個 robots.txt 檔,它可以拒絕 Google 和其他的網路漫遊器。Google 的網路漫遊器有一個叫「Googlebot」的使用者代理。

另外有一個標準可以用來阻止漫遊為網頁建立索引或查閱網頁上面的連結,這在某些情況下可能更有用,因為在一頁一頁的形式時,它的使用比較方便。它的作法是在網頁的 HTML 中放一個「META」標籤,方式說明於 (英文) http://www.robotstxt.org/wc/exclusion.html#meta。您也可以參閱 HTML 標準對這些標籤所做的描述。要記住,不論是變更伺服器的 robots.txt 檔,或是變更網頁的「META」 標籤,都不會立即改變 Google 傳回的結果。得經過一陣子之後,您所做的變更才會傳到 Google 下一次的網路索引中。

技術方面的問題

1. 為什麼 Googlebot 要找 robots.txt 檔?我的伺服器裡並沒有這個檔案。

Robots.txt 是一個標準檔案,其功能是不讓 Googlebot 從您的 Web 伺服器下載資料。
2. 為什麼 Googlebot 會試圖從我的伺服器下載錯誤的連結資料?

由於網頁不停的更新及增加,我們常常會看到錯誤或過時的連結。每當有人打錯網址,因而指到您的網站,或是有人忘了把他們網頁上的連結更新成您伺服器新的資料,Googlebot 就會嘗試從您的網站下載錯誤的連結。這也是為什麼您找到的資料中,有些根本不是來自 Web 伺服器。
3. 為什麼 Googlebot 能夠找到我的「秘密」網路伺服器?

網路上很難有真的「秘密」,除非 Web 伺服器裡一個連結都沒有。只要一有人從您的「秘密」伺服器連出去,連到的網站就可能把您的「秘密」網址做成參考標籤保存起來,甚至予以公布。而只要其他的網站裡出現任何有關您網站的資料,Googlebot 甚至於其他公司就有辦法整個找出您的全部網頁資料。
4. 我已經在伺服器裡放了 robots.txt 檔,為什麼 Googlebot 還是一直進來?

為了節省頻寬,Googlebot 一天只會下載一次 robots.txt 檔,除非我們已經從伺服器讀取很多網頁。所以 Googlebot 要經過一段時間後才會發現您的 robots.txt 檔可能已經更改過了。而且 Googlebot 分散在很多電腦上。每個 Googlebot 分別保留一份您的 robots.txt 檔。同時請參考下列網址,檢查您的語法是否符合標準:http://www.robotstxt.org/wc/norobots.html。如果還有問題,請通知我們修訂。
本篇文章回覆於2006-11-22 15:29
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
   
1

回覆
如要回應,請先登入.