Semalt 給出了 Googlebot 不抓取某些網站上的每個頁面的主要原因


我們曾有客戶抱怨他們的某些網站沒有被 Googlebot 抓取。作為 SEO 專家,我們的工作是找到問題並解決它,以便我們的客戶可以滿意並保持他們的網站處於最佳狀態。

Google 的 John Mueller 解釋了影響任何網站上的頁面如何被抓取的一些因素。當然,這不是具體的,但它確實為我們指明了正確的方向。在那篇文章中,John 還強調了為什麼網站上的某些頁面沒有被抓取。

引發此回應的問題是關注為什麼谷歌以相對較慢的速度抓取網站,這不足以處理當今數量眾多的網站。

了解 Google 抓取預算

這是我們選擇關注的第一個領域,因為它解釋了很多關於 Google 抓取網站的頻率。 Googlebot(Google 網絡爬蟲的名稱)瀏覽網頁並將它們編入索引,以便它們可以在 SERP 上排名。然而,大量的網站成為一個問題,這就是為什麼谷歌設計了一種只索引高質量網頁的策略。將其視為某種形式的過濾器。 Google 不會將所有資源都花在最有可能與用戶無關的頁面上,而是只專注於高質量的網頁。

網站的抓取預算是 Google 專用於抓取該網站的資源量。同樣重要的是要注意,並不是所有被爬網的東西都會被索引。網頁只有在被抓取並被認為有價值後才會被編入索引。

一旦您的抓取預算用完,Google 就會停止抓取您的網頁。

設置您的抓取預算

網站抓取預算由四個主要因素決定:
很容易理解為什麼當您的某些內容沒有作為網站所有者被抓取時您會如此擔心。這會降低您排名的機會,尤其是當您最有價值的內容被排除在外時。

如何解決抓取問題

修復 Meta 標籤或 robots.txt 文件的問題

屬於此類別的問題通常很容易檢測和解決。有時,由於不允許 Googlebot 進入,您的整個網站或網站上的特定頁面可能仍無法被 Google 看到。

有許多機器人命令可以阻止頁面抓取,這可以通過檢查您的元標記和 robots.txt 文件來解決。事實上,擁有正確的參數並充分使用它們將幫助您節省抓取預算並為 Googlebot 指明正確的方向。

也可以使用無關注鏈接。在這種情況下,爬蟲索引頁面但停止跟踪鏈接。這對您的網站不利,因為 Googlebot 使用這些內部鏈接來查找新頁面。這將我們帶到下一點。

內部斷開的鏈接

對於用戶和爬蟲來說,斷開的鏈接從來都不是一個好的體驗。對於每個被編入索引的頁面,網站的爬行預算的一部分都會被取出。知道這一點,我們知道當有太多損壞的鏈接時,機器人會浪費您所有的抓取預算來索引它們,但它不會到達您的相關和高質量的頁面。

修復損壞的鏈接有助於讓 Googlebot 更容易看到您的優質內容。

內部斷開的鏈接可能是由於 URL 輸入錯誤(超鏈接 URL 地址中有輸入錯誤)、過時的 URL 或被拒絕訪問的頁面造成的。

服務器相關問題

您的服務器也可能是 Google 找不到某些頁面的原因。您的網站上出現大量 5xx 錯誤可能表明您的服務器出現問題。為了解決這個問題,我們重新配置了存在錯誤的區域並修復了錯誤。

有時,可能是您的服務器過載。在這種情況下,它停止響應用戶和機器人的請求。發生這種情況時,您的查看者以及機器人將無法訪問該頁面。

在極端情況下,我們可能會查看 Web 服務器配置錯誤。在這裡,該站點對人類用戶可見,但它不斷向站點爬蟲提供錯誤消息。這個問題非常棘手,因為它可能很難被注意到。在這種情況下,Googlebot 無法訪問該網頁,這使得機器人無法抓取和編入索引。

站點地圖 XML 的問題

站點地圖會影響您網站上的各種元素。保持站點地圖中的 URL 相關至關重要。它們應該被更新和正確。這很重要,因為當您的抓取預算不足時,您的站點地圖會將抓取機器人引導至最相關的站點。這樣,您最重要的頁面仍會被編入索引。

Web 架構的錯誤

這是需要解決的最具挑戰性的問題之一。屬於此類別的問題可能會阻止或迷惑您網站中的爬蟲。它可能以您的內部鏈接問題的形式出現。或者可能是錯誤重定向的情況。在這種情況下,用戶和機器人被轉發到不太相關的頁面。最後,我們有重複的內容。不幸的是,重複內容是最常見的 SEO 問題之一。這也是您的抓取預算用盡的主要原因之一,Google 很難抓取您的某些頁面。

結論

Google 無法找到您的內容,不僅僅是因為與內容相關的問題或您針對錯誤的關鍵字進行了優化。如果存在可抓取性問題,即使優化的內容也可能對 Google 不可見。

我們在這裡找出問題所在,並起草有關如何解決該問題的計劃。 聯繫我們 今天,和 賽馬特 可以幫助您重新關注您的內容。

mass gmail