什么是網站的可追溯性和可索引性？

 告訴我，當您考慮對網站進行排名時，您首先想到的是什么？

內容？或者反向鏈接？

我承認，兩者都是在搜索結果中定位網站的關鍵因素。但他們不是唯一的。

事實上，另外兩個因素在seo優化中起著重要作用 - 可抓取性和可索引性。然而，大多數網站所有者從未聽說過它們。

與此同時，即使是可索引性或可抓取性的小問題也可能導致您的網站失去排名。無論你有什么好的內容或多少反向鏈接，都是如此。

網絡爬蟲如何掃描您的網站？一種了解搜索引擎機器人如何工作的新工具，試用Log File Analyzer，窗體底端。

什么是可抓取性和可索引性？

要理解這些術語，我們首先來看看搜索引擎如何發現和索引頁面。要了解任何新的（或更新的）頁面，他們會使用所謂的網絡抓取工具，其目的是在網絡上關注鏈接，只需一個目標：

查找和索引新的Web內容。

谷歌解釋說：

“爬蟲會查看網頁并關注這些網頁上的鏈接，就像您瀏覽網頁上的內容一樣。他們從鏈接轉到鏈接，并將有關這些網頁的數據帶回Google的服務器。“

簡而言之，這兩個術語都與搜索引擎訪問和索引網站上的頁面以將其添加到其索引的能力有關。爬行介紹了搜索引擎的訪問和抓取內容的頁面上的能力，如果站點沒有可爬網性問題，則Web爬網程序可以通過跟蹤頁面之間的鏈接輕松訪問其所有內容。

但是，斷開的鏈接或死角可能會導致可抓取性問題 - 搜索引擎無法訪問網站上的特定內容。

可轉位，在另一方面，是指搜索引擎的分析和頁面添加到其索引的能力。

即使Google可以抓取某個網站，但它可能不一定能夠為其所有網頁編制索引，這通常是由于可轉換性問題。

什么影響可抓取性和可索引性？

1.網站結構

網站的信息結構在其可抓取性方面起著至關重要的作用。

例如，如果您的網站具有未與其他任何地方鏈接的網頁，則網頁抓取工具可能難以訪問這些網頁。

當然，他們仍然可以通過外部鏈接找到這些頁面，前提是某人在其內容中引用了這些頁面。但總的來說，弱結構可能會導致可爬行性問題。

2.內部鏈接結構

網絡爬蟲通過以下鏈接在網絡上傳播，就像您在任何網站上一樣。因此，它只能從其他內容中找到您鏈接到的頁面。

因此，良好的內部鏈接結構將使其能夠快速到達您網站結構深處的那些頁面。但是，糟糕的結構可能會將其發送到死胡同，從而導致網絡爬蟲錯過了您的某些內容。

3.循環重定向

損壞的頁面重定向會阻止Web爬網程序進入其軌道，從而導致可爬網問題。

4.服務器錯誤

同樣，損壞的服務器重定向和許多其他與服務器相關的問題可能會阻止Web爬網程序訪問您的所有內容。

5.不受支持的腳本和其他技術因素

您在網站上使用的技術可能會導致可追溯性問題。例如，由于抓取工具無法遵循表單，因此對表單后面的內容進行選通將導致可抓取性問題。

各種腳本（如Javascript或Ajax）也可能會阻止Web爬網程序中的內容。

6.阻止Web爬網程序訪問

最后，您可以故意阻止網頁抓取工具對您網站上的網頁編制索引。

這樣做有一些很好的理由。

例如，您可能已創建了要限制公共訪問的頁面。作為阻止訪問的一部分，您還應該阻止它訪問搜索引擎。

但是，也很容易錯誤地阻止其他頁面。例如，代碼中的一個簡單錯誤可能會阻止整個網站部分。

您可以在本文中找到的可抓取性問題的完整列表 - 您的網站對抓取者不友好的18個原因：可追溯性問題指南。 

如何使網站更容易抓取和索引？

我已經列出了一些可能導致您的網站遇到可抓取性或可索引性問題的因素。因此，作為第一步，您應該確保它們不會發生。

但是，您還可以采取其他措施來確保網絡抓取工具可以輕松訪問和索引您的網頁,這樣也有利于網站seo優化。

1.將Sitemap提交給Google

Sitemap是一個小文件，位于您網域的根文件夾中，其中包含指向您網站上每個網頁的直接鏈接，并使用Google控制臺將其提交給搜索引擎。

該站點地圖將告知Google您的內容，并提醒您對其所做的任何更新。

2.加強內部聯系

我們已經討論了相互關聯如何影響可抓取性。因此，為了增加Google抓取工具查找您網站上所有內容的機會，請改善網頁之間的鏈接，以確保所有內容都已連接。

3.定期更新和添加新內容

內容是您網站中最重要的部分。它可以幫助您吸引訪客，向他們介紹您的業務，并將其轉換為客戶。

但內容也可以幫助您提高網站的可抓取性。例如，網絡抓取工具訪問不斷更新其內容的網站。這意味著他們會更快地抓取您的網頁并將其編入索引。

4.避免重復任何內容

如果內容重復，則內容相同或非常相似的網頁可能會導致排名失敗。

但重復的內容也會降低抓取工具訪問您網站的頻率。

因此，檢查并修復網站上的任何重復內容問題。

5.加快頁面加載時間

網頁抓取工具通常只能在有限的時間內對網站進行抓取和索引編制。這稱為爬網預算。基本上，一旦時間到了，他們就會離開你的網站。

因此，您的頁面加載速度越快，爬蟲在耗盡時間之前就能訪問的越多。

用于管理可爬網性和可索引性的工具

如果上述所有聲音都令人生畏，請不要擔心。有些工具可以幫助您識別和修復可爬網性和可索引性問題。

日志文件分析器

日志文件分析器  將向您顯示桌面和移動Google機器人如何抓取您的網站，以及是否有任何錯誤需要修復和抓取預算以進行保存。您所要做的就是上傳您網站的access.log文件，讓該工具完成其工作。

訪問日志是人或機器人發送到您網站的所有請求的列表; 通過分析日志文件，您可以跟蹤和了解爬網程序的行為。

分析和管理Googlebots

1.改善您網站的可抓取性和可索引性

2.試用Log File Analyzer

3.窗體底端

谷歌工具

Google Search Console  可幫助您在Google中監控和維護您的網站。這是一個提交站點地圖的地方，它顯示了網站抓取工具對您網站的覆蓋范圍。

Google PageSpeed Insights  可讓您快速查看網站的網頁加載速度。 

大多數網站管理員都知道，要對網站進行排名，他們至少需要強大且相關的內容和反向鏈接來增加其網站的權限。

他們不知道的是，如果搜索引擎的抓取工具無法抓取并索引其網站，他們的努力是徒勞的。

這就是為什么除了專注于為相關關鍵字添加和優化頁面以及構建鏈接之外，您還應該持續監控網絡抓取工具是否可以訪問您的網站并向搜索引擎報告他們找到的內容。