• <td id="ueojn"></td>

      <blockquote id="ueojn"><ruby id="ueojn"></ruby></blockquote>
            <output id="ueojn"><ruby id="ueojn"><address id="ueojn"></address></ruby></output><code id="ueojn"></code>
            北京網站建設>網絡營銷>Seo>

            Seo

            轉載:百度蜘蛛是如何工作的

            來源:未知 作者:admin 時間:2018-10-22 14:08 點擊:

            搜索引擎工作過程非常復雜,接下來我們簡單介紹搜索引擎是怎樣實現網頁排名的。這里介紹的相對于真正的搜索引擎技術來說只是皮毛,不過對 SEO 人員已經足夠用了。有興趣的還可以閱讀《百度搜索引擎優化指南》。

             

            搜索引擎的工作過程大體上可以分成三個階段:

            1)爬行和抓取 – 搜索引擎蜘蛛通過跟蹤鏈接訪問網頁,獲得頁面 HTML 代碼存入數據庫。

            2)預處理 - 索引程序對抓取來的頁面數據進行文字提取、中文分詞、索引等處理,以備排名程序調用。《頁面如何進行去重、去停止詞》

            3)排名 - 用戶輸入關鍵詞后,排名程序調用索引庫數據,計算相關性,然后按一定格式生成搜索結果頁面。

            爬行和抓取

            爬行和抓取是搜索引擎工作的第一步,完成數據收集的任務。

            蜘蛛

            搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛(spider),也稱為機器人(bot)。

            搜索引擎蜘蛛訪問網站頁面時類似于普通用戶使用的瀏覽器。蜘蛛程序發出頁面訪問請求后,服務器返回 HTML 代碼,蜘蛛程序把收到的代碼存入原始頁面數據庫。搜索引擎為了提高爬行和抓取速度,都使用多個蜘蛛并發分布爬行。

            蜘蛛訪問任何一個網站時,都會先訪問網站根目錄下的 robots.txt 文件。如果 robots.txt 文件禁止搜索引擎抓取某些文件或目錄,蜘蛛將遵守協議,不抓取被禁止的網址。

            搜索引擎蜘蛛

            和瀏覽器一樣,搜索引擎蜘蛛也有標明自己身份的代理名稱,站長可以在日志文件中看到搜索引擎的特定代理名稱,從而辨識搜索引擎蜘蛛。《各大搜索引擎提交入口》

            跟蹤鏈接

            為了抓取網上盡量多的頁面,搜索引擎蜘蛛會跟蹤頁面上的鏈接,從一個頁面爬到下一個頁面,就好像蜘蛛在蜘蛛網上爬行那樣,這也就是搜索引擎蜘蛛這個名稱的由來。

            整個互聯網是由相互鏈接的網站及頁面組成的。從理論上說,蜘蛛從任何一個頁面出發,順著鏈接都可以爬行到網上的所有頁面。當然,由于網站及頁面鏈接結構異常復雜,蜘蛛需要采取一定的爬行策略才能遍歷網上所有頁面。

            最簡單的爬行遍歷策略分為兩種,一是深度優先,二是廣度優先。

            所謂深度優先指的是蜘蛛沿著發現的鏈接一直向前爬行,直到前面再也沒有其他鏈接,然后返回到第一個頁面,沿著另一個鏈接再一直往前爬行。

            seo抓取

            如上圖所示,蜘蛛跟蹤鏈接,從 A 頁面爬行到 A1,A2,A3,A4,到 A4 頁面后,已經沒有其他鏈接可以跟蹤就返回 A 頁面,順著頁面上的另一個鏈接,爬行到 B1,B2,B3,B4。在深度優先策略中,蜘蛛一直爬到無法再向前,才返回爬另一條線。

            蜘蛛抓取路線

            廣度優先是指蜘蛛在一個頁面上發現多個鏈接時,不是順著一個鏈接一直向前,而是把頁面上所有第一層鏈接都爬一遍,然后再沿著第二層頁面上發現的鏈接爬向第三層頁面。

            如上圖所示,蜘蛛從 A 頁面順著鏈接爬行到 A1,B1,C1 頁面,直到 A 頁面上的所有鏈接都爬行完,然后再從 A1 頁面發現的下一層鏈接,爬行到 A2,A3,A4......頁面。

            從理論上說,無論是深度優先還是廣度優先,只要給蜘蛛足夠的時間,都能爬完整個互聯網。

            在實際工作中,蜘蛛的帶寬資源、時間都不是無限的,也不可能爬完所有頁面。實際上最大的搜索引擎也只是爬行和收錄了互聯網的一小部分。

            深度優先和廣度優先通常是混合使用的,這樣既可以照顧到盡量多的網站(廣度優先),也能照顧到一部分網站的內頁(深度優先)。

            吸引蜘蛛

            由此可見,雖然理論上蜘蛛能爬行和抓取所有頁面,但實際上不能也不會這么做。SEO 人員要

            想自己的更多頁面被收錄,就要想方設法吸引蜘蛛來抓取。既然不能抓取所有頁面,蜘蛛所要做的就是盡量抓取重要頁面。哪些頁面被認為比較重要呢?有幾方面影響因素:

            • 網站和頁面權重。質量高、資格老的網站被認為權重比較高,這種網站上的頁面被爬行的深度也會比較高,所以會有更多內頁被收錄。

            • 頁面更新度。蜘蛛每次爬行都會把頁面數據存儲起來。如果第二次爬行發現頁面與第一次收錄的完全一樣,說明頁面沒有更新,蜘蛛也就沒有必要經常抓取。如果頁面內容經常更新,蜘蛛就會更加頻繁地訪問這種頁面,頁面上出現的新鏈接,也自然會被蜘蛛更快跟蹤,抓取新頁面。

            • 導入鏈接。無論是外部鏈接還是同一個網站的內部鏈接,要被蜘蛛抓取就必須有導入鏈接進入頁面,否則蜘蛛根本沒有機會知道頁面的存在。高質量的導入鏈接也經常使頁面上的導出鏈接被爬行深度增加。

            • 與首頁點擊距離。一般來說網站上權重最高的是首頁,大部分外部鏈接是指向首頁,蜘蛛訪問最頻繁的也是首頁。離首頁點擊距離越近,頁面權重越高,被蜘蛛爬行的機會也越大。

            地址庫

            為了避免重復爬行和抓取網址,搜索引擎會建立一個地址庫,記錄已經被發現還沒有抓取的頁面,以及已經被抓取的頁面。

            地址庫中的 URL 有幾個來源。

            1. 一是人工錄入的種子網站。

            2. 二是蜘蛛抓取頁面后,從 HTML 中解析出新的鏈接 URL,與地址庫中的數據對比,如果是地址庫中沒有的網址,就存入待訪問地址庫。

            3. 三是站長通過搜索引擎網頁提交表格提交進來的網址。

            蜘蛛按重要性從待訪問地址庫中提取 URL,訪問并抓取頁面,然后把這個 URL 從待訪問地址庫中刪除,放進已訪問地址庫中。

            大部分主流搜索引擎都提供一個表格,讓站長提交網址。不過這些提交來的網址都只是存入地址庫而已,是否收錄還要看頁面重要性如何。搜索引擎所收錄的絕大部分頁面是蜘蛛自己跟蹤鏈接得到的。可以說提交頁面基本上是毫無用處的,搜索引擎更喜歡自己沿著鏈接發現新頁面。

            文件存儲

            搜索引擎蜘蛛抓取的數據存入原始頁面數據庫。其中的頁面數據與用戶瀏覽器得到的 HTML 是完全一樣的。每個 URL 都有一個獨特的文件編號。

            爬行時的復制內容檢測檢測并刪除復制內容通常是在下面介紹的預處理過程中進行,但現在的蜘蛛在爬行和抓取文件時也會進行一定程度的復制內容檢測。遇到權重很低的網站上大量轉載或抄襲內容時,很可能不再繼續爬行。這也就是為什么有的站長在日志文件中發現了蜘蛛,但頁面從來沒有被真正收錄過。

            公司業務:北京網站建設刷百度下拉刷百度指數虛擬主機租用

            如轉載,請保留本文鏈接地址:http://www.ctex.tw/Market/Seo/2024/

            Loading......
            工作時間:

            AM 09:00 ~ 12:00

            PM 14:00 ~ 18:00

            聯系方式:

            Tel 010-50933590

            Hp 18701620736

            設計優勢

            獨立的設計團隊 帶給您全新的視覺體驗

            功能開發

            強大的技術實力,完成您想要的任何功能

            售后服務

            完善的售后服務,解決您在使用過程中遇到的問題

            Copyright © 2010 - 2018 北京順晟科技發展有限公司 All Rights Reserved

            地址:北京市順義區南法信政府府前街16號 炫立方 | TEL:010-50933590

            北京網站建設 | 北京網站設計 | 北京SEO公司

            山东十一选五走势图