我們不一定只能乖乖的等爬蟲來抓取,我們也能為百度主動提交些數據,告知搜索引擎有新的網頁內容產生,讓爬蟲快速抓取。鏈接提交本身并非我們想象的那么簡單,下面我們對不同鏈接提交的形式進行說明。
鏈接提交的種類
1.sitemap:利用文件的形式,告知搜索引擎鏈接;sitemap文件中可包含該網站主域下的所有網址。
2.自動推送:通過頁面被加載點擊,推送給搜索引擎;自動推送是百度搜索資源平臺為提高站點新增網頁發現速度推出的工具,安裝自動推送JS代碼的網頁,在頁面被訪問時,頁面URL將立即被推送給百度。
3.主動推送:自主的提交給搜索引擎鏈接;可以縮短百度爬蟲發現您站點新鏈接的時間,使新發布的頁面可以在第一時間被百度收錄。
4.天級收錄:熊掌號提交推送,移動收錄利器,真的可以做到天級甚至秒收,保護網頁原創性。
sitemap
·sitemap文件類型txt、xml、建議xml;
·索引文件:sitemap索引文件與sitemap.xml文件;
·設置規范:每天自動更新的sitemap文件策略;
·注意事項網址5W條、10MB內、文件數量5W個、不建議大家使用規范文件名稱;
·文件作用:大規模批量抓取的最佳選擇。
自動推送
·設置方式:從百度,360獲取自己的j推送代碼,放置全站頁面頭部或底部;
·推送特性:在網頁被訪問時觸發代碼,推送給搜索引擎;
·設置規范:代碼直接放置就可以(注意不能復制別人站點的);
·注意事項:有權限的頁面不要放置改代碼,降低抓取效率。
主動推送
·設置方式:需要技術支持或使用站長工具后臺提供的php代碼本地搭建;
·推送特性:每次產生新網頁的時候,及時進行推送,
·注意事項:不建議重復推送數據,新數據提交一次即可;
·文件作用:發現更多及時、最新的有效數據;
天級收錄
·設置方式:可手動提交,也可以通過Apl接口技術進行配置;
·推送特性:移動端網頁第一次產生時)進行推送;
·注意事項:未收錄的數據應先思考其問題,然后謹慎進行重復提交;
·文件作用:發現更多及時、最新的移動端有效數據:
鏈接提交可以加快網址內容抓取,網站數據量大收錄率低的站長們可以試試鏈接提交這種方式,上述的幾種提交方式,中大型站點適用sitemap提交方式,企業站點目前最有效的還是熊掌號的數據提交,可達天級收錄。