一、先了解什麼(me)是robots文件？

　　Robots是站點與spider溝通的重要渠道(dào)，站點通過(guò)robots文件聲明本網站中不想被(bèi)搜索引擎收錄的部分或者指定搜索引擎隻收錄特定的部分。

　　二、robots功能(néng)用途是什麼(me)？

　　robots協議用來告知搜索引擎哪些頁面(miàn)能(néng)被(bèi)抓取，哪些頁面(miàn)不能(néng)被(bèi)抓取;可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬;可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站内容;設置網站地圖連接，方便引導蜘蛛爬取頁面(miàn)。

　　三、Robots.txt文件的作用是什麼(me)？

　　一般來說出于安全的考慮，在網站seo優化時寫入robots.txt文件，實際上就(jiù)是告訴搜索引擎蜘蛛，網站上哪些内容允許抓取，哪些内容不允許抓取，這(zhè)樣(yàng)做可以提高搜索引擎的抓取效率，增加搜索引擎對(duì)網站的友好(hǎo)度。

　　四、Robots文件可以屏蔽的内容是什麼(me)？

　　1、圖片目錄圖片是構成(chéng)網站的主要組成(chéng)元素。随著(zhe)現在建站越來越方便，大量CMS建站。就(jiù)存在大量的沒(méi)有用到的圖片，建議你應該在robots.txt文件中進(jìn)行屏蔽，通常的網站圖片目錄是：imags。或者img;

　　2、網站模闆目錄如上面(miàn)圖片目錄中所說，CMS的強大和靈活，網站的模闆目錄跟網站的内容主題不符，不利于集中網站的相關度。模闆目錄的文件目錄是：templets

　　3、CSS、JS目錄的屏蔽這(zhè)個經(jīng)常看見我們有些網站的css文件和js被(bèi)收錄了，想要被(bèi)收錄的文章沒(méi)被(bèi)收錄，這(zhè)對(duì)seo無用文件卻收錄，确實沒(méi)有這(zhè)個必要，也不利于集中網站的相關度。

　　4、屏蔽雙頁面(miàn)的内容大家都(dōu)知道(dào)DEDECMS可以使用靜态和動态URL進(jìn)行同一篇内容的訪問，如果你生成(chéng)全站靜态了，那你必須屏蔽動态地址的URL鏈接。這(zhè)裡(lǐ)有兩(liǎng)個好(hǎo)處：

　　1)、搜索引擎對(duì)靜态的URL比動态的URL更友好(hǎo)、更容易收錄;

　　2)、防止靜态、動态URL能(néng)訪問同一篇文章而被(bèi)搜索引擎判爲重複内容。

　　3)、模闆緩存目錄很多CMS程序都(dōu)有緩存目錄，這(zhè)種(zhǒng)緩存目錄的好(hǎo)處我想不用說大家也清楚了吧，可以非常有效的提升網站的訪問速度，減少網站帶寬，對(duì)用戶體驗也是很好(hǎo)的。不過(guò)，這(zhè)樣(yàng)的緩存目錄也有一定的缺點，那就(jiù)是會(huì)讓搜索引擎進(jìn)行重複的抓取，一個網站中内容重複也是大祭，對(duì)網站百害而無一利，很多使用CMS建站的朋友都(dōu)沒(méi)有注意到，必須要引起(qǐ)重視。

　　4)被(bèi)删除的目錄死鏈過(guò)多，對(duì)搜索引擎優化來說，是緻命的。

　　五、網站robots.txt文件生成(chéng)方法

　　首先登錄網站後(hòu)台，選擇“我的站點”，在右側的欄目中找到“編輯”，然後(hòu)找到需要做robots的頁面(miàn)，點擊進(jìn)去（如下圖所示）：

　　以上内容就(jiù)是合肥網站推廣小通幹貨分享的robots文件用途和生成(chéng)方法，爲了寫這(zhè)篇文章，小通可是研究了一個星期關于robots文件的内容，就(jiù)是希望能(néng)實實在在幫助到大家，大家可以動手操作嘗試，不動手操作，不認真研究，你始終邁不過(guò)這(zhè)個坎，如果您覺得這(zhè)篇文章對(duì)您有所幫助，可以高擡貴手，收藏我們的網站吧，再此感謝。