事實上，在搜索引擎蜘蛛爬行你的網站時，首先就會查找根目錄下的robots.txt文件。如果沒有robots.txt文件，就會產生一個 404 錯誤頁面，這對搜索引擎來說，是很不友好的“待客之道”。其他處理URL的SEO技術如網站 301 重定向，以及 404 頁面制作，死鏈接提交，和 500 服務器內部錯誤頁面的制作，都是有利于提升網站用戶體驗和搜索引擎友好度的?，F在很多虛擬主機都附有這些功能，設置比較方便，一定不要忘記去設置。

二、網站代碼優化細節

（一）先來看看對于網頁代碼的五個最重要的標簽。
1.Title標簽
Title 標簽能夠告訴用戶和搜索引擎網頁頁面的主題思想是什么，一直是搜索引擎的抓取重點。一般來說，Title標簽中的單詞最好保持在3~6個左右，最好包含關鍵字。但Title標簽中的單詞不要全部都是關鍵字，因為這樣可能會造成頁面關鍵字堆砌，導致過度優化。所選單詞應簡潔明了、具有描述性，要與網頁內容具有很大的相關性，并且每個不同的頁面都應該包含Title標簽。
2.Heading標簽
Heading標簽包含了H1、H2、H3等等，是搜索引擎識別頁面信息的重要標記。合理使用H1、H2、H3等不同級別的標簽能夠使得頁面結構更加清晰，有利于搜索引擎的抓取。H1、H2、H3等標簽是按照重要程度來排名的。一般一個頁面按照需求程度來適當添加該標簽：從H1開始，依次往下添加。
3.Strong和B標簽
B標簽就是單純地將文字加粗，而Strong標簽不僅是對文字加粗，并且這種形式的加粗會告訴搜索引擎該部分文字比較重要。所以兩者從搜索引擎優化的角度來看，是有很大的區別的。上文中所提到的Heading標簽頁具有加粗效果，那么這三種標簽到底該怎么用？其實，Heading標簽一般用于文章大標題以及每段的小標題，而Strong標簽一般用于文章段落中的重點詞匯，而B標簽一般只是強調一種視覺效果。
4.ALT標簽
ALT標簽是一種圖片標簽，它將圖片的信息以文本的形式展現。對ALT標簽的使用沒有太多要求，只要在網頁中出現圖片的部分添加上該屬性即可，但其標簽內容應與相應頁面內容具有相關性，長度不得過長，一般1~5個單詞即可。
5.Meta Description標簽
對Title標簽優化之后，接下來就是對Meta Description標簽的優化。Meta Description標簽可以說是對Title標簽的進一步解釋，可以是一句話或者是包含十幾個單詞的短語。每個頁面都該有其自己的Meta Description標簽，并且Meta Description標簽還可包含一些與網站內容相關但Title標簽中未提及的信息。與Title標簽要求相似，該部分內容也應具有描述性，與網頁內容具有相關性，可包含關鍵字，但不可過多。

（二）其他的一些網頁標簽，這些對于簡潔網頁源代碼也同樣至關重要。
1、HEAD部分代碼規范化
HEAD部分代碼是搜索引擎爬行網站的入口部分，現在很多網站的頭部代碼都相當統一化，刻板效應明顯十足，這樣的網站代碼是像模板框架一樣是不被spider喜歡的，而我們要做的就是將網站的代碼規范化，建立起網站獨一無二的head部分，讓搜索引擎有新鮮感，這樣才能夠吸引spider爬行。
 
2、CSS代碼本身的優化
CSS是頁面效果呈現中非常重要的組成部分，它包括顏色、大小尺寸、背景和字體等。寫CSS很簡單很容易，但是要想寫出精煉的CSS代碼還是有很多技巧的。
（1）、CSS代碼優化
通過對css代碼屬性的簡寫、移除多余的結構(frameworks)和重設(resets)等一系列的方法和技巧來簡化css代碼，減小css文件的大小。
（2）、css sprite技術
網站上的一些圖片可以采用css sprite技術進行合并，減少加載請求次數，從而提高網頁的加載速度。
（3）、盡量不要使用內嵌式CSS
內嵌式CSS分為兩種，一是在head區域的普通內嵌式；二是在標簽內出現的行內內嵌式CSS，無論是何種內嵌CSS方式結果都會提升頁面的體積，對此，我們可以盡量使用外調式的CSS來為站點頁面的體積瘦身。
（4）、CSS位置
CSS說明如果出現在網站之后，頁面需要重新渲染，打開速度受到影響，所有css定義代碼的位置要放到網站之前。
 
3、使用DIV+CSS分離布局網頁
雖然現在div+css已經很成熟了，但是很多網頁設計者可能考慮到網頁的兼容性以及布局的簡易性還是使用老式的table布局，雖然table布局很方便，但是其弊端也是顯而易見的，那就是會大大增加網頁的大小，尤其是多層表格的嵌套，這種布局不僅會提升體積，同時如果嵌套數太多的話就會影響到搜索引擎的爬行，影響到站點的收錄。
 
4、JS位置，大小等負面的優化
JS優化與其他語言的優化也仍然有相同之處，JS優化的關鍵，仍然是要把精力放在最關鍵的地方，也就是瓶頸上，一般來說，瓶頸總是出現在大規模循環的地方，這倒不是說循環本身有性能問題，而是循環會迅速放大可能存在的性能問題。
（1）、合并JS
合并相同域名下的js，通過減少網絡連接次數從而提高網頁的打開速度。
（2）、JS位置
網頁代碼中對js進行優化的時候，seo網站優化將JS放在頁面最后，這樣可以加快頁面打開速度。
（3）、JS代碼外部的調用
我們知道當前的搜索引擎還是不能夠識別JS代碼的，倘若在網站中出現大批量的js代碼網站在收錄上就會出現困難，而我們要做的就是將用到Javascript代碼用外部調用的形式放在網站中，這樣可以簡化搜索引擎的工作，也不會在無形中衍生出無效代碼累及網站。不僅如此，杭州seo覺得可以采用外部調用的還有css代碼，建站之初可以將網站的文字、顏色定義在css代碼文件中，盡量不要在頁面代碼內出現過多的樣式代碼。
（4）、LazyLoad(延遲加載)技術
Lazy Load是一個用JavaScript編寫的jQuery插件，它可以延遲加載長頁面中的圖片，在瀏覽器可視區域外的圖片不會被載入，直到用戶將頁面滾動到它們所在的位置。
 
5、網頁壓縮技術
對于網頁壓縮而言，相信各位站長都比較熟悉，主要是啟用服務器Gzip，對頁面Gzip壓縮，減少元素的體積，從而減少數據的傳輸，進而提高網頁的加載速度，這個功能需要你的服務器的支持，GZIP壓縮一般能對網頁進行30%-80%的壓縮，是最重要的一種優化效果?？傊?，通過代碼優化來起到網站優化作用的方式還有很多，在這只是隨意的說了其中比較常見的而已，希望大家能多多鉆研。
 
6、減少TABLE標簽的使用
table標簽是現在大多數上線網站中最為常見的代碼形式，原因根本在于table在建立網站時比較快捷，但是這也就影響了網站的后期優化。
相對于div+css布局的精簡代碼網站來說，它的占位比較大，所以，在建站時候，盡量是少用表格，即便是要使用表格時，嵌套式表格也要盡量少用，以免產生冗雜代碼。
那么，現在的網站用什么做呢？很多程序員第一想法就是采用CSS去做，采用CSS去排版，這種做法呢，就使頁面中的表格大大的降低了，但在杭州seo看來，網站也不能沒有表格，有些事必須使用到得，使用表格本身沒什么，但是有很多網站都采用嵌套表格，一般這樣的表格形式會給網站產生大量的垃圾代碼，并且這些垃圾代碼都是沒有任何用處的代碼，這一類代碼也是我們網站需要精簡的代碼之一。
 
7、將html控制方式轉換為CSS控制
很多網頁設計者習慣在標簽內對內容進行控制，比如img標簽里通過width和height來控制圖片的大小，盡量將這些代碼轉換成外調式的CSS，使網頁代碼更加的瘦身。
 
8、代碼注釋省略的少量使用
很多程序人員在編寫代碼是都習慣在別人看不懂的地方給出一段注釋，這些代碼往往是為了幾個程序員之間的協同工作，對于外人以及搜索引擎來說沒有任何用處，相反還會給搜索引擎蜘蛛帶來一定的困擾。打開頁面代碼我們經常會看到一些注釋代碼，這是程序員為了表明代碼意義而做的注釋，其實這些打開不必，因為對于搜索引擎而言，它們是不存在任何意義的，只是會增加了頁面代碼的容量，這樣對于網站不會有什么利處，不如直接省略。
 
9、緩存靜態資源
通過設置瀏覽器緩存，將css、js等不太經常更新的文件緩存在瀏覽器端，這樣同一訪客再次訪問你的網站的時候，瀏覽器就可以從瀏覽器的緩存中獲取css、js等，而不必每次都從你的服務器讀取，這樣在一定程度上加快了網站的打開速度，又可以節約你的服務器流量。
 
10、權重標簽的使用
典型的權重標簽有H1，strong，b標簽等，對想參與排名的重要關鍵詞使用權重標簽，好處是向搜索引擎傳遞信號：這個地方的關鍵詞很重要，需要區別對待，從而提升既定關鍵詞在搜索引擎的排序。
 
11、清除頁面中多余的代碼即精簡代碼
有的網站以為制作者的代碼書寫習慣問題，頁面會有很多空格代碼，比如：空格代碼、style和font重復定義的代碼，不要小看這些體積很小的代碼，積攢多了，也會使我們的網站異常的臃腫。很多網站都是采用的DIV+CSS，在CSS中定義了文字的字體，顏色，以及頁面的排版，但是在網站的其他地方還用了以style以及font來再次定義字體字體，這些代碼完全沒有必要重復定義，屬于可以精簡的代碼。