在進行SEO優化的時候，許多人常會忽略”重複”這件事情對於SEO的影響。客戶常會說，網站內容都是我自己上架的，怎麼會有重複的內容？事實上，重複內容的情況還真不罕見。而首先要知道的是，「Google 不喜歡重複的內容」。
Google為什麼不喜歡重複內容？
Google多年來致力於，讓使用者在搜尋時獲得最佳體驗而努力。而什麼是最佳體驗？Google 搜尋引擎不斷地試圖理解使用者的”搜尋意圖”，同時也透過追蹤使用者行為，包含點擊率、瀏覽時間、跳出率、重新搜尋等等行為，去理解每一次提供出來的搜尋結果，是否符合使用者的最佳體驗。
而重複的內容，會造成Google搜尋引擎很難決定蒐錄哪個頁面在搜尋結果中，造成文章效能低落，彼此互相競爭。條列出重複的內容，也會造成使用者體驗不佳。
重複的內容會被Google處罰嗎？
重複的內容會影響您網站SEO的表現，但倘若您是網站內容的原創擁有者，只要不是故意複製別人網站的內容，但因為技術性的設定問題，就不會遭到Google的懲罰。但如果是故意或惡意大量複製別人網站的內容，就是另一回事了。這裡是 Google對此的說法。
重複內容常見的原因？
技術原因導致的重複內容
技術原因導致重複內容，根本原因是Googlebot搜尋引擎認定頁面的方式，可能跟您想的不同。我們人是用閱讀內容來決定是否重複，而Robots判定的標準是網址v.s.內容。因此，當網站沒有做好基礎的規劃設定，就很容易出現重複內容的問題。
1. 非www與www 以及 HTTP與HTTPs – 沒有定義單一網域
通常我們的網站要定義一個單一標準網域，讓Google知道我們是基於這個定義的網域發展，而Google更偏好具備SSL憑證的網域。
2. URL參數導致的重複內容
這個部分通常包含以下幾個種類：
- URL 大小寫：
www.example.com/page，和www.example.com/Page，視為不同的兩頁。 - URL 尾部斜槓 / ：例如：
www.example.com/page，以及www.example.com/page/，會被視為兩個重複的內容頁。 - 帶有參數的 URL：這個部分很常發生在電子商務網站，用來建立不同的商品排序，或是過濾不同的商品品項、顏色、價格等。例如：
https://www.example.com/toys/cars，之於https://www.example.com/toys/cars?color=white，視為不同的頁面。 - URL 帶入session id 或是追蹤成效帶入的utm參數：例如：
www.example.com/products/shoes，和www.example.com/products/shoes?sessionid=123，和www.example.com/products/shoes?utm_source=fb&utm_medium=ads，都會被視為不同的頁面，但是重複的內容。
3. CMS 內容管理系統的設定
許多 CMS 內容管理系統平台，包含常見的WordPress，會自動建立特定的分類法(Taxonomies) 頁面，包含標籤 (Tag) 和分類 (Category) 頁面，以及單獨的圖片或附件的頁面，甚至是單獨的搜尋結果頁(Search Result) 以及分頁 (Pagination) 頁面。
- 分類 / 標籤頁面
單獨列出與特定分類或標籤相關的內容，每個分類或標籤會有自己的 URL，如果您有與多個分類或標籤關聯的內容，可能就會導致多個 URL 指向相同內容。 例如，您有一篇關於「健康減重」的部落格文章，該文章被同時分類為「健康飲食」和「運動」。您的 CMS 可能會產生以下 URL： www.example.com/category/dietary/healthy-weight-loss ，和 www.example.com/category/exercise/healthy-weight-loss 。兩個 URL 都指向同一篇部落格文章，導致潛在的重複內容問題。
- 圖片 / 附件頁面
CMS 內容管理系統為每個圖像產生單獨的頁面，此頁面通常僅在空白頁面上顯示圖像。由於此頁面沒有其他內容，因此它與所有其他圖像頁面非常相似，因此也很容易被視為重複內容。同時，也有可能將您的圖片索引帶到此頁，而不是您想要的文章頁面。
- 分頁
當頁面包含大量項目（例如部落格文章、產品或評論）時，CMS 內容管理系統通常會建立內容的分頁版本。每個分頁頁面通常都有一個唯一的 URL，只有頁碼參數不同，例如：「/page/1」、「/page/2」、「/page/3」等。搜尋引擎可能會將每個分頁頁面作為單獨的頁面進行索引。
- 可索引的搜尋結果頁
許多網站提供搜尋功能，允許訪客搜尋網站內容。顯示搜尋結果的頁面都非常相似，並且在大多數情況下不會為搜尋引擎提供任何價值。這就是為什麼您不希望它們可供搜尋引擎索引。
4. 在地化多語系網站
當您使用相同內容，置於在地化多語系網站時，也可能會出現重複內容的問題。 為了滿足使用相同語言的不同地區的需求，您可能建立了產品頁面的在地化版本。雖然這些產品頁面在定價、幣別和物流方面可能略有不同，但核心產品資訊、描述和圖像本質上是相同的。 因此，如果配置不正確，搜尋引擎可能會將這些頁面視為重複。看起來是這樣：
美國：www.example.com/us/products/product-line
英國：www.example.com/uk/products/product-line
加拿大：www.example.com/ca/products/product-line
澳洲：www.example.com/au/products/product-line
5. 可列印的頁面版本
當頁面在單獨的 URL 處具有適合列印的版本時，實質上存在相同內容的兩個版本。例如： www.example.com/page/和 www.example.com/print/page/。
內容的重複
1. 具備類似意圖的內容
當創作的文章越來越多，有時會創建類似意圖，涵蓋相似關鍵字的兩篇文章，而這將同時產生關鍵字蠶食 (Keyword Cannibalization) 的現象。這情況會讓Google搜尋引擎感到困惑，認為內容重複，不知道那個頁面比較重要，等於有多個頁面競爭相同的關鍵字排名，最終只會有一頁被Google索引。
通過Google搜尋引擎的規則，就可以得知背後的原因。舉例來說，當你在搜尋“車體包膜”時，搜尋引擎結果頁面（SERP）會出現的，可能是「各廠牌車體包膜評價」，以及「推薦車體包膜哪個廠牌好用」等文章，但萬一自己的網站出現兩篇相似意圖的文章，包含相似的關鍵詞時，這時Google搜尋引擎會感到困惑，不知道要推薦哪一篇？而兩篇文章也在網站內部爭奪排名，成為互搶流量的敵人。
2. 跨網域的內容重複
- 文章被他人引用：如果您的網站具有較低的網域權重，而引用您內容又不標註出處的網站具有較高的網域權重，這尤其是一個問題。具有較高網域權重的網站通常會更頻繁地被抓取，從而導致複製內容首先在複製內容的網站上被抓取。他們可能被視為原始作者，並且等級高於您。
- 文章被盜用：倘若您的文章被盜用，又出現和上述一樣的網域權重問題，您的文章也會導致低於盜用者的排名。遇到這樣的問題，您可以提出您文章發布時間和網址，向google提出侵權申訴。
- 自己在電商平台發布相同的產品說明，或是在部落格發布相同的貼文：這個情況會和上述情況類似，通常電商或是部落格平台的權重會高於您自身的網站。因此，建議您避免發布相同的內容在不同的平台上，請至少重新撰寫，做出區隔，不然就是加上相對應的出處連結。
如何修復和避免重複內容？
1. 非www與www 以及 HTTP與HTTPs，設定單一網域
- 將所有流量重定向到 https + non-www 如果您有 Apache 伺服器，請將以下程式碼新增至，您網站根目錄裡的 .htaccess (隱藏檔)檔案：
RewriteEngine On
RewriteCond %{HTTP_HOST} www.yourwebsitehere.com
RewriteRule (.*) https://yourwebsitehere.com/$1 [R=301,L]- 將所有流量重定向到 https + www 如果您有 Apache 伺服器，請將以下程式碼新增至，您網站根目錄裡的 .htaccess (隱藏檔)檔案：
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.
RewriteRule ^(.*)$ https://www.%{HTTP_HOST}/$1 [R=301,L]2. Canonical 屬性解決URL參數問題
規範 URL 告訴搜尋引擎，雖然可能有多個 URL 指向相同的內容，但只有一個規範 URL 是原始 URL。一般來說，Google 會在其結果中使用該 URL。
透過<rel=”canonical”>屬性，標準化您的網址。在<head> </head>中添加：
<link rel="canonical" href="http://www.example.com/blogs/my-blog-post" />這是告訴 Google http://www.example.com/blogs/my-blog-post 應該被索引，即使顯示的 URL 是：http://www.example.com/blogs/my-blog-post?utm_source=fb 或http://www.example.com/blogs/my-blog-post?show-comments=true&page=3。
3. 301 Redirect 轉址
當您希望將所有流量導向至一個首選頁面時，請使用301 Redirect 轉址。Google 認為這是一個強烈的訊號，顯示Redirect 轉址的目標應該是規範頁面。
假設您可以透過以下方式存取主頁：
https://example.com/https://www.example.comhttps://home.example.com
您可以選擇首選 URL 結構，並將所有流量從其他頁面重新導向到該頁面。所有 Redirct 轉址的方法具有相同的效果。
4. 正確設定 CMS 的被檢索功能
- 一篇文章請選取單一的”類別(Category)”
- 設定”標籤(Tag)”、”搜尋(Search)”頁面不被檢索：可以在Robots.txt當中設定noindex，不被檢索。
- 將”圖片 / 附件” Redirect 轉址到父貼文(Parent Post)網址，也就是原文章中
5. Robots.txt
在Robots.txt 檔中設定noindex的頁面，讓部分頁面不被檢索蒐錄。
6. Hreflang 標籤
hreflang 屬性就是”在地化多語系網站”的答案，這會告訴 Googlebot 哪個頁面針對哪個國家，這樣 Google 就可以向美國搜尋者顯示 .com 網站，向英國搜尋者顯示 co.uk 網站。
7. 建立網站地圖
選擇您的規範 URL 並將其新增至網站地圖。這是一個簡單的方法，您可以讓 Google 了解哪些頁面對您很重要。如果您的網站的連結少於幾十個，您可以手動建立網站地圖，或使用 CMS 產生的網站地圖。然後，在 Google Search Console 中提交您的網站地圖。在「索引」>「網站地圖」>「新增網站地圖」
8. 如何解決具備類似意圖的內容？
請規劃關鍵字地圖，透過關鍵字地圖，您可以避免關鍵字蠶食 (Keyword Cannibalization) 的現象，有效規劃您的關鍵字出現在不同的文章中。
9. 您的文章被他人引用該如何處理？
您可以建議他們使用Canonical標籤，將標準URL導向您的網域。如果他們不願意這麼做，您可以向 Google發送DMCA 請求，或者採取法律行動。
10. 文章被盜用該如何處理？
您可以透過 向Google 舉報 侵權，Google 將對其進行審查，並可能刪除重複的內容，但這和採取法律行動不同，當然您也可以同時採取法律行動。
該如何檢查重複內容？
您可以透過以下的方法找出重複的內容：
1. 使用Google Search Console：
您可以使用 Google Search Console 索引覆蓋率報告。在那裡，您可以查看 Google 已將您網站上的哪些頁面編入索引，哪些頁面尚未編入索引，以及任何錯誤或警告。
造成重複網頁的問題有三種類型：
- 沒有Canonical標籤的重複：您網站上的這些頁面是另一個頁面的重複項，但它們沒有Canonical標籤。Google 選擇了這些頁面的另一個版本來顯示在搜尋結果中。
- Google 選擇的標準網頁和使用者的選擇不同：Google 判定的標準網址跟網頁內所指向 (rel=”canonical”) 的標準網址不同。
- 已提交的網址未獲選為標準網址：與上述類似，當您向 Google Search Console 提交了網址，但被 Google 判定不是標準網址， Google 選擇不同的頁面建立索引時，就會發生這種情況。
您可以透過點擊訊息來查看受這些問題影響的頁面清單。根據問題的原因，您可以依照上述的建議修復，例如：設定 301 Redirect 轉址、新增 rel=”canonical” 屬性以及向 Google 提交新的網站地圖。
2. 使用專業的平台：
倘若您是較大型的網站，那麼您可能需要使用 Screaming Frog 或 Coypscape 等工具來偵測網路上重複或接近重複的內容。
