SEO 【SEO対策】重要ではないサイトクロールを防ぐrobots.txtの書き方
重要ではないコンテンツのクロールを制御し、クロール範囲を狭めることで重要なコンテンツへのクロールを高く制御するrobots.txtについて解説しています。優先度や重要性が高いコンテンツが優先的にクロールされるためサイト全体のSEOにも効果があります。
すなりん
商品カートやログイン画面、ログアウト画面、問い合わせフォーム等もクロールされインデックスされてしまう。クロールしても無駄だからしな...
