robots.txt

重要ではないコンテンツのクロールを制御し、クロール範囲を狭めることで重要なコンテンツへのクロールを高く制御するrobots.txtについて解説しています。優先度や重要性が高いコンテンツが優先的にクロールされるためサイト全体のSEOにも効果があります。商品カートやログイン画面、ログアウト画面、問い合わせフォーム等もクロールされインデックスされてしまう。クロールしても無駄だからしないでほしいなぁ・・・...