很多刚刚学习SEO优化的小伙伴，robots.txt与nofollow这两个术语在某些情况下使用时很难很清楚。 一. 基本概念 1. 什么是robots.txt？ robots.txt是一个文档，存放在网站根目录。当搜索引擎蜘蛛抓取网站时，首先会检查网站上是否存在robots.txt。 如果存在，搜索引擎一般都会遵循网站上的robots.txt中的规则来抓取网站内容；如果不存在，搜索引擎蜘蛛就可以访问站点上所有的内容。并不是所有的搜索引擎蜘蛛都会遵循robots. …