1、爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL，然后沿着链接发现新页面（也就是链接指向的URL）的过程。当然，蜘蛛并不是发现新URL马上就爬过去抓取新页面，而是把发现的URL存放到待抓地址库中，蜘蛛按照一定顺序从地址库中提取要抓取的URL。
2、抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL，访问这个URL，把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面，和用户浏览器访问一样，也会在服务器原始日志中留下记录。
3、索引指的是将一个URL的信息进行整理，存入数据库，也就是索引库，用户搜索时，搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的，所以被索引的URL是可以被用户搜索到的，没有被索引的URL用户在搜索结果中是看不到的。
4、noindex的作用：页面头信息中放上meta noindex标签是告诉搜索引擎不要索引这个URL，也就是用户搜索时找不到这个URL的信息，这个URL不会返回在搜索结果列表中。noindex不是告诉搜索引擎不要抓取这个URL，实际上，noindex要起作用，这个URL是必须先被抓取的，不然搜索引擎怎么看到页面HTML代码中有noindex标签呢？
5、robots文件的作用：robots文件是告诉搜索引擎，某些URL不要抓取。注意，这里说的是不要抓取，没说不要索引。和noindex是正相反的。
6、nofollow的作用：给链接加上nofollow属性是告诉搜索引擎，不要沿着这个链接爬行，就当这个链接不存在。注意，nofollow只是告诉蜘蛛不要爬这个链接，没有说不要抓取链接指向的URL，也没有说不要索引链接指向的URL，nofollow既没禁止抓取，也没禁止索引。
7、收录是指搜索引擎把网站索引到自己的数据库中，常见的搜索引擎收录有百度收录、谷歌收录、搜狗收录、有道收录、雅虎收录、夸搜收录、泽许收录等。用户可以通过搜索引擎提交入口提交网站吸徂葛幢捎引蜘蛛抓取页面，或通过外部链接吸引搜索引擎访问网站页面，当搜索引擎认为页面符合收录标准时，就会收录于网站页面。网站收录，在搜索引擎角度来讲也叫网站索引，被很多SEO称为网站收录，搜索引擎在爬取你的网页以后，通过对网页内容进行检测，如果内容符合收录规则，就将网页加入自己的索引库，当用户查询相关内容时，这个网页就会出现在搜索结果，所以百度收录是什么意思?就可以解释为百度爬取了你的网页，并认为你的网页内容符合收录规则或者说有价值，百度会将你的网页加入他的索引库，并且让你的网页将会出现在与你网页内容相关的查询的搜索结果中。
