绿夏网络科技

2021-6-7绿夏网络科技 阅读(4137)评论(0)

robots实际上指的是robots协议(也称为爬虫协议、机器人协议)，它的全称是“爬虫排除标准”，网站通过robots协议告诉搜索引擎哪些页面可以被抓取，哪些页面不能被抓取。 而承载这些协议的文件是robots.txt文件，那么robots.txt文件的作用是什么？如何编写robots协议以及需要注意的事项，今天将在本文中向大家详细介绍。 一、...