绿夏网络科技

2021
全新开始
首页 » 关于 robots文件 的文章共有1条
建站知识

robots协议是什么意思?robots.txt文件的作用是什么?

绿夏网络科技 阅读(636)评论(0)

robots实际上指的是robots协议(也称为爬虫协议、机器人协议),它的全称是“爬虫排除标准”,网站通过robots协议告诉搜索引擎哪些页面可以被抓取,哪些页面不能被抓取。 而承载这些协议的文件是robots.txt文件,那么robots.txt文件的作用是什么?如何编写robots协议以及需要注意的事项,今天将在本文中向大家详细介绍。 一、...

热门
切换注册

登录

您也可以使用第三方帐号快捷登录

切换登录

注册