一、Robots功能:用于约定允许,还是禁止搜索引擎抓取网站内容。二、概念:Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。三、…
蜀ICP备 08009168号-6 · 川B2-20170012 · | 川公网安备 51019002000589号 · | 四川省旅游电子商务协会(副会长单位)
Copyright © 2007-2025 Stourweb. All Rights Reserved | 四川思途智旅软件有限公司 版权所有