本工具可以检测指定域名的robots.txt文件配置信息，可以方便快速检测robots文件每一行的含义，检测配置是否正确。
使用步骤：将需要检测robots的地址输入检测框内，点击“查询”开始检测，系统会自动检测并将检测结果显示在robots检测结果框内。
Robots.txt是存放在站点根目录下的一个纯文本文件。robots文件作用很强大，配置却很简单。它可以指定搜索引擎蜘蛛只抓取指定的内容，或禁止搜索引擎蜘蛛抓取 网站 的部分或全部内容。
免责声明：
转载请注明原文出处。本文仅代表作者个人观点，与商来宝平台无关，请读者仅做参考，如文中涉及有违公德、触犯法律的内容，请向我们举报，作者需自行承担相应责任。涉及到版权或其他问题，请及时联系我们处理。
转载请注明原文出处。本文仅代表作者个人观点，与商来宝平台无关，请读者仅做参考，如文中涉及有违公德、触犯法律的内容，请向我们举报，作者需自行承担相应责任。涉及到版权或其他问题，请及时联系我们处理。