baihongyu.com
博客
关于我
强烈建议你试试无所不能的chatGPT，快点击我
robots文件
阅读量：
4200 次
发布时间：
2019-05-26
本文共 145 字，大约阅读时间需要 1 分钟。
robots.txt
1
必须放在根目录下
2
robots的语法：
User-agent：
用来描述搜索引擎的名字
Disallow：
用来描述不希望被访问到的一个URL,这个URL可以是一个完整的路径，也可以是部分的路径。
任何以disallow开头的url均不会被robots访问到。
转载地址：http://occli.baihongyu.com/
你可能感兴趣的文章
（四）Git--远程仓库
查看>>
(六) Git--标签管理
查看>>
java中继承,子类是否继承父类的构造函数
查看>>
什么是Spring Cloud ?
查看>>
pyqt实现界面化编程
查看>>
qt写DLL文件并调用和出现的问题分析
查看>>
工厂模式（Factory）-设计模式（一）
查看>>
建造者模式（Builder）-设计模式（三）
查看>>
初学Java必备基础知识，编程领域你需要掌握的关键点！
查看>>
阿里五年Java程序员的总结，献给还在迷茫中的你！
查看>>
程序员身上有异味，同事为什么都不会直接告诉他？
查看>>
Java、C、C+ +、PHP、Python分别用来开发什么？一篇文章告诉你！
查看>>
Linux-SHELL常用命令
查看>>
Linux-网络运维基础
查看>>
Verilog编程网站学习——门电路、组合电路、时序电路
查看>>
android——学生信息显示和添加
查看>>
Android——ImageSwitcher轮流显示动画
查看>>
Android——利用手机端的文件存储和SQLite实现一个拍照图片管理系统
查看>>
图像调优1：清晰度相关参数MTF，SFR，MTF50，MTF50P 以及TVL的概念以及换算说明
查看>>
罗永浩欲直播带货，京东说可以帮忙联系
查看>>