robots.txt专题页面，提供最全的robots.txt相关技术文档解答供你选择。觉得脚本宝典不错，就推荐给同事好友吧！