如何避免引擎蜘蛛爬“index.htm”这个首页

一个网站客户问我们：我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？

User-agent: *

Disallow: /index.htm

我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查。

我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。

写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。

当然，如果只是应付备案短暂需求，，就只能这样处理。

后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。建站服务器租用联系木准科技，服务器租用联系电话：18300003210微信同号；技术QQ：404634181，24小时在线。