三种蜘蛛看不见的网页——蜘蛛陷阱

flash、frame框架

我们都知道,flash是非常漂亮的,比如说在一些珠宝网站,往往都能够给用户以非常漂亮的页面,用户体验很好,但是对于搜索引擎来说,这样“华丽”的页面,搜索引擎是看不到的,一片空白。再有,frame框架也是不利用搜索引擎收录的,但是现在已经脱离了DW所见即所得的时代,各种开源网站程序都很多,运用frsme框架架设网站已经很少见了。

登陆后可见、回复可见

很多论坛都有设置这样的“机关”,无论是由于什么原因导致网站做出这样的设置,都不能够改变搜索引擎不能够爬去这些隐藏的内容。

robots和nofollow

蜘蛛可以说是最低权限的网页浏览着,robots就能够将蜘蛛拒之门外,nofollow是一个禁止蜘蛛爬,禁止权重传递的语法,虽然说新站在一开始并没有什么权重,但是为了以后的长久发展,在细节上做好,对未来的影响很大,所以建议站长朋友在撰写文章的时候,如果不想传递权重,最好不要嫌麻烦,加上rel=”nofollow”

js调用

js全称是javascript,记得我当初学习js调用是为了做淘宝客网站,很简单的逻辑,页面上方是一个淘宝客程序,页面下方是wordpress程序。即使用wp整合淘客程序,使用js调用的内容,在以前是不能够被蜘蛛抓取的,但是现在,已经有部分搜索引擎可以抓到js调用的内容, 比如说谷歌,最简单的检测方式就是看快照里面有没有,经测试,谷歌是可以爬去的,所以说,我们可以去一些大型网站做外链,评论虽然是js调用的,但是还是很有效果的(有助于提升网站pr)