搜索引擎的蜘蛛人（ROBOTS）秘密
作者： 来源： 添加时间：2006-5-21 21:13:531、什么是Robots META标签
Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类似（见黑体部分）：
<html>
<head>
<title>时代营销--网络营销专业门户</title>
<meta name="Robots" content="index,follow">
<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">
<meta name="keywords" content="营销… ">
<meta name="description" content="时代营销网是…">
<link rel="stylesheet" href="/public/css.css" type="text/css">
</head>
<body>
…
</body>
</html>
站内搜索