3.1  机器人输送

下面开始学习搜索引擎的工作原理。搜索引擎的一个主要部件是一种叫做“机器人(robot)或蜘蛛(spider)”的软件，它从各个站点提取有关您的网站的信息，然后将这些内容传回到强大的中心“引擎”进行分析。这种行为称为“爬网”(crawling或者spidering)。关于机器人的工作原理有很多比喻，其中最恰当的一种比喻是蚂蚁。可以将搜索引擎机器人看做探路的蚂蚁，它离开蚁穴只是为了寻找食物。而就机器人而言，“食物”就是HTML文本，因为可能有很多文本等待发现，所以蚂蚁必须沿着简单、没有障碍的路径(即HTML链接)前进。沿着这些路径，仅具有像昆虫那样简单思维能力的蚂蚁(搜索引擎机器人)就可以将食物(文本内容)带回蚁穴，并将其存放在蚁丘(搜索引擎数据库)中。整个Internet上有成千上万只“小家伙”在同时进行探索和收集工作，如图3-1所示。如果路径不存在或者被阻塞，蚂蚁将放弃这条路径并前往别处。如果没有食物，则蚂蚁将会空手而归。