搜索引擎机器人(robots)
机器人(robots)事实上是一个精心设计的网站爬行程序，依照网站的连接从一个网站游历到另一个网站。根据这种自动化程序基于预先设计好的网站排名标准及算法，对网站进行评估排名。虽然每个搜索引擎各有各的标准及算法，然而他们对搜索结果判定网站排名上也具有很多相似的地方。

一个搜索引擎机器人会先爬行一个网站，检索在它看来是重要的页面部件，这些检索的数据随后被分析，并赋予指定关键字在搜索结果中的排名。每个搜索引擎算法被设计成足以判断相应关键字和相关页面的相关程度。