|
| Google是如何收录（lù）及（jí）排序网页的 |
|
我们遇到的最（zuì）常见（jiàn）的问题（tí）之一（yī）是“Google是如（rú）何判（pàn）定哪（nǎ）个结（jié）果（guǒ）出现（xiàn）在搜索（suǒ）结（jié）果的前茅？”，Matt Cutts给我们简单地（dì）揭示了（le）如（rú）何（hé）抓取、收录和给（gěi）网（wǎng）页评级。
抓取和收录
当（dāng）你看（kàn）到（dào）出现（xiàn）在Google的搜（sōu）索结果的那个网页之（zhī）前，Google在后台已经（jīng）做（zuò）了许多（duō）步骤。Google的第一步是抓取（qǔ）和收（shōu）录互联网上的（de）数十（shí）亿的网页（yè），这个工作（zuò）时由Google的机器人Googlebot来完成（chéng）的，它浏览网（wǎng）络（luò）服（fú）务器抓（zhuā）取文件。 抓取的程序（xù）并不（bú）是（shì）漫无目的地（dì）在互联网上（shàng）瞎逛，它访问服务器的特定的网页，然后（hòu）扫（sǎo）描网页上的超文（wén）本（běn）链接，如（rú）果有新的文（wén）件也是这样抓取得（dé）；蜘（zhī）蛛程序给每个（gè）得到的网（wǎng）页一个号码，这个号码（mǎ）指向它抓取（qǔ）的网页。
蜘蛛程序抓取了很多的网页，但这些网页还不是便于搜索的。如果没有（yǒu）一个索（suǒ）引，你要查询一个词，比（bǐ）如“国内战争”，Google的服务器每（měi）次都要读取每一（yī）个文件（jiàn）的所有内容（róng）。
因此，第二步就是建立索引（yǐn）。我们不是去扫描每一个文（wén）件（jiàn）的所有（yǒu）内容，我们巧妙地进行数据的“转（zhuǎn）换”，列出（chū）每（měi）一个文件所包含（hán）的特定的词（cí），例如，“国内”这个词可（kě）能出现在文（wén）件3，8，22，56，68和92当中（zhōng），而“战（zhàn）争（zhēng）”这（zhè）个词出现在文（wén）件2，8，15，22，68和77中。
建立好（hǎo）索引（yǐn）之后，我们就可（kě）以开始（shǐ）对网（wǎng）页进行（háng）评（píng）级，决定网页的相（xiàng）关（guān）程度。假设（shè）有人在Google的搜索栏输入“国内战争”进（jìn）行查询，为（wéi）了提交（jiāo）搜索（suǒ）结果和对结果进行评分，我们要做两件事：
1. 找到包含用（yòng）户查询（xún）的词的网页（yè）
2. 给符合的网（wǎng）页按照相（xiàng）关程度进行评级
Google开发出一个有趣的技（jì）巧（qiǎo）来加速第一（yī）步：Google不是把整（zhěng）个索引存（cún）储在一台功能（néng）强大的计算机上，而是（shì）用千百个（gè）计算机来存储这些信息。因（yīn）为任（rèn）务被（bèi）分解到许多的计（jì）算机，可以更快（kuài）地找到所需的答案（àn）。 详细解释一（yī）下，假设一本书的（de）目（mù）录有30页（yè），如果（guǒ）一个人要在目录（lù）中查寻资料（liào），每次查询（xún）都要花几（jǐ）秒钟；如果（guǒ）用30个人每人查询一页目录，显然要比一个人查询的（de）速度快很多。同样的，Google将数据分别存储在许多计算机（jī）上（shàng），这样搜索的速度会大大加快。
我（wǒ）们是如何找到那些包含用（yòng）户搜索的词的网页呢（ne）？回到“国内战争”的（de）例子，“国内”这个词（cí）出（chū）现（xiàn）在文件3，8， 22， 56， 68 和92; “战争（zhēng）”出现在文件2， 8， 15， 22， 68和77，记下同时（shí）出现这（zhè）两个词的文件（jiàn）。
国内 3 8 22 56 68 92
战争 2 8 15 22 68 77
国内 战争（zhēng） 8 22 68
这样我们可以清楚地发现“国内”、“战争”这（zhè）两个（gè）词同（tóng）时出现的（de）在三个文（wén）件里 (8, 22, 和68)。 含有这几个字的（de）列（liè）表叫（jiào）做“位置列表”，搜索文件包含这两个字，这叫（jiào）做交叉（chā）搜（sōu）索位置列表。（较（jiào）快的交叉搜索的方法是同时（shí）进行搜（sōu）索（suǒ），如（rú）果一个（gè）搜索列表,22到68，那另一个就可以开始搜索其他（tā）的）
对结果进行评级
现在我们已经有了一些包含用（yòng）户搜索（suǒ）的关键词的网页，我们要对它们的相（xiàng）关程度进行评级（jí）。Google用许多参数进行评级。这当中PR算法是众所周知的。PageRank评估（gū）两个因素：有多少个网页（yè）链接到（dào）这个网页，这（zhè）些链接网页的网站的质量如（rú）何。通过PageRank，五六个（gè）高质量的站点的（de）链接，比如www.cnn.com和www.nytimes.com比其他较（jiào）差的（de）网（wǎng）站的链接要（yào）有价（jià）值的多。
但是除了PageRank，我们还用许多其它的参数来（lái）进（jìn）行评级。例如，如（rú）果（guǒ）一个文件（jiàn）包含“国内”和“战争”这两个词排（pái）在一起，这（zhè）个文件可能比一个讨论革命战（zhàn）争的文件（在文件的某个地方使用“国内”）的（de）相关程度高。还（hái）比如（rú）假（jiǎ）设一（yī）个网页的标题是“国内战争（zhēng）”，比另一个标（biāo）题为“19世纪（jì）美国服装”的网页相关度高得多（duō）。同样的，如果“国内（nèi）战争（zhēng）”在网页（yè）中（zhōng）出现多次的网页比只出现一个的网页相关的程度也要（yào）高。假设（shè）你（nǐ）是搜（sōu）索引擎（qíng），选（xuǎn）择一个词查询（xún），比如：国内战争或回（huí）收，在（zài）Google上查（chá）询（xún），从结果中挑选三到四（sì）页（yè）打印出来。从每一（yī）张打印的页面上找出（chū）你的搜（sōu）索语句的（de）每一个字然后用荧光笔标出来，然后（hòu）把这（zhè）几页贴在墙（qiáng）上，退后几步眯着眼看（kàn），当你不知道页面的内容，仅（jǐn）仅（jǐn）能看到那些（xiē）有颜色的方块（kuài），你认（rèn）为（wéi）那一页是最（zuì）相关的呢（ne）？是不是有着大的（de）标题和多次重复出现的颜色代表了较高的相关程度？你喜欢这些字出现（xiàn）在（zài）顶端还是（shì）底部（bù）？这些字出（chū）现的频率如何（hé）？这（zhè）也是搜索引擎如何判断网页（yè）的相关程度。
原则（zé）上，Google总是（shì）试图找出可靠（kào）的和相关的（de）网页。如果两个（gè）网页按照查询的语句大（dà）致有相同的（de）信息，Google通（tōng）常选择比较信得过的网（wǎng）站的（de）网页。当然，如果有一些（xiē）因素表明这个网（wǎng）站的网页相关度更高，Google经常也选（xuǎn）择PageRank较低的网站。
一旦Google完（wán）成（chéng）了文件的列表和它们的评分，就给出得分最高的网页。Google同时（shí）从（cóng）网页中摘（zhāi）录一（yī）小段包含查询的关键词的（de）句子（zǐ）；给出（chū）网页的（de）链接。
对于这样的搜索工作，需要极（jí）大的数（shù）据运算量，一般说来，对于某个搜（sōu）索（suǒ），要有超过（guò）500台的服务（wù）器协同工作以求（qiú）得（dé）最佳匹（pǐ）配（pèi）的结（jié）果，当然，结（jié）果会在半秒（miǎo）内返回用户。 |
|
