Ce inseamna webul pentru noi? Cateva sute de pagini accesate saptamanal… Pentru Google, insa el inseamna trilioane de pagini, iar acest numar creste cu cateva miliarde de pagini pe zi, conform unei postari pe blogul oficial al companiei.
Internetul este compus din trilioane de pagini indexate de catre Google, care afirma ca nu indexeaza chiar toate aceste site-uri, in special din cauza continuturilor similare si a celor auto-generate. In plus, exista si URL-uri duplicate, pagini multiple cu aceleasi continuturi. Primul index Google din 1998 includea 26 de milioane de pagini, iar pana in 2000 acesta ajunsese la 1 miliard.
Din blogul Google aflam ca PageRank-ul era calculat in doar cateva ore in 1998, pentru cele doar 26 de milioane de pagini, in vreme ce astazi, Google descarca web-ul constant, adunand informatii despre pagini si reprocesand intregul sistem de legaturi web de cateva ori pe zi.