Les visiteurs Web utilisent généralement les moteurs de recherche pour trouver les sites qui correspondent à leurs critères de recherche. Le visiteur inscrit des mots ou des phrases dans la zone de recherche, puis le moteur de recherche produit une liste de sites qui y sont liés. Le moteur de recherche fournit cette information après avoir conduit une recherche plus complète en utilisant des agents logiciels d'indexation, souvent appelés "robots" ou "araignées". Ces robots et araignées sont programmés pour "ramper" à travers l'Internet à la recherche de sites web nouveaux ou récemment mis à jour. Le moteur de recherche prend conscience du nouveau site à visiter et à indexer lorsque ce site est soumis.