Googlebot

Googlebot é o robô indexador usado pelo Google para indexar páginas e documentos da web para construir um índice de buscas para o Google Search. Existem dois tipos de rastreadores: o Googlebot Desktop e o Googlebot Mobile para dispositivos móveis. Ambos simulam a ação dos usuários nesses dois ambientes. O Googlebot, principal rastreador e indexador de páginas da web do Google, possui a capacidade de rastrear sites através dos protocolos HTTP/1.1 e HTTP/2. Embora a escolha do protocolo não influencie diretamente na classificação das páginas nos resultados de pesquisa, a utilização do protocolo HTTP/2 pode resultar em economia de recursos computacionais, tais como CPU e RAM, tanto para o site rastreado quanto para o próprio Googlebot. Além disso, é importante destacar que o Googlebot possui um limite de rastreamento de 15 MB para arquivos HTML e arquivos de texto compatíveis. Recursos referenciados no HTML, como CSS e JavaScript, são rastreados de maneira independente e sujeitos ao mesmo limite de tamanho de arquivo. Caso esse limite seja atingido, o rastreamento é interrompido, e somente os primeiros 15 MB do arquivo são considerados para a indexação.