Como o Google rastreia seu site: Crawlers, Googlebot e crawl budget
O Google rastreia seu site com o Googlebot, o sistema que baixa (fetch) o conteúdo das suas URLs antes de qualquer indexação ou ranqueamento. Rastrear é apenas a etapa de coleta, não é o mesmo que indexar nem que ranquear. O que determina quais páginas são buscadas, e com que frequência, é uma combinação de descoberta por links, capacidade do seu servidor e demanda da busca. Entender esse mecanismo ajuda a diagnosticar por que uma página não é encontrada e a priorizar o que de fato importa aparecer na busca.
O que é um crawler e o que ele faz?
Um crawler é um software que busca recursos de sites, como páginas HTML, imagens e PDFs, para que outro sistema possa usá-los. No caso de um buscador, a lógica é sequencial: para indexar e ranquear uma página, o buscador precisa primeiro baixar o conteúdo dela, e é o crawler que faz esse download. Sem essa etapa de coleta, nada do que vem depois acontece.
Quando o protocolo robots.txt surgiu, no início dos anos 1990, a conversa girava quase toda em torno de buscadores, mas hoje um crawler pode alimentar ferramentas de SEO, sistemas de IA que respondem perguntas, agregadores de preço e muitos outros serviços. Isso importa porque o tráfego de bots que seu servidor recebe não vem mais de uma única origem, e cada crawler tem um propósito e um comportamento diferentes.
O que é o Googlebot?
O Googlebot não é um programa que roda sozinho. Ele é o nome que o time de Busca do Google usa para as sua infraestrutura de rastreamento compartilhada e interna, que funciona mais como um serviço (algo próximo de software como serviço) do que como um robô isolado. Vários times do Google chamam esse mesmo serviço para buscar conteúdo da web, incluindo News, Shopping, Ads e sistemas de IA.
Essa infraestrutura existe desde os primórdios do Google. A versão original era pouco mais que um wget rodando na estação de trabalho de um engenheiro, por volta de 1998 e 1999, e foi rearquitetada conforme novos produtos passaram a precisar buscar da web. O nome Googlebot, no entanto, ficou colado à ideia de "o crawler do Google", o que é impreciso, Googlebot é apenas um dos clientes desse serviço, o cliente da Busca. Por isso o Google documenta apenas os crawlers e fetchers maiores em sua central de crawlers e não os pequenos, que seriam dezenas ou centenas.
Fetcher, controller e scheduler: as três partes do rastreamento
Por dentro, o rastreamento do Google se divide em três funções. O fetcher é a parte que efetivamente baixa o conteúdo da URL. O controller reúne os links descobertos no HTML das páginas já buscadas com os links vindos de sitemaps e de outras fontes, e entrega essa lista ao fetcher. O scheduler orquestra a ordem: decide o que buscar agora, o que pode esperar e o que não vale a pena buscar. O ponto central é que o Googlebot só busca; ele não decide o que será indexado. A decisão de indexação acontece depois, em outro sistema.
Crawler ou fetcher: qual a diferença?
Um crawler trabalha em lote, num fluxo contínuo de URLs que roda sem parar para um time do Google. Um fetcher trabalha por URL individual: você entrega uma URL e ele busca só aquela, geralmente porque há alguém ou algum sistema esperando a resposta na ponta. A Inspeção de URL do Google Search Console, por exemplo, dispara uma busca sob demanda desse segundo tipo. Crawler e fetcher usam a mesma infraestrutura, mas com faixas de IP e comportamentos ligeiramente diferentes.
Como o Google descobre as páginas do seu site
O Google descobre páginas seguindo links. É por isso que uma página sem nenhum link apontando para ela, interno ou externo, fica praticamente invisível, pois não há caminho para o crawler chegar até ela. Existem duas fontes principais de descoberta, cada uma com seu peso.
Um link natural de outro site vale mais para descoberta do que uma entrada no sitemap.xml. O sitemap apenas informa ao Google que aquela URL existe, o que ajuda no agendamento. Um link natural informa que a URL existe, sinaliza que ela é relevante o suficiente para alguém apontar para ela e ainda dá contexto sobre o que há do outro lado. Isso não torna o sitemap dispensável, mas ajuda a entender por que depender só dele, sem links apontando para as páginas, costuma ser um sinal fraco de descoberta.
Links internos também contam, e a página inicial costuma ser o ponto mais importante do seu site para o Google. Uma tática eficaz para acelerar o rastreamento de um conteúdo novo e importante é linká-lo a partir da home, ou de outra página que já é rastreada com frequência, em vez de deixá-lo isolado no fundo da arquitetura. Se a única forma de chegar a um produto é a página três de uma paginação, esse conteúdo tende a ser descoberto devagar.
O que é crawl budget (e por que o Google o trata como um conceito, não uma métrica)
Crawl budget é a forma de explicar que os recursos de rastreamento são finitos, e ele se compõe de duas partes. A primeira é o limite de capacidade de rastreamento (o quanto o Google consegue buscar do seu site sem sobrecarregá-lo). A segunda é a demanda de rastreamento (o quanto a Busca quer buscar do seu site), guiada por sinais de qualidade e de procura pelo conteúdo. O Google mantém documentação própria sobre crawl budget, ainda que internamente o time de Busca trate o termo mais como um conceito didático do que como uma métrica que exista literalmente.
O limite de capacidade depende do seu servidor. Se as respostas começam a ficar lentas em buscas repetidas, a infraestrutura desacelera sozinha; se o servidor devolve um 503 (indisponível), o Google desacelera ainda mais, porque interpreta que o servidor está sobrecarregado. A demanda, por sua vez, sobe quando o Google percebe que o seu conteúdo é procurado e referenciado. Na prática, para a maioria dos sites pequenos e médios, crawl budget não é um problema real, ele só se torna relevante em sites muito grandes ou com muitas URLs de baixo valor competindo por atenção.
Por que o Google não rastreia nem indexa tudo do seu site
O Google não tenta rastrear e indexar cada URL do seu site, e isso é esperado, não um defeito. O espaço de armazenamento é finito, então o buscador precisa escolher o que guarda e o que deixa de fora. Muitas páginas simplesmente não são bons pontos de entrada a partir da busca: um carrinho de compras, uma página de resultado filtrado com combinações hiperespecíficas ou uma versão paginada intermediária raramente fazem sentido como destino de uma pesquisa.
Por isso, mirar "100% do site indexado" é o objetivo errado. O que importa é garantir que as URLs realmente importantes, aquelas em que faz sentido um usuário chegar vindo da busca, sejam rastreadas e indexadas. Reduzir ou melhorar seções grandes de conteúdo de baixa qualidade costuma ajudar o rastreamento do restante do site, enquanto ajustar uma ou duas URLs isoladas não muda quase nada.
De onde e até onde o Google rastreia: geo-blocking e limite de tamanho
O Google normalmente rastreia a partir de endereços de IP localizados nos Estados Unidos. Se o seu site bloqueia acessos por região (geo-blocking) e a região dos EUA fica de fora, o Googlebot provavelmente não conseguirá buscar suas páginas, recebendo um erro HTTP como 403 ou um erro de rede, como um tempo de conexão esgotado. O Google até consegue, em casos de conteúdo de alta utilidade, buscar a partir de IPs de outros países, mas essa capacidade é limitada e não deve ser considerada garantida. Contar com geo-blocking para conteúdo que você quer que seja rastreado é arriscado. O Google publica as faixas de IP dos seus crawlers, o que permite verificar nos logs se um acesso é mesmo do Googlebot.
Há também um limite de quanto o Google baixa de cada arquivo. Ao rastrear para a Busca, o Googlebot baixa os primeiros 2 MB de cada URL, incluindo o cabeçalho HTTP, e até 64 MB no caso de PDFs. Se o arquivo passa desse tamanho, o Google não descarta a página, mas interrompe a busca exatamente no corte e considera para indexação o que já baixou. Esse número foi detalhado na documentação em fevereiro de 2026, mas o próprio Google esclareceu que se trata de uma clarificação, não de uma mudança de comportamento. Para a infraestrutura de rastreamento em geral, usada por outros crawlers do Google, o limite padrão é 15 MB. Na prática, a mediana de uma página HTML gira em torno de 30 KB (de acordo com o HTTP Archive), então a maioria dos sites nunca chega perto desse teto; o risco existe em páginas com HTML inflado por scripts embutidos ou grandes blocos de dados.
Perguntas frequentes sobre rastreamento do Google
Rastreamento é a mesma coisa que indexação?
Não. Rastrear é baixar o conteúdo da página; indexar é analisar esse conteúdo e guardá-lo para poder exibi-lo; ranquear é decidir a posição dele nos resultados. Uma página pode ser rastreada e mesmo assim não ser indexada, e pode ser indexada sem ranquear bem. Confundir essas três etapas é a causa mais comum de diagnósticos errados quando uma página não aparece na busca.
Como sei se o Googlebot está rastreando meu site?
A checagem mais rápida é pesquisar o seu site no próprio Google, por exemplo com o operador site:seudominio.com.br: se as páginas aparecem nos resultados, elas foram rastreadas e indexadas. Só tenha em mente que isso mostra apenas uma amostra, não o total, e não separa rastreamento de indexação. Para dados precisos, use o Google Search Console, no relatório "Estatísticas de rastreamento" (em Configurações) mostra o volume de solicitações do Google ao seu site ao longo do tempo, e a Inspeção de URL informa quando uma página específica foi rastreada pela última vez. Os logs do seu servidor são a fonte mais bruta e confiável, porque registram cada acesso do Googlebot de fato.
Como faço o Google rastrear meu site mais rápido?
Foque em qualidade e em descoberta, não em atalhos. Conteúdo procurado e referenciado por outros aumenta a demanda de rastreamento naturalmente; links internos a partir de páginas importantes, como a home, aceleram a descoberta de URLs novas; um sitemap.xml atualizado ajuda no agendamento. Para uma página pontual e urgente, a Inspeção de URL do Search Console permite solicitar a indexação, mas ela não é um botão mágico para "indexar tudo".
Preciso me preocupar com o crawl budget?
Na maioria dos casos, não. Sites pequenos e médios raramente esbarram no limite de capacidade de rastreamento. O crawl budget vira uma preocupação real em sites muito grandes, com dezenas ou centenas de milhares de URLs, especialmente quando há muitas páginas de baixo valor (filtros, parâmetros, duplicatas) consumindo rastreamento que deveria ir para o conteúdo importante.
O Google rastreia páginas bloqueadas por região?
Em geral, não de forma confiável. Como o Googlebot normalmente rastreia a partir de IPs nos Estados Unidos, um bloqueio por região que exclua os EUA tende a impedir a busca das páginas. Se o seu conteúdo precisa ser rastreado, evite depender de geo-blocking como forma de controle e garanta que o Googlebot consiga acessar as URLs.
Próximos passos
Rastreamento é a primeira etapa de um caminho maior. Depois de buscar o conteúdo, o Google ainda precisa renderizar a página e decidir o que indexar. Para controlar o que deve ou não ser rastreado, o ponto de partida é o arquivo robots.txt, e para ajudar na descoberta e no agendamento vale ter um sitemap XML bem estruturado. Se você quer verificar como o Google está rastreando o seu site, comece pelo Google Search Console e, para um diagnóstico mais amplo de SEO técnico, veja o guia de análise de SEO.