GOOGLEBOT, O ROBÔ DO GOOGLE Conheça

Na internet robots, ou robôs são aplicativos que percorrem a internet em busca de conteúdo , com objetivo de indexar ou verificar atualizações.

Robots também são conhecidos como “indexadores”“bots” ou “crawlers”. Muito conhecidos na comunidade SEO, possuem até nome próprio. Os robots do Google são chamados deGooglebot, os robots do Bing de Bingbot, os robots do Yahoo de Yahoobot ou Yahoo! Slurp.

eles são comandos utilizados em paginas da internet para levar o internauta a outras paginas do mesmo site ou fora dele

Os robots começam seu trabalho em uma determinada página. Armazenam o conteúdo e mapeiam todos os links existentes nela. Em seguida, priorizam cada um dos links e começam a segui-los, a fim de armazenar o conteúdo e mapear os links encontrados, e assim sucessivamente.

Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas e páginas de impressão são alguns exemplos.