Deep web e surface web

Deep web e surface web conformam uma divisão do conteúdo da rede mundial de computadores (world wide web) quanto à indexação feita por mecanismos de busca padrão. Deep web (deepnet, web invisível, undernet, web obscura ou web oculta) corresponde à parte não indexada e surface web (ou internet superficial) é a parte indexada. Motores de busca constroem um banco de dados através de programas chamados web crawlers ou spiders (aranhas) que começam com uma lista de páginas de internet conhecidas. Esse programa pega uma cópia de cada pagina e indexa-a, guardando informações importantes que permitirão que a página seja facilmente recuperada mais tarde. Qualquer hiperligação para novas páginas são adicionadas para a lista de páginas para serem indexadas. Finalmente, todas as páginas acessíveis são indexadas a menos que exceda os limites do motor de busca. Assim, o conjunto de páginas acessíveis definem a porção superficial da rede (surface web). Por diversas razões (como o Protocolo de Exclusão de Robôs, hiperligações geradas por JavaScript e Flash, proteção de senhas), algumas páginas não podem ser acessadas pelos web crawlers. Essas páginas compõem a seção oculta da rede (deep web). Em janeiro de 2014 as páginas indexadas eram pelo menos 15 bilhões de páginas. Não deve ser confundida a deep web com a Dark Internet, que está relacionada à porção da Internet que não pode ser acessada ou que se tornou inacessível por meios convencionais. Também não se confunde com a Darknet, que não é uma simples rede de compartilhamento de arquivos, mas uma rede subjacente ou em camadas, onde existem grandes esforços no sentido de se manterem anônimos os dados de seus utilizadores. Mike Bergman, fundador da BrightPlanet e autor da expressão "deep web", afirmou que a busca na Internet atualmente pode ser comparada com o arrastar de uma rede na superfície...