"Domínio público" refere-se a coisas em princípio sujeitas a direitos autorais, mas em que a proteção expirou, foi repudiada ou é uma exceção legal (como obras do governo). Um site não é "de domínio público". A ideia de que um site é "propriedade pública" é (* tosse *) equivocada.

Existem basicamente duas maneiras pelas quais uma interação na web pode ser ilegal. O primeiro diz respeito a se acessar o computador de outra pessoa é acessar ilegalmente um computador, o que é um crime. A autorização se resume essencialmente à "permissão": se o proprietário permitir que eu acesse o computador, estou autorizado. Colocar coisas lá fora em um servidor da web é uma concessão aberta de permissão para ver uma página da web. Isso significa simplesmente que, se eu criar uma página da web (com vários links ou não), estou concedendo a você permissão para interagir com meu computador nessa medida. Ele não cria permissão para invadir um subdiretório protegido por senha. Um rastreador comum da web automatiza o que um clique humano faz.

A lei de direitos autorais também é relevante, pois o que eu coloco em minha página da web não pode ser copiado sem permissão. Qualquer acesso à página da web envolve necessariamente cópia automática de máquina para máquina: ao colocar coisas lá fora para o mundo ver, estou dizendo que o mundo pode fazer aquele nível de cópia automática que surge de interações normais de html e clique. Isso não significa que você pode baixar e fazer coisas com meu conteúdo protegido por direitos autorais (ou seja, não é um abandono dos direitos autorais: eu não coloquei essas coisas em domínio público). Colocar uma página da web de forma irrestrita significa que você deu um certo nível de permissão para "copiar" (pelo menos no sentido de visualização automática de servidor para navegador).

Posso querer impor condições ao acesso das pessoas às minhas coisas, para poder impor termos a esse material. Por exemplo, posso exigir que os usuários concordem com certas condições antes de acessar o subdiretório CoolStuff. Os usuários, então, têm que passar por um pequeno obstáculo e concordar com esses termos. Nesse caso, minha permissão é condicional e, se você violar os termos desse acordo, posso processá-lo por violação de direitos autorais. Então, poderia ser uma violação de meus termos de serviço (TOS) se eu disser "você não pode rastrear meu site" (em uma linguagem menos vaga). Um TOS obtém seu poder legal da lei de direitos autorais, porque toda interação de página da web envolve cópia (suponho que o ponto técnico seja óbvio), e a cópia só pode ser feita com permissão. Você pode superar tecnologicamente minha fraca tecnologia de click-through para que o bot apenas diga "com certeza" e passe a usar ilegalmente minha página da web: Posso processá-lo agora por violação de direitos autorais.

Os métodos específicos de robô de metatags e robots.txt não têm força legal. Embora haja uma maneira de dizer "não, você não pode", que é adaptada para acesso automatizado, o significado e a aplicação desses dispositivos ainda não chegaram à lei. Se minha página usa NOFOLLOW e seu programa não sabe ou não se importa, você (seu programa) (ainda) não tem o dever de entender, detectar e respeitar essa tag. O registro prévio também não é um requisito legal, e muitas páginas que estão na lista de rastreamento mestre são direcionadas para a página da web de outra pessoa. Novamente, não há atualmente nenhuma exigência legal de pré-registro (e não há nenhum mecanismo eficaz para verificar se o proprietário do site registrou o site).

Arquivar e especialmente reexibir o conteúdo de alguém, por outro lado, não é legal. Seria uma violação de direitos autorais se você pegasse a página da Web de outra pessoa e a hospedasse. Você pode analisar o material e de alguma forma associá-lo a alguns termos de pesquisa e exibir um link para essa página, mas não pode copiar e republicar o material. Você pode colocar trechos muito curtos retirados de uma página da web, de acordo com a doutrina do "uso justo", mas não pode republicar uma página no atacado. (Deve-se notar que o archive.org é uma biblioteca reconhecida internacionalmente e as bibliotecas têm poderes estatutários extras para arquivar).

Não é realmente uma resposta, mas anseio por comentários.

Em primeiro lugar, sugiro fortemente que o OP faça uma pequena leitura online sobre SEO (otimização de mecanismos de pesquisa) e analise a história dos mecanismos de pesquisa usando a motores. O OP poderia facilmente obter uma compreensão da estrutura legal que permite aos mecanismos de pesquisa fazer o que fazem.

Google, Bing, Yahoo etc. não copiam páginas da web. Eles indexam páginas da web. Como exatamente eles fazem isso é segredo comercial. No entanto, a indexação é o processo de quebrar um corpo de texto em partes relevantes para tornar a pesquisa de um corpo de texto específico mais rápida. Se você olhasse o índice desta página, pois ele pode estar armazenado em algum lugar como o google, você não reconheceria nenhuma parte da página. A parte da página que eles mantêm é dividida em frases e palavras, perdendo quase todo o conteúdo original e o contexto humano.

(Há um arquivo da Internet https://web.archive.org/, eles têm apenas 325 bilhões de páginas, incluindo alguns sites que eu costumava ter. Eles podem ter uma página explicando como eles podem fazer isso sem serem processados.)

No índice, eles também armazenam um ponteiro, que é simplesmente a URL da página e um pequeno trecho da página original, com o qual eles exibem os resultados. Se eles realmente arquivassem as páginas, precisariam de mais armazenamento de dados do que têm, centenas de vezes mais, uma vez que o conteúdo real de uma página é apenas uma pequena quantidade dos dados que compõem a página inteira. Algo como o peso da tinta em comparação com o peso do livro.

Eles podem pegar e usar as partes que fazem para ganhar dinheiro, pois é considerado um "uso justo". Da mesma forma que um jornal faria uma resenha de livro, usando o título e trechos do livro que está resenhando. Na verdade, nos primeiros dias da Internet, quando eles estavam descobrindo a estrutura jurídica básica de pesquisa e indexação, tenho certeza de que algum advogado em algum lugar fez exatamente essa comparação.

Eles rastreiam apenas sites que estão registrados em seu SEO ou estão em seu radar e classificação - eu realmente não entendi muito essa parte - mas isso também não faz muito sentido, já que eles ainda precisam rastrear outros sites a serem atualizados.

Um site fica em seu radar por ser vinculado a um site que já está em seu índice.

Então, sim, você pode indexar todos os sites que você quer. Você simplesmente não pode copiá-los e usar essas cópias para seus próprios meios sem permissão. Mas antes de fazer isso, você deve estudar as diferenças entre copiar e qual é a dinâmica atual com o uso justo e indexar partes de um site e seu conteúdo relacionado, como imagens. Você também pode querer obter uma compreensão sobre mineração de dados, que é a arte de escrever um programa que vagueia pela Internet coletando dados, que é tudo o que um rastreador de mecanismo de pesquisa é.