Pegue todas as páginas de nível superior de um site Google

Basta usar isso em seu URI:

parent=0

É isso aí. Não documentado em lugar nenhum, veja bem, mas funciona bem.

Isso surgiu porque parece que o Google só gosta de devolver (aproximadamente) 500 resultados em resultados paginados, o que causa problemas enormes ao tentar fazer algo tão simples como auditar um site Google. Assim, você precisa quebrar tudo em pedaços, de cima para baixo, para minimizar o tamanho das coisas devolvidas, enquanto ainda (mais ou menos) se garante que vai receber de volta tudo o que esperava. Direi que esta pequena modificação, ao contrário da abordagem “dê-me tudo de uma vez”, e definir o pai dessa forma, nos ajudou a ir de cerca de 900 resultados para um site (muito errado) para 5500 (mais na área que está procurando).