lynx — Extrair Metadados de Arquivos

O lynx é uma browser em modo texto que possui diversos recursos e um destes recursos permite a extrair um lista de todos os links de uma página específica.

Projeto : lynx.isc.org

01 — Passo

Para instalar o lynx execute.

apt-get install lynx

02 — Passo

Execute os lynx com os seguintes parâmetros.

lynx -listonly -dump 100security.com.br > /var/www/links.txt

lynx : Ferramenta.
-listonly : Com -dump, obriga a mostrar apenas a lista de links.
-dump : Parâmetro que define a saída para um arquivo ou para saída padrão (console).
100security.com.br : Site Alvo.
> /var/www/links.txt : Caminho e arquivo que armazena o resultado da extração.

03 — Passo

Acesse o arquivo links.txt pelo browser para visualizar a relação dos links extraídos: http://ip-do-servidor/links.txt

Fonte: https://www.100security.com.br/lynx