Use este identificador para citar ou linkar para este item:
https://ri.ufs.br/jspui/handle/riufs/18822
Tipo de Documento: | Outro |
Título: | Web crawler |
Autor(es): | Ié, Ocante António |
Data do documento: | 2023 |
Orientador: | Araújo, Alessandra dos Santos |
Coorientador: | Nunes, Martha Suzana Cabral |
Resumo: | Para atender à necessidade de compreensão mais ampla dos mecanismos de busca na web, desenvolvemos um Web Crawler como uma peça central deste estudo. O Web Crawler, construído usando a linguagem de programação Python, é uma ferramenta projetada para automatizar a coleta de dados na web de maneira precisa e eficaz. Para explicar em termos mais acessíveis, um Web Crawler é como um "robô" da internet que percorre páginas da web em busca de informações específicas. Imagine-o como um explorador digital que segue links entre páginas da web, extrai dados relevantes e os organiza para análise. O funcionamento básico envolve três etapas: - Identificação de Páginas para Exploração: O processo de identificação de páginas para exploração inicia-se com o Web Crawler visitando uma ou mais páginas iniciais, servindo como ponto de partida. Nesse estágio, o Crawler identifica os links contidos nessas páginas e coleta esses links para acessar outras páginas. Para ilustrar esse procedimento, utilizamos como exemplo o estudo que visa coletar informações da Base de Dados Referencial de Artigos de Periódicos em Ciência da Informação (Brapci). O link específico dessa base foi configurado no Crawler para a extração de informações durante o processo. - Exploração e Coleta de Dados: O Crawler segue os links identificados, acessa as páginas correspondentes e extrai as informações relevantes. Essas informações podem incluir texto, imagens, links, entre outros, dependendo dos objetivos da pesquisa. - Organização e Armazenamento: Após coletar os dados, o Web Crawler os organiza de maneira estruturada para facilitar a análise subsequente. Os dados podem ser armazenados em um formato adequado para análise, como um banco de dados ou arquivo. |
Palavras-chave: | Automação de motores de busca Algoritmos Ciência da informação Acesso à informação |
Parte de : | Aparato dos algoritmos na ciência da informação : compreendendo os processos de automação dos motores de busca (Dissertação) |
Idioma: | por |
Sigla da Instituição: | Universidade Federal de Sergipe (UFS) |
Programa de Pós-graduação: | Pós-Graduação em Ciência da Informação |
Licença: | Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional (CC BY-SA 4.0 DEED). Disponível em: https://creativecommons.org/licenses/by-sa/4.0/ . |
URI: | https://ri.ufs.br/jspui/handle/riufs/18822 |
Aparece nas coleções: | Ciência da Informação (recursos educacionais e técnicos) |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
OCANTE_ANTONIO_IE-WebCrawler.zip | 80,87 MB | ZIP | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.