Please use this identifier to cite or link to this item:
https://ri.ufs.br/jspui/handle/riufs/18822
Document Type: | Outro |
Title: | Web crawler |
Authors: | Ié, Ocante António |
Issue Date: | 2023 |
Advisor: | Araújo, Alessandra dos Santos |
Co-advisor: | Nunes, Martha Suzana Cabral |
Resumo : | Para atender à necessidade de compreensão mais ampla dos mecanismos de busca na web, desenvolvemos um Web Crawler como uma peça central deste estudo. O Web Crawler, construído usando a linguagem de programação Python, é uma ferramenta projetada para automatizar a coleta de dados na web de maneira precisa e eficaz. Para explicar em termos mais acessíveis, um Web Crawler é como um "robô" da internet que percorre páginas da web em busca de informações específicas. Imagine-o como um explorador digital que segue links entre páginas da web, extrai dados relevantes e os organiza para análise. O funcionamento básico envolve três etapas: - Identificação de Páginas para Exploração: O processo de identificação de páginas para exploração inicia-se com o Web Crawler visitando uma ou mais páginas iniciais, servindo como ponto de partida. Nesse estágio, o Crawler identifica os links contidos nessas páginas e coleta esses links para acessar outras páginas. Para ilustrar esse procedimento, utilizamos como exemplo o estudo que visa coletar informações da Base de Dados Referencial de Artigos de Periódicos em Ciência da Informação (Brapci). O link específico dessa base foi configurado no Crawler para a extração de informações durante o processo. - Exploração e Coleta de Dados: O Crawler segue os links identificados, acessa as páginas correspondentes e extrai as informações relevantes. Essas informações podem incluir texto, imagens, links, entre outros, dependendo dos objetivos da pesquisa. - Organização e Armazenamento: Após coletar os dados, o Web Crawler os organiza de maneira estruturada para facilitar a análise subsequente. Os dados podem ser armazenados em um formato adequado para análise, como um banco de dados ou arquivo. |
Keywords: | Automação de motores de busca Algoritmos Ciência da informação Acesso à informação |
Is part of: | Aparato dos algoritmos na ciência da informação : compreendendo os processos de automação dos motores de busca (Dissertação) |
Language: | por |
Institution: | Universidade Federal de Sergipe (UFS) |
Program Affiliation: | Pós-Graduação em Ciência da Informação |
License: | Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional (CC BY-SA 4.0 DEED). Disponível em: https://creativecommons.org/licenses/by-sa/4.0/ . |
URI: | https://ri.ufs.br/jspui/handle/riufs/18822 |
Appears in Collections: | Ciência da Informação (recursos educacionais e técnicos) |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
OCANTE_ANTONIO_IE-WebCrawler.zip | 80,87 MB | ZIP | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.