Página 1 de 1

ROBO RASPAGEM DE DADOS WINHTTP VBA

Enviado: Qui Mai 07, 2020 8:43 pm
por Lindi Ribeiro
Boa noite pessoal,

Preciso de uma ajuda eu estou fazendo web scraping em vba pelo metodo winhttp (nao sei se e assim que chama), eu entro em um site 'https://projudi.tjpr.jus.br/projudi/' que precisa de login e senha, e raspo informacoes, porem eu nao consigo logar neste site, esta e a primeira coisa que preciso eu copio o cookie session e coloco no meu codigo toda vez que executo ou seja quando site expira eu tenho que atualizar o cookie que pego pelo pelo Request Headers, a segunda coisa que preciso e que determinadas consultas geram um id, mas a url continua a mesma tipo uma chave para cada consulta ele redireciona deve rodar a consulta a parte nao tenho certeza se e frame ou metatag.
Exemplo :
clico em pesquisar colocando processo na caixa de busca/ aparece o processo eu clico nele e abre mais opcoes (ate ai consigo raspar) / quando vou ver algumas dessas opcoes a URL continua a mesma, mas quando vejo codigo fonte existe um id gigantesco para cada processo que pesquiso, sempre no methodo GET.

Bom, como estou a meses nisso nao custa tentar por aqui. Selenium estou tentando aprender agora, mas existem poucos vídeos sobre.

Re: ROBO RASPAGEM DE DADOS WINHTTP VBA

Enviado: Sex Mai 08, 2020 12:06 pm
por webmaster
Lindi,

Usando o winhttp é possivel, mas seu conhecimento de Web e do protocolo HTTP precisar ser profundo, já que todos as chamadas precisão ser escritas na unha, detalhe a detalhe, cada GET, POST, PUT, PATCH e/ou DELETE.

Recomendo ou o Selenium ou manipulação do IE via internet controls.

Tem bastante coisa sobre Selenium na internet, mas ele tem sido usado para web scraping apesar não ter sido feito para tal. Você encontrará muita coisa relacionada a testes. Sugiro começar por ai.

Att