Consultar e copiar dados [RESOLVIDO]

Wagner.cwb

24-09-2016 20:00:10

Boa tarde, agradeço pelo espaço e conhecimentos compartilhados pelos membros.
Estou buscando aprender sobre o selenium e VBA, no momento estou realizando uma pesquisa que consiste em
saber a nacionalidade de uma lista de periódicos científicos.

por exemplo:
ISNN
1065-9129[ISSN]

Pesquiso no link:
http://www.ncbi.nlm.nih.gov/nlmcatalog/ ... -9129[ISSN]
Objetivo é copiar
Country of Publication: United States

ISNN
1062-9769
http://www.ncbi.nlm.nih.gov/nlmcatalog/ ... -9769[ISSN]
Objetivo é copiar
Country of Publication: United States

Por favor, podem ajudar-me, tenho conhecimento mediano em excel, obrigado novamente!
Arquivo Base: https://drive.google.com/open?id=0B88ev ... ERsdE05bXc

EvertonJunio

26-09-2016 13:23:16

Meu caro,

Tentei construir a planilha solicitada, mas tive algumas dificuldades.

1. Tenho que construir um código para conseguir inserir o input (NLM) para cada linha que tiver a informação.
2. A tabela que gera as informações no site não tem um nome específico no HTML para definir onde está a informação do país. Ou seja, ela é variável e não conseguir encontrar um jeito que capturar essa variável.

Não conseguir mandar a planilha por aqui, segue o código abaixo.
Baste inserir o NLM na célula A2 para ele buscar as informações.

Código: Selecionar todos

Sub TESTE()

Dim ie As Object
Dim iLin As Long
Dim NLM As String
Dim Country As String

iLin = 2

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = False

'vai para pagina que vocer quer capturar
NLM = Replace(Range("A2").Text, " ", "-")
ie.navigate "http://www.ncbi.nlm.nih.gov/nlmcatalog/?term=" & NLM


Do While ie.busy
Loop



'Copiar somente a linha "Country of Publication"

Country = ie.document.getElementsByTagName("dd")(7).innertext
Cells(iLin, "B").Value = Country


' Copiar a tabela inteira para a planilha

        'For i = 0 To tabela.Length - 1
        '
        '    NLM = tabela.Item(i).innertext
        '    Cells(iLin, "B").Value = NLM
        '    iLin = iLin + 1
        
        'Next




Set ie = Nothing

End Sub



Espero que ajude de alguma forma.

Wagner.cwb

26-09-2016 22:40:54

Obrigado colega!

Toda tentativa é uma ajuda, agradeço pelo seu tempo e dedicação.
Eu sou leigo, tentei reproduzir a macro e apareceu uma mensagem
"erro tempo de execução 91 - a varialvel do bloco with nao foi definida"

Eu suspeitei da falta do End With resolveria a questao, mas persistiu.

Eu troquei o site base para http://www.dondelopublico.com/ficha/

exemplo http://miar.ub.edu/issn/0736-5853

pois, aparentemente, tem tabelas mais fáceis de serem manuseadas.


Por favor, você pode me ajudar?

abraço!

Mikel Silveira Fraga

27-09-2016 13:12:59

Wagner, bom dia.

Bem, com base no código que o Everton tentou construir, fiz uma adaptação para coleta do País (Country) de cada NLM.

Código: Selecionar todos

Sub CaptureCountry()

Dim ie As Object
Dim iLin As Long

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = False

'Inicia o processo de varredura da lista.
for ilin = 2 to plan1.usedrange.rows.count
	
	'Verifica se existe algum NLM informado
	'na linha atual da coluna A da planilha.
	'Caso encontre, a rotina irá interromper o laço.
	if Plan1.cells(ilin,1).value = "" then Exit for
	
	'Carrega a página atual, utilizando o endereço da coluna C.
	ie.navigate "http://www.ncbi.nlm.nih.gov/nlmcatalog/?term=" & plan1.cells(ilin,3).value

	'Aguarda carregamento da página.
	Do While ie.busy: vba.doevents: Loop
	
	'Captura o país da NLM e envia para  a planilha.
	plan1.cells(ilin, 2).value = ie.document.getElementsByTagName("dd")(7).innertext
	
next ilin

'Limpa o objeto ie
Set ie = Nothing
Não consegui testar, pois estou com umas rotinas sendo geradas e estou impossibilitado de utilizar o Excel no momento.

Favor testar a rotina e ver se irá funcionar. Qualquer coisa, nos retorne.

Abraços e excelente semana.

Wagner.cwb

27-09-2016 16:52:52

Boa tarde Nobres!

tentei executar o código, mas ocorreu um erro na linha:

'Captura o país da NLM e envia para a planilha.
Plan1.Cells(iLin, 2).Value = ie.document.getElementsByTagName("dd")(7).innertext

Mensagem: Erro tempo execução 91 - A Variável do objeto ou variável do bloco with não foi definida.

Obrigado pela ajuda! Abraços

Mikel Silveira Fraga

28-09-2016 03:14:26

Wagner, bom noite.

Vi o erro que você enviou e detectei o mesmo. O que estava ocorrendo é que, dos NLM informados, nem todos possuem resultados encontrados na pesquisa da página. Quando o comando getElementsByTagName ia procurar pelo 8º elemento do tipo "dd", não encontrava, devido não ter tido retorno da pesquisa. Neste caso, tive que colocar um comando para validar se o resultado foi positivo ou não.

Outro ponto que percebi, que no comando utilizando pelo Everton, ele mencionava o 8º elemento. O problema que, de acordo com cada NLM, essa posição pode varia. Exemplo disso, o segundo NLM da lista de seu anexo, o país estava no 5º elemento. Para sanar isso, tive que realizar outro teste, onde valido o elemento "dt" e faço um teste lógico, para localizar um destes elementos com o texto começando com "Country".

Segue código corrigido.

Código: Selecionar todos

Sub CaptureCountry()

Dim ie As Object
Dim iLin, iCount As Long

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = True

'Inicia o processo de varredura da lista.
For iLin = 2 To Plan1.UsedRange.Rows.Count
   
   'Verifica se existe algum NLM informado
   'na linha atual da coluna A da planilha.
   'Caso encontre, a rotina irá interromper o laço.
   If Plan1.Cells(iLin, 1).Value = "" Then Exit For
   
   'Carrega a página atual, utilizando o endereço da coluna C.
   ie.navigate "http://www.ncbi.nlm.nih.gov/nlmcatalog/?term=" & Plan1.Cells(iLin, 3).Value

   'Aguarda carregamento da página.
   Do While ie.busy: VBA.DoEvents: Loop
      
   'Verifica se houve algum resultado da pesquisa.
   'Caso não haja, irá para a próxima linha.
   If ie.document.getelementsbytagname("dt").Length <= 0 Then GoTo nextLinha
   
   For iCount = 0 To ie.document.getelementsbytagname("dt").Length - 1
    If ie.document.getelementsbytagname("dt")(iCount).innertext Like "Country*" Then GoTo Continue
   Next iCount
   
   'Caso não encontre nada no teste acima,
   'redireciona a rotina para a próxima linha.
   GoTo nextLinha

Continue: 'Referência de continuação da captura do país.
   
   'Captura o país da NLM e envia para  a planilha.
   Plan1.Cells(iLin, 2).Value = ie.document.getelementsbytagname("dd")(iCount).innertext

nextLinha: 'Referência pra próxima linha.
   
Next iLin

'Limpa o objeto ie
Set ie = Nothing

End Sub
Espero ter ajudado.

Abraços e excelente semana.

Wagner.cwb

28-09-2016 06:55:14

Obrigado Everton e Mikel, está sendo de grande ajuda.
Sou grato a Deus por vir aqui e obter o auxílio de vocês, pois sabemos o quanto é difícil encontrar tempo para ajudar e obtive a atenção de vocês, obrigado mesmo!

Há alguns detalhes "técnicos" por problemas do site base, irei tentar modificar para o http://www.dondelopublico.com/ficha/
que, aparentemente, possui elementos mais fixos.

Desculpe-me Mikel, mas não compreendi esta parte:
Outro ponto que percebi, que no comando utilizando pelo Everton, ele mencionava o 8º elemento. O problema que, de acordo com cada NLM, essa posição pode varia. Exemplo disso, o segundo NLM da lista de seu anexo, o país estava no 5º elemento. Para sanar isso, tive que realizar outro teste, onde valido o elemento "dt" e faço um teste lógico, para localizar um destes elementos com o texto começando com "Country".
Eu tentei modificar de coutry para país (termo do novo site base) e não surtiu efeito, não entendi o "dt".
Tô capenga ainda rs

Mikel Silveira Fraga

28-09-2016 11:46:41

Wagner, bom dia.

O que você precisa entender é que a situação da rotina é totalmente baseada na Estrutura Html da Página.

Quando mencionei "dt", estou referenciado uma Tag Html existente na estrutura da página. Se observarmos bem, as tags "dt" sempre fazem par com a estrutura "dd", sendo que a estrutura "dt" vem com o rótulo da informação (por exemplo, Country of Pulication) e, seu par, a estrutura "dd", vem com a informação relacionada ao rótulo (seguindo o mesmo exemplo, Nome do País).
Eu tentei modificar de coutry para país (termo do novo site base) e não surtiu efeito, não entendi o "dt".
Sobre essa parte mencionada por você, não é simplesmente alterar o nome Country por País. Tem que se analisar a estrutura da página em questão. Cada elemento de uma página é estruturado de forma única, o que faz com que cada página também tenha uma estrutura única.

Espero que tenha entendi e consiga concluir o trabalho.

Abraços e excelente semana.

Wagner.cwb

28-09-2016 17:31:48

Obrigado Milkel, entendi melhor!

Passei a visualizar o código fonte das páginas, nesse novo site de base tem um diferença.
Ele não utiliza < dt >, esta estruturado assim:

para o exemplo: view-source:http://www.dondelopublico.com/ficha/0004-0592

< li class="list-group-item "><strong><em class="">País: </em></strong>España< / li>

tentei usar a tag "em" e "li" e não fechou.

Código: Selecionar todos

Sub CaptureCountry()

Dim ie As Object
Dim iLin, iCount As Long

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = True

'Inicia o processo de varredura da lista.
For iLin = 2 To Plan1.UsedRange.Rows.Count
   
   'Verifica se existe algum NLM informado
   'na linha atual da coluna A da planilha.
   'Caso encontre, a rotina irá interromper o laço.
   If Plan1.Cells(iLin, 1).Value = "" Then Exit For
   
   'Carrega a página atual, utilizando o endereço da coluna C.
   ie.navigate "" & Plan1.Cells(iLin, 3).Value

   'Aguarda carregamento da página.
   Do While ie.busy: VBA.DoEvents: Loop
     
   'Verifica se houve algum resultado da pesquisa.
   'Caso não haja, irá para a próxima linha.
   If ie.document.getelementsbytagname("em").Length <= 0 Then GoTo nextLinha
   
   For iCount = 0 To ie.document.getelementsbytagname("em").Length - 1
    If ie.document.getelementsbytagname("em")(iCount).innertext Like "País" Then GoTo Continue
   Next iCount
   
   'Caso não encontre nada no teste acima,
   'redireciona a rotina para a próxima linha.
   GoTo nextLinha

Continue: 'Referência de continuação da captura do país.
   
   'Captura o país da NLM e envia para  a planilha.
   Plan1.Cells(iLin, 2).Value = ie.document.getelementsbytagname("li")(iCount).innertext

nextLinha: 'Referência pra próxima linha.
   
Next iLin

'Limpa o objeto ie
Set ie = Nothing

End Sub

Wagner.cwb

29-09-2016 01:37:09

Boa noite amigos!

quase chegando lá ahahahah

Esta retornando o "rótulo" - País:

código da página

Código: Selecionar todos

<li class="list-group-item  "><strong><em class="">Link:  </em></strong><a href="" target="_blank"></a> </li>
        <li class="list-group-item  "><strong><em class="">País:  </em></strong>Estados Unidos de América
</li>
        </ul>
	</div>
Mais uma ajudinha, vcs se livrarão de mim kk

Código: Selecionar todos

Sub CaptureCountry()

Dim ie As Object
Dim iLin, iCount As Long

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = True

'Inicia o processo de varredura da lista.
For iLin = 2 To Plan1.UsedRange.Rows.Count
   
   'Verifica se existe algum NLM informado
   'na linha atual da coluna A da planilha.
   'Caso encontre, a rotina irá interromper o laço.
   If Plan1.Cells(iLin, 1).Value = "" Then Exit For
   
   'Carrega a página atual, utilizando o endereço da coluna C.
   ie.navigate Plan1.Cells(iLin, 3).Value

   'Aguarda carregamento da página.
   Do While ie.busy: VBA.DoEvents: Loop
     
   'Verifica se houve algum resultado da pesquisa.
   'Caso não haja, irá para a próxima linha.
   If ie.document.getelementsbytagname("strong").Length <= 0 Then GoTo nextLinha
   
   For iCount = 0 To ie.document.getelementsbytagname("strong").Length - 1
    If ie.document.getelementsbytagname("strong")(iCount).innertext Like "País:*" Then GoTo Continue
   Next iCount
   
   'Caso não encontre nada no teste acima,
   'redireciona a rotina para a próxima linha.
   GoTo nextLinha

Continue: 'Referência de continuação da captura do país.
   
   'Captura o país da NLM e envia para  a planilha.
   Plan1.Cells(iLin, 2).Value = ie.document.getelementsbytagname("em")(iCount).innertext

nextLinha: 'Referência pra próxima linha.
   
Next iLin

'Limpa o objeto ie
Set ie = Nothing

End Sub

Mikel Silveira Fraga

29-09-2016 11:49:22

Wagner, bom dia.

Neste caso, a lógica já é um pouco diferente. Como havia dito, cada estrutura é única.

Bem, não testei o código, mas alterei conforme situação apresentada:

Código: Selecionar todos

Sub CaptureCountry()

Dim ie As Object
Dim iLin, iCount As Long

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = True

'Inicia o processo de varredura da lista.
For iLin = 2 To Plan1.UsedRange.Rows.Count
   
   'Verifica se existe algum NLM informado
   'na linha atual da coluna A da planilha.
   'Caso encontre, a rotina irá interromper o laço.
   If Plan1.Cells(iLin, 1).Value = "" Then Exit For
   
   'Carrega a página atual, utilizando o endereço da coluna C.
   ie.Navigate Plan1.Cells(iLin, 3).Value

   'Aguarda carregamento da página.
   Do While ie.Busy: VBA.DoEvents: Loop
      
   'Verifica se houve algum resultado da pesquisa.
   'Caso não haja, irá para a próxima linha.
   If ie.Document.getElementsByTagName("li").Length <= 0 Then GoTo nextLinha
   
   For iCount = 0 To ie.Document.getElementsByTagName("li").Length - 1
    If ie.Document.getElementsByTagName("li")(iCount).innerText Like "País*" Then
      'Captura o país da NLM e envia para  a planilha.
      Plan1.Cells(iLin, 2).Value = VBA.Trim(VBA.Replace( _
        ie.Document.getElementsByTagName("li")(iCount).innertext, "País", ""))
       GoTo nextLinha 'Força saída do laço.
    End If
   Next iCount
   
   'Caso não encontre nada no teste acima,
   'redireciona a rotina para a próxima linha.
   GoTo nextLinha

nextLinha: 'Referência pra próxima linha.
   
Next iLin

'Limpa o objeto ie
Set ie = Nothing

End Sub
Teste e veja se agora finalizamos essa rotina.

Abraços!!!

Wagner.cwb

29-09-2016 17:12:17

Fantástico, muito obrigado!
Gostei muito de aprender com vocês. desculpe-me pelo trabalho :D

I’ll Be Back :lol:

Abraços.

Wagner.cwb

01-10-2016 22:30:51

É meus Caros, eu voltei rs

Bom, enrosquei na última etapa.
Agora estou buscando capturar dados de dentro de uma tabela, só que a adaptação esta pegando apenas a primeira linha.

Preciso coletar os dados "Base de datos" - exemplo http://www.dondelopublico.com/ficha/0004-0592

Código: Selecionar todos

<th scope="col" align="center" class="">Base de datos</th>
    </tr>
    		<tr>
    	<td>0004-0592</td>
      <td>s/d</td>
    	<td><a href="http://www.latindex.unam.mx/latindex/bAvanzada
" target="_blank" data-toggle="popover" title="Latindex Catálogo" data-html="true" data-placement="right" data-content="Publicado por la UNAM, el Catálogo Latindex contiene más de 6000 revistas científicas de Iberoamérica que cumplen criterios de calidad editorial.  <br><br>Fecha de actualización: 2016-05-25" data-trigger="hover"> Latindex Catálogo</a></td>
        </tr>
        		<tr>
    	<td>0004-0592</td>
      <td>s/d</td>
    	<td><a href="http://scielo.isciii.es/scielo.php?script=sci_serial&pid=0004-0592&lng=es&nrm=iso
" target="_blank" data-toggle="popover" title="SciELO" data-html="true" data-placement="right" data-content="Scientific Electronic Library Online es una biblioteca electrónica que conforma una red iberoamericana de colecciones de revistas científicas en texto completo y con acceso abierto, libre y gratuito.  El modelo recupera la ciencia de los países en desarrollo y otorga la visibilidad que la corriente principal no ofrece a la comunicación científica de la región. Como instrumento de evaluación el sitio proporciona indicadores estadísticos de uso y factor de impacto de las revistas.  <br><br>Fecha de actualización: 2015-03-13" data-trigger="hover"> SciELO</a></td>
        </tr>
        		<tr>
    	<td>0004-0592</td>
      <td>s/d</td>
    	<td><a href="https://www.elsevier.com/__data/assets/excel_doc/0015/91122/title_list.xlsx" target="_blank" data-toggle="popover" title="Scopus" data-html="true" data-placement="right" data-content="Scopus es la base de datos de citas elaborada por Elsevier y principal alternativa a los productos ISI-Thomson Reuters. Cubre aproximadamente 18.000 títulos de más de 5.000 editores internacionales, incluyendo la cobertura de 16.500 revistas revisadas por pares de las áreas de ciencias, tecnología, medicina y ciencias sociales, incluyendo artes y humanidades. <br><br>Fecha de actualización: 2016-05-28" data-trigger="hover"> Scopus</a></td>
        </tr>
        		<tr>
    	<td>0004-0592</td>
      <td>s/d</td>
    	<td><a href="http://www.redalyc.org/revista.oa?id=495
" target="_blank" data-toggle="popover" title="REDALyC" data-html="true" data-placement="right" data-content="redalyc.org es una iniciativa de acceso abierto a la producción científica publicada en revistas iberoamericanas, que contempla todas las áreas del conocimiento. Cubre actualmente más de 1000 revistas que han pasado por una evaluación exhaustiva de calidad editorial. Es desarrollada por la Universidad Autónoma del Estado de México desde 2003. <br><br>Fecha de actualización: 2016-06-06" data-trigger="hover"> REDALyC</a></td>
        </tr>
        		<tr>
    	<td>0004-0592</td>
      <td>s/d</td>
    	<td><a href="http://evaluacionarce.fecyt.es/documentos/ListadoSelloFECYT.pdf
" target="_blank" data-toggle="popover" title="Sello FECyT" data-html="true" data-placement="right" data-content=" <br><br>Fecha de actualización: 2016-06-01" data-trigger="hover"> Sello FECyT</a></td>
        </tr>
        		<tr>
    	<td>1885-4494</td>
      <td>s/d</td>
    	<td><a href="http://www.latindex.unam.mx/latindex/bAvanzada
" target="_blank" data-toggle="popover" title="Latindex Catálogo" data-html="true" data-placement="right" data-content="Publicado por la UNAM, el Catálogo Latindex contiene más de 6000 revistas científicas de Iberoamérica que cumplen criterios de calidad editorial.  <br><br>Fecha de actualización: 2016-05-25" data-trigger="hover"> Latindex Catálogo</a></td>
        </tr>
        		<tr>
    	<td>1885-4494</td>
      <td>s/d</td>
    	<td><a href="http://www.redalyc.org/revista.oa?id=495
" target="_blank" data-toggle="popover" title="REDALyC" data-html="true" data-placement="right" data-content="redalyc.org es una iniciativa de acceso abierto a la producción científica publicada en revistas iberoamericanas, que contempla todas las áreas del conocimiento. Cubre actualmente más de 1000 revistas que han pasado por una evaluación exhaustiva de calidad editorial. Es desarrollada por la Universidad Autónoma del Estado de México desde 2003. <br><br>Fecha de actualización: 2016-06-06" data-trigger="hover"> REDALyC</a></td>
        </tr>
        		<tr>
    	<td>1885-4494</td>
      <td>s/d</td>
    	<td><a href="http://evaluacionarce.fecyt.es/documentos/ListadoSelloFECYT.pdf
" target="_blank" data-toggle="popover" title="Sello FECyT" data-html="true" data-placement="right" data-content=" <br><br>Fecha de actualización: 2016-06-01" data-trigger="hover"> Sello FECyT</a></td>
        </tr>
        	</tbody></table>

Código: Selecionar todos

Sub Capturebase()

Dim ie As Object
Dim iLin, iCount As Long

'instancia de objeto do IE e o torna visível
Set ie = CreateObject("internetexplorer.application")
ie.Visible = True

'Inicia o processo de varredura da lista.
For iLin = 2 To Plan1.UsedRange.Rows.Count
   
   'Verifica se existe algum NLM informado
   'na linha atual da coluna A da planilha.
   'Caso encontre, a rotina irá interromper o laço.
   If Plan1.Cells(iLin, 1).Value = "" Then Exit For
   
  'Carrega a página atual, utilizando o endereço da coluna C.
   ie.navigate Plan1.Cells(iLin, 3).Value

   'Aguarda carregamento da página.
   Do While ie.busy: VBA.DoEvents: Loop
     
   'Verifica se houve algum resultado da pesquisa.
   'Caso não haja, irá para a próxima linha.
   If ie.document.getelementsbytagname("th").Length <= 0 Then GoTo nextLinha
   
   For iCount = 0 To ie.document.getelementsbytagname("th").Length - 1
    If ie.document.getelementsbytagname("th")(iCount).innertext Like "Base de datos*" Then GoTo Continue
   Next iCount
   
   'Caso não encontre nada no teste acima,
   'redireciona a rotina para a próxima linha.
   GoTo nextLinha

Continue: 'Referência de continuação da captura do país.
   
   'Captura o país da NLM e envia para  a planilha.
   Plan1.Cells(iLin, 10).Value = ie.document.getelementsbytagname("tr")(iCount).innertext

nextLinha: 'Referência pra próxima linha.
   
Next iLin

'Limpa o objeto ie
Set ie = Nothing

End Sub
Por favor, solicito mais uma ajuda, obrigado!

Mikel Silveira Fraga

01-10-2016 23:08:04

Wagner, boa noite.

Como já havíamos concluído o assunto, o ideal seria abrir um novo tópico para este novo problema.

Dúvidas, estamos a disposição.

Abraços e bom final de semana.

Wagner.cwb

02-10-2016 05:10:38

Ok, compreendi, sem problemas,

abraço!