Download em Lote de Faturas de Energia com Selenium VBA

Ander

27-01-2016 11:54:47

Prezados,
Quero agradecer desde já a enorme contribuição do Tomaz, pois através dele conheci o Selenium, que aliado ao VBA excel me ajudará em muitos projetos. No entanto gostaria de instigar os entusiastas destas ferramentas a me ajudarem a resolver o dilema de um projeto, que logicamente será amplamente divulgada de modo a contribuir com os projetos desta comunidade.
Desenvolvi uma rotina em VBA no excel para fazer download de várias faturas de energia do site da fornecedora de energia em SC, a CELESC, já que faço análise dos gastos de nossas unidades. Com o Selenium facilitou muito. As faturas que farei download, uma vez acessadas no site, acham-se no formato PDF. O trabalho de fazer download até que é tranquilo, a grande sacada seria, se eu conseguisse extrair os dados desta fatura para jogar na planilha, assim nem precisaria fazer o download.
E aí alguma idéia?

Mikel Silveira Fraga

27-01-2016 13:49:30

Ander, bom dia e seja bem vindo ao fórum.

Cara, a ideia é interessante, mas é necessário mais detalhes. Existe algum link do site, com as informações de uma dessas faturas, para analisarmos a estrutura da página? Na própria página, já existe esses valores?

Se as informações estiverem contidas em um elemento Html (table, input, div, etc), com certeza da pra capturar essas informações diretamente do site, utilizando o Selenium.

Aguardo mais informações.

Abraços.

Ander

27-01-2016 16:22:14

Olá Mikel, obrigado pelas boas vindas e por ajudar-me nesta questão.

Bem o problema é que teria que dar-lhe acesso a senha, e trata-se do sistema indústria de SC, FIESC.
Farei o seguinte, enviarei algumas informações e você me diz do que precisa. Primeiro vou te enviar o que já consegui fazer com o SELENIUM e ANEXO o html do acesso do PDF.
Por enquanto muito obrigado.

Abraços

O QUE FIZ COM O SELENIUM:
Public Sub Untitled()
Dim selenium As New SeleniumWrapper.WebDriver
selenium.start "firefox", "http://agenciaweb.celesc.com.br:8080/"
selenium.setImplicitWait 5000

selenium.open "/AgenciaWeb/autenticar/autenticar.do"
selenium.type "name=sqUnidadeConsumidora", 26911222
selenium.click "id=CPJ"
selenium.type "name=numeroDocumentoCNPJ", 03774688002107
selenium.clickAndWait "css=input.botao"
selenium.type "name=senha", "SENHA"
selenium.clickAndWait "css=input.botao"
selenium.clickAndWait "link=» Histórico de Pagamento"
selenium.clickAndWait "link=01/2016"
selenium.click "id=download"

selenium.stop
End Sub

Mikel Silveira Fraga

28-01-2016 11:03:59

Ander, bom dia.

Cara, eu consigo entender a questão do uso empresarial, mas realmente isso vai fazer com que essa solução se torne muito mais complicada. Mas vamos dar continuidade.

Pelo código que você enviou, consegui enxergar bem até a parte abaixo:

Código: Selecionar todos

selenium.type "name=senha", "SENHA"
selenium.clickAndWait "css=input.botao"
Posterior a isso, eu não consegui acesso, devido a necessidade da senha, como também não consegui identificar nenhuma das referências posteriores, na imagem que você me enviou.

Agora, o código completo, pelo que entendi, vai abrir o arquivo ".pdf" diretamente no navegador, certo? A questão é saber se as informações que estão dentro do arquivo, por exemplo o consumo, são exibidas na mesma página em que existe o link para download do arquivo. Se essas informações existirem na página, seria necessário o código fonte dessa área das informações.

Agora, quando você deu a sugestão de pegar as informações e jogar diretamente para a planilha, você sugeriu fazer isto, puxando do arquivo ".pdf"? Se sim, até onde conheço do Selenium VBA, e sou bem novo no uso dessa biblioteca, não tem como capturar a informação diretamente do arquivo. Também não conheço nenhum outro recurso em VBA que auxilie na extração das informações de um arquivo ".pdf".

Fico no aguardo de seu retorno sobre os questionamentos acima.
Abraços.

Ander

05-02-2016 11:16:54

Olá meu caro Mikel,

Demorei um pouco , pois estava em viagem a trabalho e não pude entrar no fórum, mas poderíamos retomar de onde paramos?
Agora creio que posso lhe passar os dados para vc tentar um teste.

Ander

05-02-2016 13:03:06

Parecia estar indo bem, mas apareceu outro problema e gostaria de saber se poderia me ajudar.
Quando meu código com selenium abre a página "200.247.127.47:8080/AgenciaWeb/autenticar/loginCliente.do", meu chrome não abre com este dado na barra de endereço, mas sim com isso: "data:,". O que pode ser?
Abaixo segue o código (se passar teu email/celular te passo o login e senha):

Public Sub Untitled()
Dim selenium As New SeleniumWrapper.WebDriver
Dim iLinha As Integer
Dim Qtde As Integer
Dim CNPJ As String
Dim UC As String
Dim SENHA As String
'Dim PERIODO As String

Qtde = 17 ' define a quantidade de linhas a percorrer na planilha.

For iLinha = 12 To 17

CNPJ = Plan1.Cells(iLinha, 2).Value
UC = Plan1.Cells(iLinha, 3).Value
SENHA = Plan1.Cells(iLinha, 4).Value
'PERIODO = Plan1.Cells(9, 3).Value

selenium.Start "chrome", "http://200.247.127.47:8080/Age.../auten ... Cliente.do"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/autenticar.do"
selenium.Type "name=sqUnidadeConsumidora", UC
selenium.Click "id=CPJ"
selenium.Type "name=numeroDocumentoCNPJ", CNPJ
selenium.clickAndWait "css=input.botao"
selenium.Type "name=senha", SENHA
selenium.clickAndWait "css=input.botao"
selenium.clickAndWait "link=» Histórico de Pagamento"
selenium.clickAndWait "link=01/2016"
selenium.Click "id=save"

selenium.stop
Next iLinha
End Sub

Ander

05-02-2016 13:05:58

Segue uma imagem da situação.

Mikel Silveira Fraga

05-02-2016 13:24:19

Ander, bom dia.

Cara, até achei que havia resolvido tudo, mas pelo que vejo ainda não resolveu. Claro, podemos continuar sim.

Eu também tive esse tipo de problema no início. Na verdade não sei ao certo o que foi que resolveu meu problema, mas o erro parou depois de algumas alterações.

Olha, tente fazer a seguintes mudanças, conforme abaixo:

Código: Selecionar todos

selenium.Start "chrome", "http://200.247.127.47:8080/Age.../autenticar/loginCliente.do"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/autenticar.do"
Altere essa parte do código, da seguinte forma:

Código: Selecionar todos

selenium.Start "chrome", "http://200.247.127.47:8080"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/loginCliente.do"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/autenticar.do"
Tente alterar essa parte do bloco e veja se resolve.

Dúvidas, a disposição.

Ander

05-02-2016 13:37:57

Mikel até resolveu e te agradeço pela dica. Continua aparecendo aquele "data:,", mas com a segmentação do código, ele reconhece a segunda parte do endereço e se completa, abrindo a página .
Chego até o ponto de abrir a fatura , mas não consigo salvar o pdf.
Posso te passar por email o acesso caso possa fazer um teste aí pra mim.

Mikel Silveira Fraga

05-02-2016 14:38:01

Opa, boa tarde.

Se não tiver problema, pode sim.

Pode mandar para o e-mail que esta em minha assinatura, ok.

Fico no aguardo.

Ander

05-02-2016 15:57:38

Olá Mikel, enviei as informações para seu e-mail, muito obrigado por enquanto.

Abs

Ander

05-02-2016 18:53:03

Pensei usar selenium com sendkeys, dando um Ctrl+s para salvar, mas como fazer isso?

Ander

10-02-2016 18:55:26

Olá Mikel,
Passei pra dizer que consegui realizar o procedimento, não exatamente como eu queria, mas funciona bem. Antes de dar por resolvido gostaria de saber o que conseguiu e compartilhar o que eu fiz.

Abraços

Mikel Silveira Fraga

10-02-2016 21:01:00

Ander, boa tarde.

Então cara, eu tentei realizar esses procedimentos na hora do almoço no serviço, mas o site do Celesc não esta abrindo no meu serviço.

Vou ver se consigo alguma coisa durante essa semana, mas ainda não tive nenhuma novidade.

Assim que tiver alguma novidade, eu entro em contato.

Ander

11-02-2016 11:30:53

Na solução que encontrei, ao invés de baixar a fatura em PDF, estou dando um print screen em PDF. Não é o ideal , mas serve. Na primeira versão eu até consegui dar um "Ctrl+s " pra salvar, mas não conseguia dar ENTER na caixa de diálogo para efetivar a gravação (como pode ver o comando abaixo sob comentário). Segue abaixo como está funcionando:

Public Sub SegundaViaFatura()
Dim selenium As New SeleniumWrapper.WebDriver
Dim iLinha As Integer
Dim Qtde As Integer
Dim CNPJ As String
Dim UC As String
Dim SENHA As String
Dim keys As New SeleniumWrapper.keys

Set pdf = CreateObject("SeleniumWrapper.PdfFile")

Qtde = 75 ' define a quantidade de linhas a percorrer na planilha.

For iLinha = 3 To 75

CNPJ = Plan5.Cells(iLinha, 6).Value
UC = Plan5.Cells(iLinha, 7).Value
SENHA = Plan5.Cells(iLinha, 9).Value
PERIODO = Plan5.Cells(1, 8).Value
vPATH = Plan5.Cells(iLinha, 5).Value

selenium.Start "chrome", "http://200.247.127.47:8080"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/loginCliente.do"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/autenticar.do"

selenium.Type "name=sqUnidadeConsumidora", UC
selenium.Click "id=CPJ"
selenium.Type "name=numeroDocumentoCNPJ", CNPJ
selenium.clickAndWait "css=input.botao"
selenium.Type "name=senha", SENHA
selenium.clickAndWait "css=input.botao"
selenium.clickAndWait "link=» Histórico de Pagamento"
'selenium.clickAndWait "link=01/2016"
selenium.clickAndWait "link=" & PERIODO
Sleep 3000 'Faz o código esperar por 3 segundo

pdf.addImage selenium.getScreenshot()
pdf.SaveAs "H:\4. Coordenadoria de Custos\15.Eficiência Energética - Economicidade\Ano_2015\UNIDADES\" & vPATH

' selenium.SendKeys keys.Control & "s"

Sleep 3000 'Faz o código esperar por 3 segundo

selenium.stop

Next iLinha
End Sub

Mikel Silveira Fraga

11-02-2016 13:26:06

Ander, bom dia.

A princípio, eu havia imaginado essa solução também, mas como você disse, não era o ideal.

Como conseguiu remediar utilizando essa rotina, vou ficar mais tranquilo. Porém, quero ver se consigo realizar o download direto, pois pra outras ocasiões será muito interessante pra mim também.

Tendo novidades, eu entro em contato.

Ps: o código ficou muito bom. Meus parabéns.

Abraços.

Mikel Silveira Fraga

11-02-2016 13:34:33

Ander, bom dia novamente.

Sei que acabei de enviar uma mensagem, mas encontrei alguns links bem interessantes para tentarmos fazer esse download diretamente.

Veja se consegue adaptar o comando, conforme página abaixo:
- Download File With Firefox
- GitHub Sarmisen - Examples Selenium VBA

Dúvidas, a disposição.

Ander

11-02-2016 13:52:03

Mikel gostaria de pedir-lhe outra gentileza. Ajudaria-me a criar uma rotina de tratamento de ERRO?
Olha só o que acontece. Tenho uma lista pra suprir as variáveis de CNPJ, UC E SENHA, pode ocorrer eventualmente que uma dessas informações estejam erradas e a página não aceita e o código para.
Eu até coloquei um tratamento de erro , mas que pelo visto não deu certo, pois quando por exemplo a senha não é a correta ele interrompe o processo e no tratamento de erro que fiz, não era pra acontecer. Será que deve ser um tratamento de erro específico para SELENIUM?
Vou deixar o código abaixo, agora com o tratamento do erro, pra tu queimar mais um pouco de neurônios (rsrsrs).
Abç.

Public Sub SegundaViaFatura()
Dim selenium As New SeleniumWrapper.WebDriver
Dim iLinha As Integer
Dim Qtde As Integer
Dim CNPJ As String
Dim UC As String
Dim SENHA As String
Dim keys As New SeleniumWrapper.keys

Application.ScreenUpdating = False

Qtde = 75 ' define a quantidade de linhas a percorrer na planilha.

For iLinha = 23 To 75
On Error GoTo aviso

reinicia:
Set pdf = CreateObject("SeleniumWrapper.PdfFile")

CNPJ = Plan5.Cells(iLinha, 6).Value
UC = Plan5.Cells(iLinha, 7).Value
SENHA = Plan5.Cells(iLinha, 9).Value
PERIODO = Plan5.Cells(1, 8).Value
vPATH = Plan5.Cells(iLinha, 5).Value

selenium.Start "chrome", "http://200.247.127.47:8080"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/loginCliente.do"
selenium.setImplicitWait 5000

selenium.Open "/AgenciaWeb/autenticar/autenticar.do"

selenium.Type "name=sqUnidadeConsumidora", UC
selenium.Click "id=CPJ"
selenium.Type "name=numeroDocumentoCNPJ", CNPJ
selenium.clickAndWait "css=input.botao"
selenium.Type "name=senha", SENHA
selenium.clickAndWait "css=input.botao"
selenium.clickAndWait "link=» Histórico de Pagamento"
'selenium.clickAndWait "link=01/2016"
selenium.clickAndWait "link=" & PERIODO
Sleep 3000 'Faz o código esperar por 3 segundo

pdf.addImage selenium.getScreenshot()
pdf.SaveAs "H:\4. Coordenadoria de Custos\15.Eficiência Energética - Economicidade\Ano_2015\UNIDADES\" & vPATH

' selenium.SendKeys keys.Control & "s"

Sleep 3000 'Faz o código esperar por 3 segundo

selenium.stop
Plan5.Cells(iLinha, 11) = "X"

Next iLinha
aviso: 'MsgBox "Existem erros no cadastro da unidade, junto à CELESC."
selenium.stop
GoTo reinicia

End Sub

Mikel Silveira Fraga

15-02-2016 17:46:58

Ander, boa tarde.

Cara, somente hoje consegui dar uma olhada rápida na sua solicitação de ajuda.

Seguinte, não testei o funcionamento pois, como já havia falado, o site da Celesc não abre no meu serviço. Claro que isso não impediu de realizar a análise para esse caso.

Fiz o seguinte, não alterei nada em seu comandos, apenas ordem lógica em que foram colocados, de forma a tentar melhorar não apenas o fato de análise dos erros, mas também o desempenho da rotina. Veja as alterações no código abaixo:

Código: Selecionar todos

Public Sub SegundaViaFatura()
	Dim selenium As New SeleniumWrapper.WebDriver
	Dim iLinha As Integer
	Dim Qtde As Integer
	Dim CNPJ As String
	Dim UC As String
	Dim SENHA As String
	Dim keys As New SeleniumWrapper.keys

	Application.ScreenUpdating = False

	'Qtde = 75 ' define a quantidade de linhas a percorrer na planilha.
	
	Set pdf = CreateObject("SeleniumWrapper.PdfFile")

	selenium.Start "chrome", "http://200.247.127.47:8080"
	selenium.setImplicitWait 5000
	
	For iLinha = 23 To 75
			
		CNPJ = Plan5.Cells(iLinha, 6).Value
		UC = Plan5.Cells(iLinha, 7).Value
		SENHA = Plan5.Cells(iLinha, 9).Value
		PERIODO = Plan5.Cells(1, 8).Value
		vPATH = Plan5.Cells(iLinha, 5).Value

		selenium.Open "/AgenciaWeb/autenticar/loginCliente.do"
		selenium.setImplicitWait 5000
		
		selenium.Open "/AgenciaWeb/autenticar/autenticar.do"
		selenium.setImplicitWait 5000
		
		'Realiza um teste, verificando a existência do campo de
		'inclusão de Senha. Caso não exista, o mesmo será enviado
		'novamente para o ponto de referencia chamado "reinicia".
		If Not selenium.FindElementByName("senha").Length > 0 then Goto proxLinha
		
		selenium.Type "name=sqUnidadeConsumidora", UC
		selenium.Click "id=CPJ"
		selenium.Type "name=numeroDocumentoCNPJ", CNPJ
		selenium.clickAndWait "css=input.botao"
		selenium.Type "name=senha", SENHA
		selenium.clickAndWait "css=input.botao"
		selenium.clickAndWait "link=» Histórico de Pagamento"
		'selenium.clickAndWait "link=01/2016"
		selenium.clickAndWait "link=" & PERIODO
		Sleep 3000 'Faz o código esperar por 3 segundo

		pdf.addImage selenium.getScreenshot()
		pdf.SaveAs "H:\4. Coordenadoria de Custos\15.Eficiência Energética - Economicidade\Ano_2015\UNIDADES\" & vPATH

		' selenium.SendKeys keys.Control & "s"

		Sleep 3000 'Faz o código esperar por 3 segundo

		selenium.stop
		Plan5.Cells(iLinha, 11) = "X"
	
proxLinha:

	Next iLinha
	
	selenium.stop
	
	Application.ScreenUpdating = True
	
End Sub
Tente utilizar esse código e ver se irá resolver o seu problema.

Qualquer coisa, a disposição.

Ander

23-02-2016 17:15:39

Olá meu caro Mikel,

Alguma novidade quanto a conseguirmos fazer o download da fatura?

Abs

Mikel Silveira Fraga

26-02-2016 14:06:32

Ander, bom dia.

Bem, não olhei mais esse caso achando que você havia resolvido o problema utilizando o método getScreenshot do Selenium.

Mas dei uma olhada na net e encontrei uma rotina postada pelo próprio Tomás, em seu Blog, com uma solução que seria de fácil adaptação.

Dê uma olhada neste link: VBA – FAZENDO O DOWNLOAD DE UM ARQUIVO.

No caso, após o método Click no período e a abertura do site, você pode utilizar a propriedade URL do Selenium, para capturar o endereço do PDF.

Tente adaptar e veja se vai funcionar.

Fico no aguardo. Abraços!!!

Ander

26-02-2016 14:15:08

Ok , obrigado pela atenção meu amigo. Vou tentar sua sugestão.

Abraços.

Ander

16-11-2016 14:02:51

Como vai meu amigo Mikel,

Bem só pra dizer que até semana passada funcionou muito bem o aplicativo que desenvolvi para baixar os dados em massa de faturas de energia de diversas filiais, mas agora apareceu um problema de não mais abrir o site da CELESC. Começou aparecer a seguinte msg antes de abrir o site (ver anexo), mas até então não interferia na execução da rotina, mas agora começo a pensar que seja isso.
Caso possa me ajudar , me diga o que precisa que eu te envie pra derrepente você tentar rrodar por aí e assim descartar o problema do código e começar a pensar que seja no chrome mesmo.

Abraços

Wagner.cwb

17-11-2016 20:46:59

Amigos, por favor, se puderem compartilhar a solução de como salvar o arquivo, estou com o mesmo problema em outro tópico.

Obrigado, abraços!

Mikel Silveira Fraga

23-11-2016 10:45:14

Ander e Wagner, bom dia.

Ultimamente não estou tendo muito tempo pra entrar no fórum. As coisas estão bem conturbadas.

Sobre essa questão dessa notificação que aparece, também começou a ocorrer em alguns testes que fiz, mas não interferiu no meu caso. Achei que pudesse ter sido algo que eu acabei instalado, mas talvez esteja relacionado com atualizações do Google Chrome. Não faço ideia.

Se tiver algum tempo ou novidade sobre isso, posto aqui neste tópico.

Abraço a todos.