VBA – Interagindo com páginas Web com o Selenium WebDriver

Selenium Logo

Introdução

Tem um tempo que publiquei aqui neste blog um artigo sobre como manipular uma página de internet no navegador através do VBA usando o Internet Explorer (este aqui: https://www.tomasvasquez.com.br/blog/microsoft-office/vba-interagindo-com-o-objeto-internet-explorer).

Foi um exemplo simples, mas como o interesse por extração de informações de páginas cresceu tremendamente, o artigo gerou enorme interesse e as discussões no forum afloraram, principalmente com problemas relacionados ao assunto.

O fato é que, o VBA nunca foi muito amigo de integração com a internet. O único recurso que os programadores VBA tinham em mãos era a integração com o Internet Explorer, onde a navegação era simulada para que os dados pudessem ser extraídos. Porém, a internet evolui em uma velocidade insana e como pudemos acompanhar, o Internet Explorer não seguiu nessa velocidade. Isso é tão verdade que a Microsoft vai descontinuar o navegador para lançar em seu lugar o Edge, que vem junto com o Windows 10. Como se isso já não fosse razão suficiente para procurar alternativas, o IE demonstrava certas limitações na simulação da navegação, algumas páginas já não rodavam e o IE11 quebrava uma série de funções.
Já tinha passado da hora de existir outra opção para o feito de extrair informações de páginas da web.

O que é o Selenium

E é aqui que entra o Selenium. O Selenium nasceu como um plugin de automação de rotinas em um browser. Para um programador VBA, é fácil entender o Selenium como se fosse o VBA do Navegador. Com ele, você pode programar, automatizar e até mesmo gravar algo parecido com macros, onde o Selenium grava todas as interações que você realiza em uma página para poder executar depois, podendo inclusive efetuar alterações no código.

Origem

O Selenium veio primeiramente auxiliar na automação de rotinas no navegador, começando pelo Firefox. Ele é até hoje um plugin ou extensão do navegador Firefox chamada Selenium IDE. Com o passar do tempo, o pessoal de testes tomou gosto pelas funcionalidades do Selenium, já que muitas das tarefas de navegação podiam ser automatizadas e repetidas, reduzindo o esforço e a possibilidade de erros drasticamente. O Selenium ganhava uma identidade no mercado de desenvolvimento de software que foi explorada em seguida pelos desenvolvedores.

A criação do WebDriver

Nos últimos anos, a disciplina de Testes de Software ganhou força. É só procurar por artigos e materiais nas redes e sites especializados. Com isso, os testes automatizados por software vieram logo em seguida. Nem é preciso ir muito longe. As “novas linguagens” já nascem quase preparadas para esse tipo de rotina e as que já estavam no mercado se adaptaram para isso.

O Selenium WebDriver veio para entregar aos programadores uma biblioteca que permite através de programação manipular o navegador para automatizar a navegação. Atualmente, o Selenium WebDriver oferece suporte a linguagens como Ruby, C#, Java, Python, Javascript e…. VBA! E é aqui prezados leitores que mora nosso interesse nesta ferramenta.

Instalando

Sim, é possível manipular o Selenium através de código VBA. Primeiro, é preciso instalar o Selenium-VBA, que é a versão da biblioteca que permite a manipulação o Selenium pelo código no VBA.

O Selenium-VBA é gratuito e vem sendo mantido como código aberto, por isso, vem tendo constantes mudanças e pode em alguns casos sofrer com instabilidades.

Estou usando o Selenium-VBA que pode ser baixado neste link:

https://code.google.com/p/selenium-vba/

A versão exata usada para este artigo foi:

http://dl.bintray.com/florentbr/generic/SeleniumWrapperSetup-1.0.23.0.exe

Ao finalizar a instalação, a última tela pergunta se você quer instalar o plugin do Selenium IDE no navegador Firefox. Isso é opcional, mas como é possível extrair muita informação útil do plugin, recomendo que o instale.

Exemplo no VBA

Como iniciei o artigo mencionando a interação com o Internet Explorer, vou replicar o mesmo exemplo utilizando o Selenium VBA.

Comece abrindo o Excel numa nova planilha, abra o Editor do VBA (Alt+F11) e comece adicionando a Referência à biblioteca “SeleniumWrapper Type Library”.

Referências no VBA

Se essa opção não aparecer, verifique a instalação do Selenium.
Em seguida, adicione um novo módulo no VBA (Menu Inserir->Módulo e adicione o seguinte código)

Public driver As New SeleniumWrapper.WebDriver
 
Public Sub AbreELogaNoForum()
    Dim MyPass As String, MyLogin As String
redo:
    MyLogin = Application.InputBox("Por Favor entre com o Login", "Forum Tomás Vásquez", Default:="login", Type:=2)
    MyPass = Application.InputBox("Por favor entre com a senha", "Forum Tomás Vásquez", Default:="Password", Type:=2)
    If MyLogin = "" Or MyPass = "" Then GoTo redo
    driver.Start "chrome", "https://www.tomasvasquez.com.br/"
    driver.setImplicitWait 5000
 
    driver.Open "/forum/ucp.php?mode=login"
    driver.findElementById("username").SendKeys MyLogin
    driver.findElementById("password").SendKeys MyPass
    driver.findElementByName("login").Click
 
End Sub
 
Public Sub FechaBrowser()
    driver.stop
End Sub

Para este exemplo, escolhi o Chrome, que explicarei depois o motivo. Se tudo der certo, o código vai pedir que você digite o usuário e senha do fórum (válidos). Após isso, o Chrome se abrirá, navegará até a página de login de fórum, entrará com suas credenciais e tentará fazer o login na página.

Ok, isso é pouco. Pois bem, vamos tentar explorar um pouco mais do que o Selenium WebDriver pode fazer por nós. Vou mudar a funcão AbreELogaNoForum para além de logar no fórum, navegar até a Pesquisa padrão do fórum e procurar por ocorrências com as palavras “Internet Explorer” e retornar o resultado na tela. Veja como ficou abaixo:

Public Sub AbreELogaNoForum()
 Dim MyPass As String, MyLogin As String
redo:
 MyLogin = Application.InputBox("Por Favor entre com o Login", "Forum Tomás Vásquez", Default:="login", Type:=2)
 MyPass = Application.InputBox("Por favor entre com a senha", "Forum Tomás Vásquez", Default:="Password", Type:=2)
 If MyLogin = "" Or MyPass = "" Then GoTo redo
 driver.Start "chrome", "https://www.tomasvasquez.com.br/"
 driver.setImplicitWait 5000
 
 driver.Open "/forum/ucp.php?mode=login"
 driver.findElementById("username").SendKeys MyLogin
 driver.findElementById("password").SendKeys MyPass
 driver.findElementByName("login").Click
 
 driver.setImplicitWait 1000
 'navega até a pesquisa
 driver.Open "/forum/search.php"
 driver.setImplicitWait 2000
 'digita o critério e pesquisa
 driver.findElementById("keywords").SendKeys "Internet Explorer"
 'procura o botão de Pesquisar através de CSS Selector e clica
 driver.findElementByCssSelector("[value=Pesquisar]").Click
 driver.setImplicitWait 2000
 'obtem o resultado e joga num MsgBox
 MsgBox driver.findElementByClassName("searchresults-title").Text
 
End Sub

Explicando o código, entre uma navegação e outra chamo a função driver.setImplicitWait, que recebe como parâmetro a quantidade de milisegundos (1000 milisegundos = 1 segundo) que a rotina deve esperar antes de executar a próxima instrução. Isso é necessário pois a velocidade de transição entre uma página e outra depende de muitos fatores, desde a velocidade do computador até a velocidade da internet. Ajuste-o para cada caso.

Aqui o resultado foi o seguinte:

Resultado da pesquisa no fórum

Note que neste código, já começamos a explorar funcionalidades inerentes ao HTML5, como seletores complexos de CSS para alcançar determinados elementos.

Obviamente, este é um exemplo que está longe de explorar o potencial do que o Selenium pode fazer. O intuito aqui foi apresentar uma alternativa ao Internet Explorer para automatizar a navegação em páginas da web. Explorarei mais opções de navegação e do Selenium em outros artigos.

Curiosidades

Apesar do Selenium ter nascido com o Firefox, na versão utilizada neste artigo o mesmo dá erro. O bug é conhecido da comunidade do Selenium e está em análise. Até a presente data, mesmo na última versão o erro não havia sido corrigido. O Internet Explorer também pode ser utilizado se for o caso. Não testei com o Microsoft Edge.

A escolha pelo Chrome deve-se ao fato do navegador ser baseado Chromium, que é de código aberto. Com isso, a quantidade de customizações e configurações é enorme e pode ser melhor explorada do que nas alternativas.

Cuidados

Sempre que você o utiliza o Selenium WebDriver, uma instância do “Driver” é criada em memória. Note que o código é divido em 2 funções, sendo uma que abre o navegador e outra que o fecha. Esta última é necessária, por mesmo que você feche o Excel e o navegador, a instância do Driver ficará em memória.

Por fim, não utilize para fins impróprios, como inundar a internet com lixo, automatizando a entrada de dados. Primeiramente, recorra ao bom senso. Depois, a internet é rastreável e é fácil chegar até o causador do problema.

Finalizando

O Selenium é “A”alternativa à automação de navegação web e extração de dados para os programadores VBA. Já utilizei em alguns projetos para clientes e funcionou muito bem, chegando a fazer desde navegação avançada até extração de dados e automação de download de arquivos. Logo publicarei outras opções de código que a biblioteca Selenium Webdriver oferece de customizações para melhor demonstrar o potencial da ferramenta.

Bom proveito!

Modelos – Modelo Cadastro versão 1, sem SQL!

Bom dia a todos os amigos do fórum, tudo bem?

Bem galera, estou abrindo esse tópico hoje, para compartilhar uma experiência que tive no final de Julho/2015, mas por correria da vida, apenas hoje consegui um tempo.

Na última semana de Julho/2015, tive uma nova experiência ao Ministrar um Curso/Treinamento de VBA Básico, e tenho que admitir que gostei muito de ter vivido a oportunidade.

Como o treinamento teve um conteúdo básico de VBA, utilizei a planilha de Modelo de Cadastro de Fornecedores  daqui do fórum, porém a versão 1. Essa escolha se deu ao fato de ter sido o modelo mais simples para demostração de um sistema completo de cadastro. Mas, ainda no arquivo original do fórum, é utilizado a Linguagem SQL para realização dos filtros, no formulário de Pesquisa. Essa foi uma das modificações que fiz na planilha, pois SQL não foi abordado no treinamento.

Nesses arquivos (anexos), eu consegui estrutura toda a consulta do formulário de Pesquisa, utilizando apenas os recursos básicos de programação (functions, loops, ifs, etc), inclusive tendo a possibilidade de ordenação dos resultados (crescente/decrescente).

Como sempre tive ajuda no fórum, quando estava aprendendo sobre VBA, me sinto muito honrado em divulgar esse material com todos, lembrando que mantive todos os direitos autorais nos comentários dos arquivos.

Por uma questão de necessidade, o mesmo arquivo foi feito de duas formas, conforme descrito abaixo:

– Cadastro Arquivo Único: neste anexo, foi gerado um arquivo único (conforme original) para a manipulação dos formulários (front-end) e do banco de dados (back-end). Neste arquivo, o formulário de Pesquisa já esta operando sem a utilização da Linguagem SQL;

Cadastro Arquivo Unico.zip
Modelo Cadastro Fornecedor em um único arquivo. (53.95 KiB) 

– Cadastro Arquivos Separados: neste outro anexo, foi gerado arquivos separados, onde um é feito o acesso aos formulários (front-end) e o outro possui apenas o armazenamento dos dados (back-end). Durante o curso, surgiu a necessidade dos alunos em entender a possibilidade de se trabalhar com o cadastro via rede, motivo pelo qual gerei um modelo dos arquivos separados.

Cadastro Arquivos Separados.zip
Modelo Cadastro Fornecedor em arquivos separados. (48.7 KiB)

Além do Modelo de Cadastro, também quero deixar aqui uma listagem das fórmulas do MS Excel (se, somase, indice, corresp, etc), onde é feita uma comparação dos comandos em Português/Inglês. O intuito desse arquivo é de ser um guia, para a utilização da instrução WorksheetFunction, que permite o uso das fórmulas conhecidas do MS Excel via VBA. Acredito que a lista tenha sido gerada para o MS Excel 2003 e, por esse motivo, talvez não esteja completa com todas as fórmulas existentes nas versões atuais do MS Excel.

Lista WorksheetFunction.zip
Lista das Fórmulas do MS Excel para uso com WorksheetFunction. (51.83 KiB) 

Apesar de não ser nada novo no fórum, espero que todos gostem do material e que, de alguma forma, seja útil para aperfeiçoamento/estudos dos membros deste fórum, o qual tenho o grande prazer de fazer parte.

Para trocar ideias sobre estas alterações, o post no fórum é: https://www.tomasvasquez.com.br/forum/viewtopic.php?f=5&t=4012&p=16479#p16479

Um forte abraço a todos e excelente semana!!!

VBA – Exportando uma planilha para uma imagem

Uma sacada de gênio! O colega Gary Student do fórum (ou quase isso) stackoverflow, em resposta à pergunta “Como exportar uma planilha de Excel para uma Imagem”, em tradução literal. Bem, o código dele foi quase que sublime! Veja abaixo o resultado e depois explico:

Sub PictureSaver()
    Dim ch As Chart
    Charts.Add
    Set ch = ActiveChart
    Sheets("Sheet4").Select
    Range("A1:D4").Select
    Selection.CopyPicture Appearance:=xlScreen, Format:=xlPicture
    ch.Select
    ch.Paste
    ch.Export Filename:="sample.jpg"
    Application.DisplayAlerts = False
        ch.Delete
    Application.DisplayAlerts = True
End Sub

Em suma, ele está “trapaceando” com o Excel para conseguir o feito. Ele adiciona uma planilha do tipo gráfico, seleciona uma área (células) de uma planilha, copia para a área de transferência, cola sobre o gráfico usando a função CopyPicture, que produz dentro o Excel uma imagem referente à área de selecionada e em seguida, exporta o conteúdo do gráfico, que agora contém uma figura da planilha para uma imagem. Por fim, ele excluir a planilha de gráfico para não deixar sujeira.

Saída de mestre! O post original é: https://stackoverflow.com/questions/21759417/how-can-i-export-an-excel-worksheet-as-image/21761619#21761619

Modelos – Cadastro de Membros com Relatório de Aniversários

Eu já mencionei que amo nosso fórum?  Pelo menos umas 100 vezes, só esse ano, acho…

😀

Eis mais um modelo disponibilizado por lá que vale o compartilhamento! Trata-se de cadastro de membros com um destaque para lista de aniversariantes. O modelo em questão é focado em membros para igrejas. segundo o autor, messiasmbm (Messias Matos).

Vale destacar o cadastro de fotos e o mecanismo de busca. Abaixo uma visão do sistema com um cadastro que fiz:

Cadastro de Membros de Igrejas com foto com relatório de aniversário
Cadastro de Membros de Igrejas com foto com relatório de aniversário

Ao colega Messias, meus parabéns pelo trabalho e por permitir compartilhar o arquivo.

Download do arquivo

CADASTRO IGREJAS PRONTO_NOVO.rar (71.74 KiB)

Para participar da discussão no fórum sobre o arquivo, basta acessar:

https://www.tomasvasquez.com.br/forum/viewtopic.php?f=23&t=3846&p=16262