VBA – Interagindo com páginas Web com o Selenium WebDriver

Selenium Logo

Introdução

Tem um tempo que publiquei aqui neste blog um artigo sobre como manipular uma página de internet no navegador através do VBA usando o Internet Explorer (este aqui: https://www.tomasvasquez.com.br/blog/microsoft-office/vba-interagindo-com-o-objeto-internet-explorer).

Foi um exemplo simples, mas como o interesse por extração de informações de páginas cresceu tremendamente, o artigo gerou enorme interesse e as discussões no forum afloraram, principalmente com problemas relacionados ao assunto.

O fato é que, o VBA nunca foi muito amigo de integração com a internet. O único recurso que os programadores VBA tinham em mãos era a integração com o Internet Explorer, onde a navegação era simulada para que os dados pudessem ser extraídos. Porém, a internet evolui em uma velocidade insana e como pudemos acompanhar, o Internet Explorer não seguiu nessa velocidade. Isso é tão verdade que a Microsoft vai descontinuar o navegador para lançar em seu lugar o Edge, que vem junto com o Windows 10. Como se isso já não fosse razão suficiente para procurar alternativas, o IE demonstrava certas limitações na simulação da navegação, algumas páginas já não rodavam e o IE11 quebrava uma série de funções.
Já tinha passado da hora de existir outra opção para o feito de extrair informações de páginas da web.

O que é o Selenium

E é aqui que entra o Selenium. O Selenium nasceu como um plugin de automação de rotinas em um browser. Para um programador VBA, é fácil entender o Selenium como se fosse o VBA do Navegador. Com ele, você pode programar, automatizar e até mesmo gravar algo parecido com macros, onde o Selenium grava todas as interações que você realiza em uma página para poder executar depois, podendo inclusive efetuar alterações no código.

Origem

O Selenium veio primeiramente auxiliar na automação de rotinas no navegador, começando pelo Firefox. Ele é até hoje um plugin ou extensão do navegador Firefox chamada Selenium IDE. Com o passar do tempo, o pessoal de testes tomou gosto pelas funcionalidades do Selenium, já que muitas das tarefas de navegação podiam ser automatizadas e repetidas, reduzindo o esforço e a possibilidade de erros drasticamente. O Selenium ganhava uma identidade no mercado de desenvolvimento de software que foi explorada em seguida pelos desenvolvedores.

A criação do WebDriver

Nos últimos anos, a disciplina de Testes de Software ganhou força. É só procurar por artigos e materiais nas redes e sites especializados. Com isso, os testes automatizados por software vieram logo em seguida. Nem é preciso ir muito longe. As “novas linguagens” já nascem quase preparadas para esse tipo de rotina e as que já estavam no mercado se adaptaram para isso.

O Selenium WebDriver veio para entregar aos programadores uma biblioteca que permite através de programação manipular o navegador para automatizar a navegação. Atualmente, o Selenium WebDriver oferece suporte a linguagens como Ruby, C#, Java, Python, Javascript e…. VBA! E é aqui prezados leitores que mora nosso interesse nesta ferramenta.

Instalando

Sim, é possível manipular o Selenium através de código VBA. Primeiro, é preciso instalar o Selenium-VBA, que é a versão da biblioteca que permite a manipulação o Selenium pelo código no VBA.

O Selenium-VBA é gratuito e vem sendo mantido como código aberto, por isso, vem tendo constantes mudanças e pode em alguns casos sofrer com instabilidades.

Estou usando o Selenium-VBA que pode ser baixado neste link:

https://code.google.com/p/selenium-vba/

A versão exata usada para este artigo foi:

http://dl.bintray.com/florentbr/generic/SeleniumWrapperSetup-1.0.23.0.exe

Ao finalizar a instalação, a última tela pergunta se você quer instalar o plugin do Selenium IDE no navegador Firefox. Isso é opcional, mas como é possível extrair muita informação útil do plugin, recomendo que o instale.

Exemplo no VBA

Como iniciei o artigo mencionando a interação com o Internet Explorer, vou replicar o mesmo exemplo utilizando o Selenium VBA.

Comece abrindo o Excel numa nova planilha, abra o Editor do VBA (Alt+F11) e comece adicionando a Referência à biblioteca “SeleniumWrapper Type Library”.

Referências no VBA

Se essa opção não aparecer, verifique a instalação do Selenium.
Em seguida, adicione um novo módulo no VBA (Menu Inserir->Módulo e adicione o seguinte código)

Public driver As New SeleniumWrapper.WebDriver
 
Public Sub AbreELogaNoForum()
    Dim MyPass As String, MyLogin As String
redo:
    MyLogin = Application.InputBox("Por Favor entre com o Login", "Forum Tomás Vásquez", Default:="login", Type:=2)
    MyPass = Application.InputBox("Por favor entre com a senha", "Forum Tomás Vásquez", Default:="Password", Type:=2)
    If MyLogin = "" Or MyPass = "" Then GoTo redo
    driver.Start "chrome", "https://www.tomasvasquez.com.br/"
    driver.setImplicitWait 5000
 
    driver.Open "/forum/ucp.php?mode=login"
    driver.findElementById("username").SendKeys MyLogin
    driver.findElementById("password").SendKeys MyPass
    driver.findElementByName("login").Click
 
End Sub
 
Public Sub FechaBrowser()
    driver.stop
End Sub

Para este exemplo, escolhi o Chrome, que explicarei depois o motivo. Se tudo der certo, o código vai pedir que você digite o usuário e senha do fórum (válidos). Após isso, o Chrome se abrirá, navegará até a página de login de fórum, entrará com suas credenciais e tentará fazer o login na página.

Ok, isso é pouco. Pois bem, vamos tentar explorar um pouco mais do que o Selenium WebDriver pode fazer por nós. Vou mudar a funcão AbreELogaNoForum para além de logar no fórum, navegar até a Pesquisa padrão do fórum e procurar por ocorrências com as palavras “Internet Explorer” e retornar o resultado na tela. Veja como ficou abaixo:

Public Sub AbreELogaNoForum()
 Dim MyPass As String, MyLogin As String
redo:
 MyLogin = Application.InputBox("Por Favor entre com o Login", "Forum Tomás Vásquez", Default:="login", Type:=2)
 MyPass = Application.InputBox("Por favor entre com a senha", "Forum Tomás Vásquez", Default:="Password", Type:=2)
 If MyLogin = "" Or MyPass = "" Then GoTo redo
 driver.Start "chrome", "https://www.tomasvasquez.com.br/"
 driver.setImplicitWait 5000
 
 driver.Open "/forum/ucp.php?mode=login"
 driver.findElementById("username").SendKeys MyLogin
 driver.findElementById("password").SendKeys MyPass
 driver.findElementByName("login").Click
 
 driver.setImplicitWait 1000
 'navega até a pesquisa
 driver.Open "/forum/search.php"
 driver.setImplicitWait 2000
 'digita o critério e pesquisa
 driver.findElementById("keywords").SendKeys "Internet Explorer"
 'procura o botão de Pesquisar através de CSS Selector e clica
 driver.findElementByCssSelector("[value=Pesquisar]").Click
 driver.setImplicitWait 2000
 'obtem o resultado e joga num MsgBox
 MsgBox driver.findElementByClassName("searchresults-title").Text
 
End Sub

Explicando o código, entre uma navegação e outra chamo a função driver.setImplicitWait, que recebe como parâmetro a quantidade de milisegundos (1000 milisegundos = 1 segundo) que a rotina deve esperar antes de executar a próxima instrução. Isso é necessário pois a velocidade de transição entre uma página e outra depende de muitos fatores, desde a velocidade do computador até a velocidade da internet. Ajuste-o para cada caso.

Aqui o resultado foi o seguinte:

Resultado da pesquisa no fórum

Note que neste código, já começamos a explorar funcionalidades inerentes ao HTML5, como seletores complexos de CSS para alcançar determinados elementos.

Obviamente, este é um exemplo que está longe de explorar o potencial do que o Selenium pode fazer. O intuito aqui foi apresentar uma alternativa ao Internet Explorer para automatizar a navegação em páginas da web. Explorarei mais opções de navegação e do Selenium em outros artigos.

Curiosidades

Apesar do Selenium ter nascido com o Firefox, na versão utilizada neste artigo o mesmo dá erro. O bug é conhecido da comunidade do Selenium e está em análise. Até a presente data, mesmo na última versão o erro não havia sido corrigido. O Internet Explorer também pode ser utilizado se for o caso. Não testei com o Microsoft Edge.

A escolha pelo Chrome deve-se ao fato do navegador ser baseado Chromium, que é de código aberto. Com isso, a quantidade de customizações e configurações é enorme e pode ser melhor explorada do que nas alternativas.

Cuidados

Sempre que você o utiliza o Selenium WebDriver, uma instância do “Driver” é criada em memória. Note que o código é divido em 2 funções, sendo uma que abre o navegador e outra que o fecha. Esta última é necessária, por mesmo que você feche o Excel e o navegador, a instância do Driver ficará em memória.

Por fim, não utilize para fins impróprios, como inundar a internet com lixo, automatizando a entrada de dados. Primeiramente, recorra ao bom senso. Depois, a internet é rastreável e é fácil chegar até o causador do problema.

Finalizando

O Selenium é “A”alternativa à automação de navegação web e extração de dados para os programadores VBA. Já utilizei em alguns projetos para clientes e funcionou muito bem, chegando a fazer desde navegação avançada até extração de dados e automação de download de arquivos. Logo publicarei outras opções de código que a biblioteca Selenium Webdriver oferece de customizações para melhor demonstrar o potencial da ferramenta.

Bom proveito!

Vídeo – Excel, usando a função SE


Tá na hora de um novo vídeo! Esta é uma rápida explicação de como utilizar a função SE. Aqui deixo um especial agradecimento a meu irmão, que foi quem gerou a necessidade e me motivou a fazer o vídeo.

Confira o resultado no Youtube:

Aproveite para se inscrever no canal e conferir os próximos vídeos. Muitos virão!

Bom proveito!

Vídeo – Série de Segurança no Excel

Olá pessoal! Sejam bem vindos e está na hora de anunciar uma nova série (ou seção, sei lá) neste canal. Segurança no Excel. Aqui pretendo falar sobre todo o contexto de segurança que permeia o Excel, desde as opções mais básicas como proteção de arquivos com senha, proteção de células, entre outros, passando por alguns truques para proteger melhor seus dados e discutir sobre os limites do Excel nesse aspecto, sabendo até em ponto devemos confiar nele para proteger nossos dados.

Vou começar com um vídeo que apresenta as opções de proteção de arquivos com senha pelo próprio Excel.

É só o começo, claro. Ainda tem muitas dicas de segurança que vou compartilhar por aqui. Inscreva-se no canal para acompanhar tudo que é publicado, o link está logo aqui embaixo do vídeo.

Por enquanto é só pessoal! Confiram abaixo os primeiros vídeos da série:

Apresentação da Série Seguranca no Excel

Protegendo Arquivos no Excel

Protegendo elementos de planilha de todos os usuários

Dicas – Livros sobre Microsoft Excel e Desenvolvimento de Softwares

Boa tarde aos amigos do fórum.

Ultimamente, tenho estado em uma correria tão grande, que não tem sobrado tempo para auxiliar os amigos nas dúvidas postadas no fórum.

Eu devo muito a este fórum e, por este motivo, mesmo não tendo tempo de auxiliar em dúvidas, gostaria de usar esse espaço para compartilhar dicas de alguns livros sobre desenvolvimento de sistemas e Microsoft Excel. Conforme poderão ver abaixo, irei comentar sobre 4 excelentes livros que tive a oportunidade de ler este ano de 2015.

Quero ressaltar que não estou aqui fazendo propaganda destes livros. Meu intuito aqui é indicar os mesmos, apresentando um resumo do material existente nestes livros, para que outros usuários que já tenham interesse em adquirir os mesmos, tirem suas dúvidas sobre o assunto abordado e a qualidade do material/conteúdo tratado.

Integração De Dados Com Powerpivot E Microsoft Excel 2010.jpg

Título Livro: Integração De Dados Com Powerpivot E Microsoft Excel 2010
Autor: Newton Roberto Nunes da Silva
Ano de Lançamento: 2012
Editora: Editora Érica

Conteúdo: Este livro trás conceitos e práticas do uso da ferramenta Microsoft PowerPivot lançada pela Microsoft, com o intuito de reforçar seu arsenal de ferramentas direcionadas para BI (Business Intelligence) na plataforma do Microsoft Excel 2010. Com o uso do Microsoft PowerPivot é é possível realizar a integração de várias fontes de dados (como arquivos MS Access, arquivos MS Excel, SQL Server, MySQL, Firebird, entre outros) em um único local, possibilitando aos seus usuários realizar conciliações e complementações de informações, além de construção de relatórios, através do recurso interno de Tabelas Dinâmicas. No site da Editora, é possível realizar o download dos exemplos utilizados no livro e realizar vários teste no processo de aprendizagem.

Comentário: Não conhecia muita coisa sobre o Microsoft PowerPivot, mas foi através deste livro que comecei a trabalhar mais com a ferramenta e a
ter um olhar mais crítico para as possibilidades que o Microsoft Excel oferece para a elaboração de Ambiente de Decisão em uma empresa.

Engenharia de Software - Qualidade e Produtividade Com Tecnologia.jpg

Título Livro: Engenharia de Software – Qualidade e Produtividade Com Tecnologia
Autor: Kechi Hirama
Ano de Lançamento: 2011
Editora: Editora Elsevier (Edição Digital)

Conteúdo: Este livro é um resumo da disciplina Engenharia de Software, dos cursos de graduação e pós-graduação, dos cursos de TI e Análise de Sistemas. Neste livro, o professor Hirama apresenta um organograma, dos passos e métodos necessários, para a preparação de um projeto de desenvolvimento de software, indo desde a etapa de Coleta do Requisitos, até a fase de Verificação e Testes dos Softwares, de forma a se conseguir no final de projeto, um produto com melhor qualidade e menor custo, tanto sobre o desenvolvimento, quanto para futuras manutenções.

Comentário: Com o intuito de aproveitar minha formação em Eng. Produção, tenho buscado adquirir conhecimentos mais aprofundado sobre processos e
métodos de desenvolvimento de software, buscando melhor qualidade e menor custo. Através deste livro, tive a oportunidade de conhecer os caminhos necessários para esse objetivo, além de conhecer um pouco mais sobre alguns conceitos como: Métodos Ágeis e Scrum. Normalmente, estes conceitos são utilizados em desenvolvimento de projetos direcionados para linguagens mais robustas que o Visual Basic for Application, mas acredito que ao adquirir esses conhecimentos e aplicá-los em projetos MS Excel/VBA, também seja possível melhorar o processo de desenvolvimento de aplicações em VBA/MS Excel.

Balanced Scorecards e Paineis Operacionais com Microsoft Excel.jpg

Título Livro: Balanced Scorecards e Paineis Operacionais com Microsoft Excel
Autor: Ron Person
Ano de Lançamento: 2013
Editora: Editora AltaBooks

Conteúdo: Este livro é dividido em 3 partes consecutivas: Planejamento de um Balanced Scorecards (BSC), Mapeamento de Processo e Construção de Painéis Operacionais e Dashboards em MS Excel. As duas primeiras exploram os conceitos de Gestão Estratégica com BSC e o Mapeamento de Processos, para que gestores/administradores tenham conhecimento para realizarem planejamento de objetivos a curto, médio e longo prazo. Já a parte final, ensina técnicas de desenvolvimento de Dashboards e Painéis Operacionais, com o objetivo de desenvolver relatórios para acompanhamento de Indicadores de Desempenho Chaves (KPI).

Comentário: para aqueles que estão aprendendo sobre o desenvolvimento de Dashboards no Microsoft Excel, esse é um excelente livro e indico de olhos fechados. O livro vai do processo de preparação dos dados para uso nos dashboards, até o ponto de apresentação dos resultados, seja em formato PDF, PowerPoint ou estruturas com SharePoint. Se falarmos sobre investimento em livros, esse foi o melhor investimento que fiz neste ano.

BI Business Intelligence no Excel.jpg

Título Livro: BI Business Intelligence no Excel
Autor: Trajano Leme Filho
Ano de Lançamento: 2010
Editora: Editora Nova Terra

Conteúdo: Este livro é um manual completo sobre o desenvolvimento de um Business Intelligence (BI). O livro aborda conceitos sobre: Tomadas de Decisão, Criação de Data Warehouse (DW), processo de extração de dados de um BD Transacional para um DW, Modelagem Dimensional e o uso destas informações, para construção de Relatórios Analíticos para a Tomada de Decisão, através do Microsoft Excel.

Comentário: Devo admitir que esse foi um livro que comprei achando que era uma coisa, e no final das contas foi outra totalmente diferente. Calma, não estou falando do lado negativo. Quando comecei a me interessar por este livro, achei que ele teria um foco maior direcionado para o Microsoft Excel. Quando comecei a ler este livro, e ainda estou lendo-o, comecei a ver e conhecer assuntos que vão muito além das tradicionais planilhas e Dashboards que podemos desenvolver com Microsoft Excel. Como mencionei, ainda não terminei de ler este livro, mas para aqueles que desejam construir uma ferramenta que auxilie gestores no processo decisório de uma empresa, este é um excelente material

Antes de encerrar esse post, gostaria de deixar um recado para os amigos. Livros galera, independente de serem sobre estudos ou histórias, é um verdadeiro ativo de conhecimento e, por esse motivo, mesmo as vezes tendo seu valor elevado, principalmente no Brasil, considero como o melhor investimento nos dias de hoje. Se tiverem interesse e oportunidade, comprem um livro. Deixem de lado a cervejinha ou o cinema de pelo menos um final de semana e invistam no conhecimento de vocês.

Bem galera, como disse, esse foi um ano de muito estudo e novos conhecimentos. Fiz questão de postar essa dica sobre estes livros, para que outros usuários que possuem a necessidade/curiosidade de adquirir novos conhecimentos, possam se orientar e aprender mais com esses conteúdos.