Vamos utilizar uma técnica de programação chamada web scraping na qual nós vamos raspar dados de uma consulta de cerveja dentro de uma loja online de super-mercado. LINK DA AULA COMPLETA :https://youtu.be/z5mUcz83QrU OU NA BIO! #rpa #bot #webscraping #nodejs #webautomation #cwa #comunidadewebautoation ... https://www.youtube.com/watch?v=CXRZvMC8Yj4
#webscraping #bot #rpa #mongodb #nodejs #telegram
Nesta aula vamos unir as bibliotecas criadas nas aulas anteriores e automatizar o processo de extração de dados do site da OLX.
A gente vai usar web scraping com nodejs, banco de dados mongodb e o telegram para criar uma aplicação de monitoramento de imóveis da sua região junto com o olx.
Vamos raspar os dados de uma consulta diária no olx e disponibilizá-la para consulta em nosso BOT TELEGRAM.
Quero te mostrar como é possível criar um bot que organiza e disponibiliza informações e te dar idéias para você melhorá-lo e também utilizar este modelo de projeto para outros produtos, como por exemplo, carros usados, produtos de ecommerce e demais produtos... a sua imaginação é o limite.
...
https://www.youtube.com/watch?v=LhJKGiGWwDg
#grupoTelegram
Faça parte do nosso grupo no telegram:
https://t.me/webscraping_automacaonavegadores
Dica rápida para você resolver aquele problema de autenticação do seu bot
...
https://www.youtube.com/watch?v=rNe2-vaXKT4
Neste vídeo mostro algumas idéias e motivações para você aprender automação de navegadores e criar seu próprio empreendimento.Aprender a automatizar navegadores é de rápido e fácil aprendizado e você pode utiliza-la em seu favor ou da sua empresa, podendo gerar valor para sua carreira ou criar o seu próprio negócio na area de tecnologia.
...
https://www.youtube.com/watch?v=vC8wbDadP8w
Nosso objetivo é automatizar a analise de um arquivo de log do apache com mais de 8 mil registros de acessos e identificar se HOUVE ‘SCANNER’ DE VULNERABILIDADE em nosso site.
Neste vídeo vamos aprender um pouco sobre a prática de forma básica usando o pacote ml-bayes dentro do Nodejs, onde a biblioteca oferece o algoritmo pronto onde é só submetermos os dados para treinamento.
...
https://www.youtube.com/watch?v=OSCKCXR3c8Y
Uma forma simples, mas de grande importância é saber se ao criarmos o nosso bot o puppeteer encontrou a classe na qual queremos dentro do DOM do navegador, aqui eu mostro uma das formas de fazer esta verificação.
...
https://www.youtube.com/watch?v=Uki8QST8aIM
Nosso canal no Telegram:
https://t.me/webscraping_automacaonavegadores
Neste vídeo mostro como criei o algoritmo para automatizar o scraping de mais de 136 mil linhas do site da aneel sobre energia solar.
...
https://www.youtube.com/watch?v=VXrHAQiPYW8
#webscraping #rpa #nodejs #puppeteer #cwa #comunidadewebautomation #cerveja
O que vamos fazer hoje?
Vamos utilizar uma técnica de programação chamada web scraping na qual nós vamos raspar dados de uma consulta de cerveja dentro de uma loja online de super-mercado.
Será extraído o nome da cerveja, valor unitário e valor por litro.
Você pode se perguntar:
-O que pode ser útil no meu dia-a-dia saber webscraping?
Eu vou te demonstrar como é fácil usar nodejs, javascript e a biblioteca puppeteer para automatizar processos e raspar informações da internet de forma automática.
Com este conhecimento você pode utiliza-lo para mineração de dados, criar um sistema de comparação de preços, um aplicativo de monitoramento de sistemas, um saas ou micro-saas de automações de processos.
Web scraping complementa uma pequena parte do mundo RPA, robotic process automation, ou seja automação de processos pelo computador.
#cwa - ACESSO A COMUNIDADE WEB AUTOMATION: https://pedropachecodev.com.br/
Nosso canal no
#telegram : https://t.me/webscraping_automacaonavegadores
#watsapp : https://chat.whatsapp.com/LqKtGJAfHetG49OEcZNGWA
...
https://www.youtube.com/watch?v=z5mUcz83QrU
Neste vídeo eu mostro como ler arquivos json de forma muito fácil usando nodejs e javascript.
Nosso canal no Telegram:
https://t.me/webscraping_automacaonavegadores
...
https://www.youtube.com/watch?v=d1R_oIHvq4g
Como testar números usando jest.
As vantagens de usar TDD:
-Evita disperdício de tempo e código;
-Feedback na hora da alteração do seu código;
-Você tem uma previsão do código;
Lembrando que tdd não gera 100% de funcionalidade do código.
-Uma grande quantidade de vagas na área de dev exige tdd
Explicação sobre TDD:
https://www.youtube.com/watch?v=PAKnMfW4Xxw
Jest:
https://jestjs.io/docs/en/getting-started
...
https://www.youtube.com/watch?v=3sZVUijTIQA