#cluster #cwa #puppeteer #comunidadewebautomation #webscraping #bot #rpa #nodejs #puppeteer-cluster
Nesta aula você vai aprender a criar a sua primeira automação clusterizada usando NODEJS e PUPPETEER.
Vamos criar um CRAWLER com a arquiterura de um cluster, onde vai ser tratado os principais erros de automação e controle de execução da mesma.
#aula_anterior: https://youtu.be/8tBeQSdMgeM
Nosso canal no
#telegram:https://t.me/webscraping_automacaonavegadores
...
https://www.youtube.com/watch?v=AFje7rEkSUY
Nosso canal no Telegram:
https://t.me/webscraping_automacaonavegadores
Neste vídeo, que é o segundo passo, vamos extrair a primeira linha de dados do site da ANEEL, usando nodejs.
...
https://www.youtube.com/watch?v=Gz3j5DkSdvg
#shorts #cwa #puppeteer #comunidadewebautomation #webscraping #bot #rpa #nodejs #excel #googlesheets
Nesta aula eu vou te mostrar passo-a-passo em como exportar dados ,usando nodejs ,dentro de uma planilha excel para um banco de dados.
A exportação de dados é de extrema importância para se criar automações web. Dominando esta habilidade você consegue criar automações sem impactar muito o ambiente do seu cliente e ao mesmo tempo, deixa seus dados mais seguros dentro de uma base de dados.
Nosso canal no
#telegram:https://t.me/webscraping_automacaonavegadores
Link da aula:
https://youtu.be/XvSabiwMaUg
...
https://www.youtube.com/watch?v=y4mkiVACdjc
Nosso canal no Telegram:
https://t.me/webscraping_automacaonavegadores
Pode ocorrer com qualquer um, você faz seu web scraping todo cuidadoso no qual busca suas informações todos os dias, mas num determinado momento seu scraping pára de funcionar e você descobre que o problema é bloqueio do seu scraping com o seu ip de origem.E agora o que fazer?
Existe um contorno técnico, não é a bala de prata mas ajuda muito, que é utilizar um proxy externo.
Neste primeiro vídeo mostro como utilizar proxy gratuito e mostro suas vantagens e desvantagens.
Lista de proxys free:
https://free-proxy-list.net/
...
https://www.youtube.com/watch?v=QRciEx5k6xc
#Telegram - canal
https://t.me/webscraping_automacaonavegadores
Eu vejo ainda muitas pessoas se confundindo com 2 termos muito usados em nossa especialidade em web scraping e aut. de navegadores que são Scraping e Crawling.
A própria tradução nós já conseguimos diferenciar um do outro:
Web Scraping = Raspar web
Web Crawling = Rastreador web
Web Scraping é a automação de extração dados de um site alvo.
Já Web Crawling é um rastreador da web ou seja ele faz a indexação ou mapa da web, armazenando links num banco de dados sendo de fácil consulta.
A ação do web scraping é feita com o objetivo de extrair determinadas informações de um determinado site.
Já o Crawler
ele começa explorando determinados links
que são chamados “seeds” e só vai parar de rastrear
se for de interesse de sua política.
Ou seja
para resumir web scraping nós extraímos informação
e web crawler é um bot para indexar sites web para pesquisa.
...
https://www.youtube.com/watch?v=9m2129ZQW5Y
#Telegram - canal
https://t.me/webscraping_automacaonavegadores
Neste vídeo a gente vai usar nodejs
pra automatizar a nossa consulta no googlemaps
e salvar os dados da consulta num arquivo .csv,
isso mesmo você pode abrir como uma planilha de excel.
#Telegram:
https://t.me/webscraping_automacaonavegadores
Se você fosse um representante,
vendedor de software por exemplo
e quisesse vender seu software próximo na sua região
o que você faria
caso ainda não tivesse uma lista de contatos de possíveis cliente?
Vamos supor que você faz parte da equipe de vendas de um software de engenharia
e necessitasse criar uma lista de empresas
ou engenheiros próximo a você geograficamente,
você entraria no googlemaps e pesquisaria por engenheiro
e apareceria uma lista de engenheiros ou empresas de engenharia perto de você,
ai então você vai de contato em contato copiando e colando
as informações para uma planilha de excel?!
ai não né…
Vamos automatizar isso aí...
...pra facilitar a sua vida ou de algum amigo vendedor?
...
https://www.youtube.com/watch?v=4U9woXH2J7g
Nosso canal no Telegram:
https://t.me/webscraping_automacaonavegadores
Neste vídeo mostro como você pode criar seu primeiro webscraping usando nodejs de forma muito simples.
...
https://www.youtube.com/watch?v=xD7Ao5HYA2w
#grupoTelegram
Faça parte do nosso grupo no telegram:
https://t.me/webscraping_automacaonavegadores
Neste video mostro como criar um bot de monitoramento de preços na amazon usando nodejs e puppeteer.
...
https://www.youtube.com/watch?v=UkWI7mwd6vo
#cwa #comunidadewebautomation #webscraping #bot #rpa #mongodb #nodejs
Nosso canal no #telegram:https://t.me/webscraping_automacaonavegadores
Esta aula complementa a aula 4, em que vamos terminar a nossa automação de clicks de pagina em nosso bot de automação.
Abaixo os links das aulas anteriores!
#aulas_anteriores:
-AULA4:https://youtu.be/geyMmwKj1lg
-AULA3: https://youtu.be/RyFJ7dCZTK4
-AULA2:https://youtu.be/iA_2HTvx8Ao
-AULA1:https://youtu.be/irW1qaSUb6w
...
https://www.youtube.com/watch?v=-EkWDpPFO-A