#cwa #comunidadewebautomation #webscraping #bot #rpa #mongodb #nodejs
Nosso canal no #telegram:https://t.me/webscraping_automacaonavegadores
Esta aula complementa a aula 4, em que vamos terminar a nossa automação de clicks de pagina em nosso bot de automação.
Abaixo os links das aulas anteriores!
#aulas_anteriores:
-AULA4:https://youtu.be/geyMmwKj1lg
-AULA3: https://youtu.be/RyFJ7dCZTK4
-AULA2:https://youtu.be/iA_2HTvx8Ao
-AULA1:https://youtu.be/irW1qaSUb6w
...
https://www.youtube.com/watch?v=-EkWDpPFO-A
#grupoTelegram
Faça parte do nosso grupo no telegram:
https://t.me/webscraping_automacaonavegadores
Neste vídeo mostro como salvar os dados raspado do site do governo, serve de exemplo para você utilizar como base para salvar seus dados raspado por scraping.
...
https://www.youtube.com/watch?v=Zi5WXUJyDlg
#cluster #cwa #puppeteer #comunidadewebautomation #webscraping #bot #rpa #nodejs #puppeteer-cluster
Nesta aula você vai aprender a criar a sua primeira automação clusterizada usando NODEJS e PUPPETEER.
Vamos criar um CRAWLER com a arquiterura de um cluster, onde vai ser tratado os principais erros de automação e controle de execução da mesma.
#aula_anterior: https://youtu.be/8tBeQSdMgeM
Nosso canal no
#telegram:https://t.me/webscraping_automacaonavegadores
...
https://www.youtube.com/watch?v=AFje7rEkSUY
#cwa #comunidadewebautomation #webscraping #bot #rpa #mongodb #nodejs
Nosso canal no #telegram:https://t.me/webscraping_automacaonavegadores
Na aula anterior nós iniciamos a criação de um bot de monitoramento de reclamções de um banco.
Eu mostro passo a passo aprender como criar uma extração de dados de um site usando a biblioteca puppeteer e nodejs.
Nesta aula nós vamos elevar o nível de extração do nosso bot, extraindo links da pagina pai e aumentando o fluxo de extração de informação.
...
https://www.youtube.com/watch?v=RyFJ7dCZTK4
#Grupo_telegram
http://bit.ly/2SxAR2b
Neste vídeo mostro como utilizar proxy pago para realizar webscraping de forma mais profissional, caso seu ip for bloqueado pelo site alvo do scraping.
Veja também o video 1 onde falo sobre como utilizar o proxy free(gratuito) no seu webscraping.
...
https://www.youtube.com/watch?v=32WjbwO6I30
#webscraping #rpa #nodejs #puppeteer #cwa #comunidadewebautomation #cerveja
O que vamos fazer hoje?
Vamos utilizar uma técnica de programação chamada web scraping na qual nós vamos raspar dados de uma consulta de cerveja dentro de uma loja online de super-mercado.
Será extraído o nome da cerveja, valor unitário e valor por litro.
Você pode se perguntar:
-O que pode ser útil no meu dia-a-dia saber webscraping?
Eu vou te demonstrar como é fácil usar nodejs, javascript e a biblioteca puppeteer para automatizar processos e raspar informações da internet de forma automática.
Com este conhecimento você pode utiliza-lo para mineração de dados, criar um sistema de comparação de preços, um aplicativo de monitoramento de sistemas, um saas ou micro-saas de automações de processos.
Web scraping complementa uma pequena parte do mundo RPA, robotic process automation, ou seja automação de processos pelo computador.
#cwa - ACESSO A COMUNIDADE WEB AUTOMATION: https://pedropachecodev.com.br/
Nosso canal no
#telegram : https://t.me/webscraping_automacaonavegadores
#watsapp : https://chat.whatsapp.com/LqKtGJAfHetG49OEcZNGWA
...
https://www.youtube.com/watch?v=z5mUcz83QrU
Nesta segunda aula mostro de uma forma mais simples de como extrair caracteres de várias imagens dentro de um diretorio usando NODEJS com TESSERACT-OCR. Aos poucos vamos nos aprofundando em técnicas de extração de dados de imagens.
...
https://www.youtube.com/watch?v=QlEDL2yJsQA
Nosso canal no Telegram:
https://t.me/webscraping_automacaonavegadores
Pode ocorrer com qualquer um, você faz seu web scraping todo cuidadoso no qual busca suas informações todos os dias, mas num determinado momento seu scraping pára de funcionar e você descobre que o problema é bloqueio do seu scraping com o seu ip de origem.E agora o que fazer?
Existe um contorno técnico, não é a bala de prata mas ajuda muito, que é utilizar um proxy externo.
Neste primeiro vídeo mostro como utilizar proxy gratuito e mostro suas vantagens e desvantagens.
Lista de proxys free:
https://free-proxy-list.net/
...
https://www.youtube.com/watch?v=QRciEx5k6xc