Si quieres hacer web scraping sin bloqueos te recomiendo Scraping.link (Se regalan 100 créditos en el alta)
https://app.scraping.link/ Te recomiendo que veas este video:
https://www.youtube.com/watch?v=A1URtaaA-v0Grupo de Telegram:
https://t.me/joinchat/AwFbIh1PuwuEgCk0gVgS4gGrupo de Discord:
https://discord.gg/e9QMRJmNtRAquí os dejo el código Python del video:
import gspread
import time
import people_also_ask
gc = gspread.service_account(filename='scraping-link-d8434e0ec14a.json')
# Abrir por titulo
sh = gc.open("Otras preguntas")
# Seleccionar primera hoja
worksheet = sh.get_worksheet(0)
# Para continuar por una nueva fila
values_list = worksheet.col_values(1)
row_index = len(values_list) + 1
keywords = [
'guia de compra portatil',
'guia de compra nevera',
'guia de compra sobremesa',
]
for keyword in keywords:
worksheet.update('A'+str(row_index), keyword)
worksheet.format('A'+str(row_index), {'textFormat': {'bold': True}})
row_index = row_index + 1
for question in people_also_ask.get_related_questions(keyword, 6):
worksheet.update('B'+str(row_index), question)
worksheet.update('C'+str(row_index), people_also_ask.get_simple_answer(question))
row_index = row_index + 1
time.sleep(1)
...
https://www.youtube.com/watch?v=rJRNMtG8-gM