1. java
  2. android
  3. c#
  4. .net
  5. javascript
  6. php
  7. jquery
  8. html
  9. sql

Dúvida de webcrawler, spider ou bot

Boa noite pessoal, peguei um freelancer para fazer e estou com dúvida de qual a melhor forma para implementar a solução..O problema é o seguinte.

tenho que dar um "scan" num site e pegar varias informações que estão em vários formulários, porém até agora nunca fiz quase nada parecido com isso..

estou realizando esse trabalho utilizando uma suite de teste chamada Selenium eu faço esses scans nos combobox da página web, pego a informação e insiro na base de dados, tirando a parte que a página tem muita chamada ajax e de vez em quando o selenium para de funcionar, as vezes quem para é o navegador,(ainda não conseguir resolver isso) tirando isso ta tudo bem.

Conversando com um amigo do trabalho ele falou algo sobre crawler e spider para scanear páginas web, essas técnicas se aplicaria no meu problema(eu não conheço isso)... Caso alguém possa ajudar com algum material didático ou até algum exemplo sobre isso. fico muito agradecido

  1. Você vai ver essas setas em qualquer página de pergunta. Com elas, você pode dizer se uma pergunta ou uma resposta foram relevantes ou não.
  2. Edite sua pergunta ou resposta caso queira alterar ou adicionar detalhes.
  3. Caso haja alguma dúvida sobre a pergunta, adicione um comentário. O espaço de respostas deve ser utilizado apenas para responder a pergunta.
  4. Se o autor da pergunta marcar uma resposta como solucionada, esta marca aparecerá.
  5. Clique aqui para mais detalhes sobre o funcionamento do GUJ!

1 resposta

Não é a resposta que estava procurando? Procure outras perguntas com as tags java selenium webservices ou faça a sua própria pergunta.