1. java
  2. android
  3. c#
  4. .net
  5. javascript
  6. php
  7. jquery
  8. html
  9. sql

controle de processamento com base em fluxo de dados

Bom Dia pessoal!

Estou com um desafio em mãos, em minha empresa tenho uma integração onde recebo um fluxo de dados muito grande onde preciso incluir uma referencia em cada dado deste fluxo, preciso processar cerca de 23 referencias por segundo, durante 24h X 7D, algumas vezes este fluxo pode ser menor ou maior, hoje em dia é feito em PHP, mas devido a implementação não esta dando conta, pois o processamento esta muito demorado, causando um grande DELAY, dai tive a ideia de desenvolver um algorítimo multi-thread que controle o processamento com base em fluxo de dados, se o fluxo for muito grande eu gero uma quantidade maior de threads para me aproveitar melhor da CPU da maquina e se o fluxo estiver menor eu gero um numero menor de threads, para poupar processamento. Como a tendencia deste fluxo é apenas crescer, preciso que este algorítimo seja totalmente escalável, e que o limite seja o Hardware não o sistema.

Alguém já desenvolveu alguma coisa nesse tipo? Será que resolve? Se sim, alguma dica antes de eu começar?

Preciso apresentar este projeto como solução antes da implementação, por isso estou me preparando bem.

  • Esse fluxo vem daonde? De sockets? De arquivos? Você tem certeza de que o gargalo já não é o fluxo em si? Mediu com um profiler?

    ViniGodoy   24 de dez de 2013
  1. Você vai ver essas setas em qualquer página de pergunta. Com elas, você pode dizer se uma pergunta ou uma resposta foram relevantes ou não.
  2. Edite sua pergunta ou resposta caso queira alterar ou adicionar detalhes.
  3. Caso haja alguma dúvida sobre a pergunta, adicione um comentário. O espaço de respostas deve ser utilizado apenas para responder a pergunta.
  4. Se o autor da pergunta marcar uma resposta como solucionada, esta marca aparecerá.
  5. Clique aqui para mais detalhes sobre o funcionamento do GUJ!

0 resposta

Não é a resposta que estava procurando? Procure outras perguntas com as tags threads algoritmos ou faça a sua própria pergunta.