Whitepaper gratuito: Incremente sua infra-estrutura
Mundo + cão concorda que o Hadoop é uma ferramenta muito bem com o que para enfrentar mapa reduzir tarefas, mas o software tem um par de restrições, especialmente sua dependência do Hadoop Distributed File System (HDFS).
Não há nada de errado com HDFS, mas sua integração com Hadoop significa que o software precisa de um cluster dedicado de computadores em que para ser executado.
Isso não é uma coisa ruim por muitas razões. Mas pessoas que partem clusters de computação de alto desempenho para outros fins, muitas vezes não funcionam HDFS, o que os deixa com um monte de poder de computação, as tarefas que poderia certamente se beneficiar de um pouco de map reduce e não há maneira de colocar essa energia para trabalhar em execução Hadoop.
Intel notou isso e, na versão 2.5 de sua distribuição Hadoop que discretamente divulgado na semana passada, tem suporte para Lustre acrescentou.
Girish Juneja, gerente geral da Intel para grandes volumes de dados e serviços de software, pensa clientes de HPC do Chipzilla vão adorar isso, e que o resto de nós não vai meados ou dado Intel seguindo todas as regras de código aberto com essa contribuição.
"Muitos clientes não querem implantar um cluster físico totalmente separado só porque não conseguia descobrir como executar o Hadoop em seu sistema de arquivos", disse Juneja O Reg em Big Data da Intel e Summit Cloud em Ho Chi Minh City *. "HPC foi o principal alvo para isso. No segmento de HPC uma grande parte do mercado é executado no GPFS ou Lustre e tivemos a sorte de ter Lustre na minha categoria ".
"Nós abstraída uma camada de HDFS mas por baixo que ele está realmente falando com brilho.
"Então, se você olhar para Los Alamos laboratório e esses laboratórios de pesquisa com aglomerados gigantescos que rodam HPC emprego de 90 por cento do tempo, mas para dez por cento do tempo que eles querem executar um trabalho Hadoop que pode executá-lo exatamente da mesma ambiente sem a movimentação de dados. "
Dadas tais laboratórios lidam com grandes quantidades de dados, a chance de deixá-lo no lugar será bem-vinda.
Chipzilla também voltou a atenção é a criptografia e uma lista de controle de acesso para HBase.
"Neste ambiente NoSQL o desafio passa a ser como designar quem tem acesso a quais dados", disse Juneja. "Nós adicionamos capacidades para permitir listas de controle de acesso" que permitem que os administradores definam políticas para quem pode acessar quais dados HBase.
Janeja sente que além disso, juntamente com a introdução de criptografia de dados e anonimização, significará provedores e usuários com requisitos de conformidade pesados de serviços financeiros podem agora considerar Hadoop. No passado, Janeja disse, a ausência desses recursos de segurança orientadas significava Hadoop representado risco inaceitável.
Intel também vende o seu próprio software de gestão para conduzir as listas de controle de acesso, uma Juneja arranjo sente clientes não vai se importar muito.
A versão 3.0 da distribuição do Hadoop Chipzilla também está perto de lançar, com setembro direcionados para o seu aparecimento. Juneja disse que os usuários podem esperar de distribuição da Intel para assemelhar-se muito de perto os esforços da comunidade em geral Hadoop. ®
* O autor participou da cúpula como convidado da Intel, que pagou para voos e alojamento.
via Alimentar (Feed) http://go.theregister.com/feed/www.theregister.co.uk/2013/08/21/intel_adds_lustre_support_to_hadoop/
Nenhum comentário:
Postar um comentário