5 maneiras para reduzir a latência da rede de publicidade
Três pesos pesados tecnológicos se uniram para girar-se um cluster supercomputador radicalmente diferente projetado para triturar "grandes dados" cargas de trabalho, em vez de os trabalhos de simulação e modelagem de plataformas típicas HPC.
A colaboração entre o Lawrence Livermore National Laboratory, Intel, e Cray foi anunciada na segunda-feira e vê as empresas de demitir-se de um sistema de computação de alto desempenho chamado "catalisador" que tem uma ordem de magnitude mais memória do que qualquer sistema que tenha ido antes.
Catalisador tem 304 dual-soquete nós de computação equipados com 12-core Xeon E5-2695v2 2.4Ghz apoiados por 128 GB DRAM, juntamente com o tecido Intel TrueScale. Até agora, tão super - o que torna este sistema diferente é o 800GB enorme de memória flash ligado via PCIe por nó. Boffins deseja converter placas de armazenamento de estado sólido em um nível secundário de memória.
Intel, Cray e LLNL vai usar o sistema de roer "grandes dados" problemas, e assim investigar a maneira que os novos sistemas podem ser projetados para tirar proveito dos meios de memória muito mais rápido - a investigação fundamental, dada a provável chegada de algum tipo de memória RAM não volátil da próxima geração (tais como Memristor da HP) para os próximos anos.
Inicialmente, LLNL vai usar o sistema para testar uma nova técnica "de dados intensivo" de mapear as unidades de estado sólido em memória do aplicativo ", tornando as lojas de flash parece DRAM standard" de software, Matt Leininger, um deputado de Projetos de Tecnologia Avançada dentro LLNL nos disse. Embora ele ressaltou que apps "precisa de alguns smarts sobre o que ele armazena em cache DRAM em relação ao flash. Esta máquina é uma maneira de escalar que [abordagem] a partir de duas três a cinco nós a várias centenas."
O sistema funciona nos moldes de hardware dos gostos do Fusion-io, que traz capacidades mais rápida que a do disco para a memória quase tão rápido quanto-RAM de software para mudar os dados ao redor dentro Uma área de preocupação é o já mencionado diferença nos tempos de acesso entre DRAM e anexado Intel de flash , o que exigirá novas formas de conciliar a alocação de memória em grandes aplicativos, Leininger admitiu.
Então, o que tudo isso tem a ver com "big data"?
"Na tradicional HPC as técnicas de simulação e modelagem são normalmente baseados em modelos científicos que têm matemática subjacente ou física equações diferenciais parciais", disse Mark Seager, diretor do grupo de computação avançada da tecnologia Intel chefe, diz. "Isso começa com uma pequena quantidade de dados e evolui ao longo do tempo de uma maneira tempo-stepping gerando lotes e lotes de dados à medida que avança."
"Nesse ambiente, para esse tipo de cálculo, você realmente quer maximizar operações de ponto flutuante por segundo por cada dólar que você investir polegadas A segunda mais importante investimento há interconexão, em seguida, memória e IO."
Pequeno grupo, grande memória
Mas, com aplicações de grande de dados, onde o cluster deve analisar uma tonelada de dados que foram gerados em outro lugar e entrava - por exemplo, telemetria de redes de serviços públicos em todo o país, ou pela exploração geofísica - a infra-estrutura exige quase reverter. Memória rápida - e muito - torna-se uma prioridade.
"Você começa com uma grande quantidade de dados e, normalmente, é no disco e quando você faz o cálculo que você tem que descobrir uma maneira eficiente para tirá-lo dos discos e para o sistema de arquivos", diz Seager. "O disco está terrivelmente lento e ficando mais lento ... NVRAM é uma oportunidade para obter acesso aleatório muito rápido a esses dados."
Esta abordagem representa uma "grande partida de arquiteturas de computação baseados em simulação clássicos comuns em laboratórios do Departamento de Energia dos EUA e abre novas oportunidades para explorar o potencial da combinação de ponto flutuante com capacidade de foco de análise de dados em um ambiente", Intel escreveu em um comunicado anunciando o sistema. "Conseqüentemente, os insights fornecidos por Catalyst poderia se tornar uma base para futuras aquisições de tecnologia das commodities."
Junto com o nó ter acesso a 800GB de NVRAM, o sistema vem com duplo trilho Quad Data Rate (QDR-80) de tecido de rede, o que dá a cada CPU do seu próprio serviço dedicado I / O. Anteriormente, uma tomada receberia o link de rede direta eo secundário teria que falar em QPI.
"Por ter um duplo trilho por soquete fortemente acoplados podemos fazer [o material] com esses dispositivos flash sem ter que atravessar a tomada de QPI", disse Seager. "Nós podemos dobrar a taxa de mensagens eficazes."
A combinação desta tecnologia de tecidos com a NVRAM dá Catalisador uma largura de banda cruz-cluster de meio terabyte por segundo, o que equivale a encarnação original do sistema de LLNL gritante 16 petaflop "Sequoia", que era o mundo mais rápido rig HPC em Junho de 2012 .
A diferença é a largura de banda conseguida é para o Catalisador "uma ordem de grandeza menos dispendiosa, porque o sistema de ficheiros para Sequoia baseia-se discos rotativos", disse Seager.
O cluster CS300 completo Cray é capaz de 150 teraflops usando 304 nós de computação, 12 Lustre rota nós (128GB de RAM e 3200 GB NVRAM), dois nós de login (128 GB DRAM), e dois nós de gestão. Cada nó de computação recebe 800GB de NVRAM. A NVRAM vem do Intel SSD 910 Series 800GB meia altura PCIe 2.0, flash multi-level cell.
A chegada de catalisador é a certeza de encantar Jean-Luc Chatelain, vice-presidente executivo da DataDirect Networks, que previu a El Reg há um ano que 2014 veria a chegada de NVRAM como uma grande camada de armazenamento de dados HPC. ®
via Alimentar (Feed) http://go.theregister.com/feed/www.theregister.co.uk/2013/11/04/catalyst_hpc_system/
Nenhum comentário:
Postar um comentário