Ganho de desempenho com grandes análises de dados, superando software da idade da pedra

O caminho para a utilização do servidor mais eficaz nos centros de dados se baseia em software.

 

 

9-18_Stonehenge_ (sol). Jpg

Big data – e todos os dados – continuar a levantar a aposta para um processamento mais rápido. A forma como a indústria tem tradicionalmente abordado este é por surgir com chips mais rápidos para as outras funções de processamento de CPU e hardware. Do ponto de vista do centro de dados, os gestores querem ver toda a capacidade utilizada, e em ambientes de dados grandes, não é raro ver mais de utilização do servidor de 90 por cento. Mas em ambientes de processamento de transações, a utilização do servidor pode cair para tão baixo quanto 20-30 por cento, o que não é uma otimização eficaz de hardware. 

Além da Idade da Pedra

“Nós espancado hardware incansavelmente para melhorar o desempenho e também a eficiência energética nos centros de dados”, disse Mike Hoskins, Chief Technology Officer No Actian , fornecedora de grandes soluções de análise de dados, “Houve muito investimento, mas os resultados têm sido pobres “.

Hoskins acredita que o caminho para a utilização do servidor mais eficaz nos centros de dados se baseia em software, e ele usa o exemplo de dois processadores, 16 servidor núcleo para ilustrar seu ponto de vista.

“Pode-se argumentar que o software está em uma espécie de” idade da pedra “, na medida em que não apenas manteve o ritmo com inovações de hardware”, disse Hoskins. “No caso de dois processer, servidor 16-core, software single-threaded, o que a maioria dos softwares é hoje, só mantém 1-2 núcleos ocupados e os outros 14 núcleos não são utilizados. Nós experimentamos um pouco de avanço que a tecnologia de virtualização entrou em cena, pois em um ambiente como o VMware, você poderia ter oito núcleos de processamento e espalhá-los ao longo de quatro máquinas virtuais que utilizavam dois núcleos de cada um “. Isso compensou a limitação de software single-threaded, pois o software poderia ser distribuídos por quatro diferentes motores de servidor com as divisões principais oferecidas pela virtualização.

Infelizmente, quando estamos a falar de grandes volumes de dados e análises, “passe de mágica” técnicas de virtualização que podem melhorar o desempenho do software simplesmente não funcionam. A razão é que grandes volumes de dados com o seu processamento massivamente paralelo, não é adequado para a virtualização.Consequentemente, os sites são potencialmente deixado com o desafio de trituração através de enormes quantidades de dados em um pequeno espaço de tempo – e, possivelmente, esbarrando em limites no software que está usando. Ao mesmo tempo, os seus orçamentos de obrigá-los a investir no processamento ainda mais poderoso que vai além do que eles têm disponível para trabalhar com – várias encarnações da tecnologia de servidor baseado em x86.

Hoskins acredita que os sites podem superar os limites de utilização do núcleo single-threaded de mais software se eles podem de alguma forma atacar núcleos de processamento em conjunto em um motor de fluxo harmonioso memória somente os dados que podem paralelo processar os dados de entrada e também abordar as várias etapas do processamento de dados grande que tem que ser feito, como a limpeza de dados, agregando, a ingestão e, finalmente, analytics.

Tiers de dados

A idéia é mover camadas de dados na memória mais perto da CPU para melhorar o desempenho global. Aqui está como ele funciona.

 

p-18_1280px-CRAY_X-MP_IMG_9135.jpg

Existem três níveis de armazenamento de dados em memória no cache: L1, L2 e L3. Qualquer um deles dá resultados do processamento mais rápido do que ter que ir para a memória externa. O L1 camada é o primeiro nível que está marcada para os dados na memória, mas é pequeno em tamanho, tem blocos menores de dados, e também menos blocos de dados. Como o acesso se move para as camadas deste armazenamento na memória L2 e L3, os blocos de dados são maiores e há mais blocos de dados. O nível L3 em particular, tem o tamanho do bloco (e número de blocos) para lidar com grandes volumes de dados que estão sendo processados ​​em paralelo. Também não há necessidade de ir para a memória externa, se os dados são residentes em cache de dados L3. 

“Nesse ambiente, um mecanismo de processamento pode saber onde os dados estão em execução e, em seguida, enviar os dados que serão necessários para o cache L3”, disse Hoskins. “Esta é uma maneira que nós podemos dar a volta às limitações do software e obter o máximo proveito do hardware.”

A tecnologia é promissora e interessante para sites que querem ficar com os servidores x86 de commodities (PDF) para seu processamento de dados grande. Como casos de uso começam a aparecer, é também provável para adicionar combustível aos atuais debates arquitetônicos quanto à possibilidade x86, baseada em Unix ou outras plataformas híbridas são mais adequados para a empresa HPC (computação de alto desempenho).

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: