O que é um Centro de Dados de IA? [Vídeo e Quiz]

Resposta curta: Um data center de IA é um de alta densidade onde energia, refrigeração, infraestrutura e armazenamento são projetados para treinar e fornecer modelos, e não uma sala de servidores com GPUs extras. Os chips são os protagonistas; o prédio é que determina se eles funcionam. Se as imagens não puderem ser transferidas, adapte uma small cell; a maioria das equipes deveria alugar um espaço.

Principais conclusões:

Chips versus infraestrutura: Energia, refrigeração, estrutura e armazenamento determinam se os aceleradores funcionam.

Espaços, não palácios: Adapte dois racks quando os dados não puderem sair; não compre um campus.

Média versus mediana: Em oito execuções, a mediana ocultou as reinicializações; use a média de 18 horas.

Resistência ao uso indevido: Não informe o valor de PUE para dois racks em um salão misto.

Resultados ilustrativos: Oito execuções representam um mapa pequeno, não uma economia de produção de 50%.

Artigos que você pode gostar de ler depois deste:

🔗 A IA é confiável? Vídeo e quiz.
Explore a confiabilidade da IA ​​por meio de um vídeo envolvente e um quiz interativo.

🔗 Como usar a IA no dia a dia
Descubra maneiras práticas pelas quais a IA pode simplificar tarefas e rotinas diárias.

🔗 Como usar IA no trabalho
Aprenda maneiras práticas de usar IA para aumentar a produtividade no ambiente de trabalho.

🔗 A IA consegue pensar por si mesma?
Entenda se a inteligência artificial pode realmente pensar de forma independente ou raciocinar.

Em que difere de um centro de dados "normal"

Os data centers tradicionais são otimizados para cargas de trabalho mistas e tempo de atividade em vários serviços pequenos. Você se preocupa com redundância, claro, e com o PUE como conceito — a energia extra que o prédio consome para fornecer um watt de poder computacional. Normalmente, você não projeta cada corredor em torno de um rack que se comporta como uma usina de aquecimento portátil.

Os sites de IA invertem as proporções. A densidade aumenta. A rede se torna um tecido sem o qual o treinamento não pode prosseguir. O armazenamento precisa manter os pontos de verificação em movimento, ou os aceleradores ficam ociosos, como cavalos de corrida em um engarrafamento.

Existe também uma diferença cultural. As operações corporativas pensam em termos de tickets e janelas de mudança. As operações de IA pensam em filas de tarefas e na sensação ruim que se sente quando um nó falha no final de uma longa execução. Acho que ainda podemos chamar ambos de "data centers", porque são. O rótulo apenas esconde a infraestrutura.

Não se trata de uma classificação moral. Máquinas diferentes, mesmo sobrenome.

GPUs, aceleradores e o rack que consome energia

Ao caminhar por um piso elevado tradicional, as estantes parecem quase discretas. Ao caminhar por uma fileira de estantes com sistema de automação residencial, elas parecem querer engolir o prédio.

O hardware que se destaca não é uma CPU sofisticada. É a bandeja de aceleradores: GPUs ou outros chips de IA, agrupados em servidores, depois em racks e, por fim, em fileiras que compartilham uma malha de alta largura de banda. As interconexões de GPUs interligam os chips em algo que pode simular um acelerador gigante; a malha de clusters faz o mesmo em escala de fileira. O treinamento paralelo só funciona se essas conexões permanecerem robustas e previsíveis. Sem isso, seu "cluster" se torna um amontoado de estações de trabalho caras compartilhando o mesmo CEP.

A potência segue os chips. Não se trata de um PDU de escritório volumoso. Megawatts de carga de TI quando um salão está lotado — não vou inventar um número. A densidade por rack é a reviravolta. Menos racks. Cada um deles, uma pequena fornalha. O fator limitante costuma ser a subestação, não a lista de desejos de GPUs. Você sabe como é: o departamento de compras quer mais aceleradores; a concessionária de energia quer uma longa conversa e um cheque bem gordo.

Uma metáfora um tanto absurda da qual não consigo me livrar: o rack é um animal faminto. Você pode criar um mais rápido. Ainda assim, você precisa alimentá-lo e ainda precisa limpar o aquecedor. Se você negligenciar qualquer um desses aspectos, ele se torna um peso de papel muito caro.

Energia, calor e o problema de refrigeração

Eletricidade entra. Calor sai. Essa é toda a essência da religião.

As estantes de alta densidade dissipam o calor de uma forma que o ar nunca foi realmente projetado para fazer. É possível aumentar a circulação de ar — trocadores de calor na porta traseira, corredores mais quentes, sistemas de contenção inteligentes — e isso funciona até certo ponto. Mas aí entra o líquido:

• Resfriamento direto no chip

• Circuitos de refrigeração que fazem a sala de máquinas parecer uma fábrica de produtos químicos

• Imersão em alguns designs, que ainda surpreendem pessoas que pensam que água e servidores não deveriam compartilhar uma frase

Nada disso é glamoroso. Tudo isso faz parte do produto, porque um acelerador que limita a potência é algo que você já pagou e não pode usar plenamente.

O PUE ainda importa. É uma proporção, não uma característica pessoal. Os operadores o priorizam porque cada watt gasto em ventoinhas e bombas é um watt que não foi para a GPU. Não vou citar um valor "típico"; o clima e a definição dos limites podem alterá-lo, e uma precisão falsa é pior do que nenhuma. A água também entra nessa história. Algumas plantas bebem aos poucos. Outras consomem em excesso. O resfriamento evaporativo é eficiente até que um rio ou uma seca o tornem um problema político.

Redes: por que a estrutura é tão importante quanto os chips

As pessoas fotografam as GPUs. Deveriam fotografar os switches.

O treinamento é uma conversa. Milhares de aceleradores trocando gradientes, parâmetros e fragmentos de um modelo, em perfeita sincronia. Se a rede oscilar, todo o processo fica paralisado no trecho mais lento. É por isso que os centros de IA se preocupam tanto com redes de alta largura de banda, baixa latência e topologias que não se desfazem quando um link falha. Redes do tipo InfiniBand, Ethernet desempenhando a mesma função, interconexões de GPUs dentro do próprio dispositivo, cabeamento que precisa ser perfeito desde o início.

A inferência é um assunto à parte. O processamento de modelos se preocupa com a latência de cauda — a resposta lenta, não a média. A distinção entre processamento em lote e em tempo real define a personalidade de cada um. Um cluster de treinamento precisa de um fluxo de dados amplo, coletivo e abrangente. Já uma frota de servidores de serviço precisa de muitas requisições menores e isolamento, sem congestionamento no balanceador de carga.

O que eu não entendi, enquanto estou aqui: as pessoas tratam a rede elétrica como encanamento e os salgadinhos como o restaurante. Neste prédio, o encanamento é o restaurante. Ignore isso e você compra uma cozinha que não consegue receber entregas.

Treinamento versus inferência: dois edifícios, às vezes literalmente

O treinamento é uma verdadeira campanha. Você monta um cluster, alimenta-o com dados, cria pontos de verificação religiosamente, executa por horas ou semanas e reza para que a infraestrutura permaneça estável. É um processo intenso de processamento em lote, que consome muita largura de banda e exige uma paciência silenciosa — até que um nó com falha comprometa a execução. Um único acelerador inoperante em um trabalho com alta dependência entre os nós pode paralisar todo o processo.

A inferência é como uma vitrine. Modelos já treinados, agora respondendo a perguntas, classificando imagens, gerando texto. A latência importa. Um acelerador um pouco mais antigo perto do cliente pode ser melhor do que um sofisticado a um continente de distância.

Assim, surge uma divisão. Os campi de treinamento priorizam poder, espaço e densidade. Os centros de inferência priorizam latência e presença. Também existem espaços híbridos, porque o capital não é infinito. Bem, nem sempre são dois prédios. Às vezes, um único espaço com uma área restrita e dois circuitos de refrigeração.

É aqui também que a colocation, os campus de hiperescala e a infraestrutura local se bifurcam. Os hiperescaladores constroem em escalas que fazem o resto de nós parecer que estamos apenas organizando móveis. Os provedores de colocation vendem densidade por rack. A infraestrutura local ainda existe quando os dados não podem sair do campus.

Taxa de transferência de armazenamento, pontos de verificação e chips exigentes

Ninguém coloca o sistema de arquivos paralelos na capa do folheto.

Os dados de treinamento precisam chegar rápido o suficiente para que as GPUs não fiquem ociosas. Os checkpoints precisam ser salvos para que uma falha não comprometa uma semana inteira. Os pesos do modelo precisam ser carregados antes que uma réplica de serviço esteja ativa. A taxa de transferência de armazenamento — e não apenas a capacidade — é o gargalo silencioso. Você pode gastar uma fortuna em aceleradores e sobrecarregá-los com um array otimizado para máquinas virtuais.

O padrão é familiar: um cluster brilhante, uma fila de tarefas e uma espera de E/S encarando como uma fatura inconveniente. Agrupar computação sem agrupar o caminho de dados é o que leva a um ociosidade muito cara. Mantenha os chips alimentados ou admita que comprou uma escultura.

Software, orquestração e a pouco glamorosa camada de operações

O hardware é a celebridade. Os programadores fazem o trabalho.

Um data center de IA é inútil se as tarefas não conseguirem encontrar GPUs, se duas equipes não puderem compartilhar um cluster sem brigas, se um rank com defeito não puder ser substituído, se o firmware sofrer derrapagens até que a infraestrutura falhe em câmera lenta. Orquestração, observabilidade, limitação de energia — a camada operacional pouco glamorosa, que é como você sabe que tudo isso importa.

Tenho um carinho especial por essa camada. Além disso, quando uma placa de rede mal configurada simula um problema de resfriamento durante uma tarde inteira... você descobre isso da pior maneira possível.

Quando um nó falha durante a execução

Um nó falha. As janelas de alteração ainda colidem com as execuções de treinamento que ignoram seu calendário. Você agenda grandes tarefas em conjunto, isola os pools de inferência e escreve runbooks para falhas que parecem "a tarefa está lenta" até que pareçam "a tarefa falhou". A redundância ainda importa — energia, refrigeração, caminhos, armazenamento —, mas o modo de falha é menos organizado do que o antigo slide de 90% de disponibilidade. Inferência: réplica, esvazie o nó com problemas, continue respondendo. O treinamento exige checkpoints, não otimismo.

Localização, água, rede elétrica e vizinhos

Você não instala uma dessas perto de uma casa de campo só pela vista.

A conexão à rede elétrica é muitas vezes o verdadeiro processo de seleção do local. O terreno é fácil em comparação com uma subestação e uma concessionária de serviços públicos que atendem outros clientes. A água para refrigeração, se utilizada, torna-se um problema para os vizinhos assim que a chuva começa a aparecer. Ruído. Impacto visual. Calor junto à cerca divisória. Os comitês de planejamento revelam suas opiniões sobre "a nuvem" no momento em que ela precisa de um campo e um rio.

A latência puxa na direção oposta. A inferência se beneficia da proximidade com os usuários e as interconexões. O treinamento pode ser realizado em mercados de energia mais baratos e climas mais amenos. A indústria fala como se existisse um local perfeito. Não existe. Existe um meio-termo, que se resolve com um comunicado à imprensa.

Calor residual e a fornalha indesejada

Os folhetos adoram essa parte. Canalizar o calor residual para casas, piscinas, estufas; é uma frase bonita. Às vezes, o circuito de aquecimento do distrito é genuíno. Às vezes, o campus está no lugar errado e o calor ainda assim se dissipa no ar. Sou cético em relação à versão do folheto; não sou cético em relação à física.

Quem precisa de um (e quem deveria alugar em vez disso)?

A maioria das pessoas não precisa ser dona de um desses salões.

A lista sem rodeios:

• Hiperescaladores, porque o produto é a frota

• Nos laboratórios, quando o tempo de espera na fila é o gargalo ou os dados não conseguem sair, podemos fazer isso

• Um banco, grupo hospitalar, governo ou fabricante com um conjunto de dados secreto — seja em infraestrutura própria ou em um data center privado — pode ser racional, mesmo que seja trabalhoso

Todos os outros deveriam alugar. Colocation com densidade ideal para IA. Uma reserva na nuvem. Um cluster gerenciado. Você obtém os aceleradores sem precisar se tornar um operador de usina elétrica. O encanto se dissipa na primeira vez que alguém pergunta quem está de plantão para o circuito de refrigeração às 3 da manhã.

Admito que existe um certo orgulho envolvido. Ser dono do cluster dá a sensação de possuir os meios de previsão. Aí chega a conta de luz e o orgulho desaparece.

Para que serve o edifício?

Então, o que é um Data Center de IA? É um campus especializado de alta densidade onde aceleradores, energia, refrigeração, infraestrutura e armazenamento são organizados em torno do treinamento e da execução de modelos — não se trata de TI de uso geral com uma GPU em um canto. Parece um armazém. Funciona como uma usina de energia que realiza cálculos matemáticos.

Se você não se lembrar de mais nada: os chips ficam com a fama; a subestação, o fluido refrigerante e a rede decidem se esses chips foram uma boa ideia. Treinamento e inferência podem compartilhar o mesmo teto; ainda assim, exigem maneiras diferentes. A maioria das organizações deveria alugar. Algumas deveriam construir. Os vizinhos notarão de qualquer maneira.

A nuvem sempre teve um prédio. Hoje em dia, o prédio tem opiniões.

Exemplo prático: Uma célula de treinamento com duas grades, onde as imagens não podem sair

Cenário

Tomos é o responsável pela infraestrutura da Kestrel Precision, uma fabricante com 400 funcionários em West Midlands. Eles já possuem um pequeno espaço dedicado a servidores locais: ERP, compartilhamento de arquivos, máquinas virtuais, o ambiente misto com o qual este artigo começou. Refrigeração a ar. Ethernet comum. Uma SAN perfeitamente adequada para discos de escritório.

A equipe de visão computacional precisa treinar um modelo de inspeção em destiladores de fábrica. Os destiladores não podem sair do local. Eles mostram um processo que a empresa não disponibilizará em um servidor na nuvem, nem mesmo em um servidor privado. A solução do departamento de compras consiste em quatro servidores com aceleradores duplos e um slide intitulado "nosso centro de dados de IA". Os servidores serão instalados em dois racks existentes, pois há espaço disponível, e o espaço era o principal fator limitante.

Não é. Em duas semanas, as GPUs parecem estar ocupadas e, de repente, param de funcionar silenciosamente. Os trabalhos ficam extremamente lentos quando um ponto de verificação é atingido no SAN. Um nó falha na décima primeira hora e a execução simplesmente... desaparece. Tomos não deixou de comprar chips. Ele comprou um monte de estações de trabalho caras, todas no mesmo CEP. O prédio ainda era um centro empresarial.

Eles não precisam de um campus, uma nova subestação ou um rio. Precisam de uma pequena célula que se comporte como um centro de dados de IA em miniatura: energia que os racks realmente suportem, dissipação de calor sem danificar os chips, uma rede que comunique o processo de treinamento, armazenamento capaz de gerar um ponto de verificação e um manual de procedimentos para quando um nó falhar. Como as imagens não podem ser transferidas, alugar um data center a quarenta minutos de distância não é a solução. A solução é adaptar dois racks.

Do que a célula precisa

• Um orçamento de energia medido nessa linha, a partir das PDUs, não da lista de desejos de GPUs. Se a capacidade ociosa não for suficiente para alimentar os quatro servidores sob carga de treinamento, a conversa termina aí e eles consideram um data center com maior densidade de servidores, não um milagre

• Nunca foi exigido o resfriamento do ar com essa densidade: trocadores de calor na porta traseira, se o galpão os suportar, ou um pequeno circuito de líquido, se houver espaço. Caso contrário, os servidores não são instalados

• Uma malha dedicada de alta largura de banda entre os quatro nós, e não a rede Ethernet do escritório. Se o fornecedor tiver apenas um switch de 10 Gb no catálogo, isso não é um cluster

• Armazenamento local rápido para pontos de verificação e fragmentos de treinamento, não o SAN da VM

• Um agendador, um intervalo de checkpoint e um caminho de reinicialização escrito. O hardware é a estrela. Esta camada é o trabalho

• Uma caixa de inferência isolada para a linha de produção, separada da comunicação de treinamento, porque o processamento exige latência de cauda e isolamento, não uma comunicação coletiva

• Permissão para registrar o consumo de energia, os clocks da GPU, os eventos de throttling e o tempo real de execução das tarefas. Se não puderem inspecionar esses dados, fotografarão as GPUs e não verificarão os switches

Exemplo de instrução

Tomos descreve isso no relatório de instalações, em linguagem simples:

Não chamem isso de campus de IA. Construam uma célula de treinamento de dois racks no salão existente para quatro servidores com aceleradores duplos. As imagens de fábrica permanecem no local. O sucesso será: os quatro nós completarem uma receita de treinamento e inspeção de 12 épocas sem limitação térmica, gravarem um ponto de verificação em minutos, não em dezenas de minutos, e retomarem a partir desse ponto de verificação quando interrompermos um processo intencionalmente. O resfriamento deve manter as GPUs em suas frequências de treinamento. A rede deve ser uma malha compartilhada por esses quatro servidores, não um caminho através da infraestrutura do escritório. O armazenamento deve alimentar os chips. Se trocadores de calor com portas traseiras não couberem, digam isso e parem. Não informem um PUE para dois racks em um salão misto. Esse número seria apenas para inglês ver.

Em seguida, ele inclui isso no próprio treinamento:

Faça checkpoint a cada 30 minutos no pool rápido local. Se um jogador perder a partida, reinicie a partir do último checkpoint completo. Não espere no SAN. Não continue treinando enquanto os relógios estiverem zerados devido ao calor. Registre a ocorrência e pare para que possamos ver a falha.

Uma boa hora se parece com isto: todas as oito GPUs com clocks de treinamento, arquivo de checkpoint salvo, tarefa ainda em sincronia. Uma hora ruim se parece com isto: ventoinhas a toda velocidade, clocks reduzidos, checkpoint com 2% gravado após dez minutos, e alguém no escritório dizendo "o cluster está funcionando". Funcionando não significa treinando.

Como testar

Eles elaboram o teste antes da adaptação, que é justamente o objetivo de não confiar em uma demonstração.

• A mesma receita de 12 épocas, as mesmas 120.000 amostras de inspeção, oito produções

• O tempo é o tempo real até a conclusão de uma receita, incluindo qualquer reinicialização, medido desde o envio da tarefa até o último ponto de verificação da época 12

• Uma observação sobre o aquecimento: as frequências da GPU permanecem na meta de treinamento durante toda a execução. Um evento de throttling é considerado uma falha, mesmo que a tarefa seja concluída eventualmente

• Uma análise do armazenamento: tempo de gravação do ponto de verificação, mediana e pior tempo, a partir do registro de tarefas

• Uma análise detalhada do processo: o trabalho não fica em espera coletiva enquanto houver gente suficiente. Se eles não conseguem enxergar essa espera, a instrumentação não é feita

• Em duas das oito partidas, um jogador perde a classificação em um ponto específico, propositalmente, para testar o caminho de reinício

• A inferência é um teste separado de 200 imagens, desde a linha de produção até a área de serviço delimitada. O sucesso no treinamento não conta como sucesso no serviço

• Eles registram a potência dos racks proveniente das PDUs em amostras de 15 minutos, para que ninguém precise inventar um megawatt

Aceitação para chamar a célula de "pronta para IA": 8 de 8 receitas concluídas; 0 de 8 mostram limitação térmica; ambas as execuções interrompidas são retomadas; os pontos de verificação permanecem em minutos. Se eles não conseguirem isso, ainda terão uma sala de servidores com placas gráficas sofisticadas.

Resultado

Resultado ilustrativo, de um teste fictício de oito corridas, não um número publicado pela Kestrel.

Pressupostos: quatro servidores de aceleração dupla em dois racks; um modelo de inspeção; 120.000 imagens estáticas; oito execuções de uma receita fixa de 12 épocas; o tempo real inclui reinicializações até a conclusão da receita; limitação significa uma redução registrada no tempo de treinamento; o tempo do ponto de verificação é o tempo de gravação, não o tempo desejado; a potência do rack é medida por amostras de PDU, não por PUE do campus.

Antes da modernização, as GPUs ficavam em racks comuns com refrigeração a ar, conectados à rede Ethernet do escritório e à SAN de máquinas virtuais:

• 5 de 8 testes foram concluídos na primeira tentativa. Tempo médio de execução entre esses cinco testes: 14 horas

• Em 3 de 8 tentativas, foi necessário reiniciar após uma paralisação por volta da 11ª hora (duas após um nó falhar com um ponto de verificação desatualizado, e uma após um ponto de verificação preencher o SAN). Tentativa imediata, sem espera noturna no relógio: 11 horas perdidas, mais uma segunda tentativa de 14 horas, ou seja, 25 horas para concluir a receita nesses três casos

• Tempo médio para finalizar uma receita, considerando todas as oito receitas, incluindo as reinicializações: 18 horas. (Cinco receitas levaram 14 horas e três levaram 25 horas. A mediana das oito receitas continua sendo 14 horas, o que mascararia as reinicializações. Por isso, a média é o parâmetro de comparação aqui.)

• O controle térmico foi registrado em 7 de 8 execuções. Tempo médio com clock reduzido: 3 horas em uma tentativa de 14 horas

• Verificação de gravação: mediana de 22 minutos

• Eliminar inimigos em formação não era um teste que eles conseguiam passar. Eles não tinham um manual de procedimentos. As duas mortes acidentais foram a conclusão

• Pico de carga de TI nos dois racks durante o treino: cerca de 18 kW. A fileira tinha a potência necessária. Não tinha o sistema de refrigeração nem a tela

Após trocadores de calor na parte traseira desses dois racks, uma malha dedicada entre os quatro nós, um pequeno pool NVMe para pontos de verificação, checkpoint de 30 minutos e um manual de reinicialização:

• 8 de 8 concluídos na primeira tentativa. Tempo médio de execução: 9 horas

• Limitação térmica: 0 de 8

• Tempo de gravação do checkpoint: mediana de 90 segundos. Pior tempo da série: 3 minutos

• As duas eliminações deliberadas de jogadores de patente foram retomadas do último ponto de verificação de 30 minutos. Tempo adicional de jogo nessas duas tentativas: cerca de 40 minutos cada, incluindo o diagnóstico, totalizando aproximadamente 9 horas e 40 minutos. Média em oito rodadas de 9 horas

• A carga máxima de TI continua em torno de 18 kW. Os mesmos chips. Comportamento do edifício diferente

Nessa amostra, o tempo médio para finalizar uma receita caiu de 18 horas para 9 horas, ou 9 horas por receita, totalizando 72 horas em oito execuções. A taxa de sucesso na primeira tentativa passou de 5 em 8 para 8 em 8. A taxa de aceleração caiu de 7 em 8 para 0 em 8. Esse último número é o que revela se eles compraram aceleradores ou pesos de papel. Eles não vão chamar essa mudança de tempo de uma economia de 50% na produção. Oito execuções é um conjunto pequeno e fácil de analisar.

Esses números são uma estimativa exemplificativa baseada no teste declarado, em uma pequena amostra, um modelo e um pavilhão misto. Não representam um PUE (Power Usage Effectiveness - Eficiência de Uso de Energia), nem um megawatt para o campus, e não comprovam que a Kestrel deva construir um centro de treinamento em um campo aberto. A análise dos registros ocorreu dentro do período de 9 horas; eles não esconderam isso. O valor de 18 kW é uma leitura arredondada da PDU (Personal Device Unit - Unidade de Distribuição de Energia), não uma fatura de energia elétrica. Eles não converteram as 72 horas em um custo, porque a tarifa de eletricidade da fábrica criaria uma justificativa comercial falsa.

A verificação do saque era separada e menor: 200 imagens de linha para a área cercada, todas no local. Isso é inferência, não treinamento. Misturar os dois teria sido o erro do ginásio híbrido em miniatura.

O que pode dar errado?

• O departamento de compras continua chamando quatro servidores de "centro de dados de IA". O rótulo esconde a infraestrutura, e a próxima compra será de mais GPUs para o mesmo corredor problemático

• Os trocadores de calor da porta traseira são instalados e ninguém coloca o lado da água em funcionamento. Os ventiladores continuam a gritar. Os relógios continuam a baixar de horário

• A malha consiste em um único switch sem caminho alternativo. Uma falha em um link e o "cluster" volta a ser composto por quatro estações de trabalho

• Os pontos de verificação permanecem na SAN porque o pool NVMe estava na "fase dois". A fase dois não chega antes do próximo nó inativo

• Eles citam um PUE para dois racks em um auditório misto. Clima, limites e o restante da fileira ERP tornam essa proporção uma fantasia

• Treinamento e serviço compartilham a mesma essência. Uma inundação no ponto de verificação faz a linha de produção esperar. A latência da cauda é o produto ali, não a densidade

• Um nó falha e alguém o trata como um chamado de disponibilidade em vez de uma reinicialização de ponto de verificação. As equipes de operações corporativas e de IA não se entendem durante uma tarde inteira

• Eles poderiam ter alugado uma gaiola, mas as imagens não podem sair. Esquecer essa restrição os leva a uma conversa na nuvem da qual terão que se desvencilhar

Resumo prático

O que é um Data Center de IA, neste formato, não é um armazém nem uma fatura de GPU. É a célula que permite que os aceleradores concluam a execução: energia que eles podem armazenar, calor que dissipa, uma infraestrutura, um ponto de controle e alguém responsável quando um componente falha. A Kestrel não precisava de um campus. Precisava de dois racks para parar de fingir. A maioria das equipes deveria alugar esse tipo de infraestrutura. Algumas poucas, com um conjunto de dados secreto e um ambiente que suporte o calor, deveriam construir uma célula e recusar o slide.

Perguntas frequentes

O que é um Centro de Dados de IA?

Um centro de computação de alta densidade onde energia, refrigeração, rede e armazenamento são otimizados para treinamento paralelo e disponibilização de modelos, e não para fileiras organizadas de servidores de uso geral. Ele é projetado para que um grande número de aceleradores possa treinar e disponibilizar modelos sem sobrecarga, travamentos na rede ou espera por disco. Um galpão empresarial comum é um ambiente diversificado. Um centro de IA é uma monocultura cuja unidade de valor é o acelerador, como GPUs ou chips do tipo TPU. Ele se parece com um armazém e funciona como uma usina de energia que realiza cálculos matemáticos.

Qual a diferença entre um centro de dados com IA e um centro de dados normal?

Os data centers tradicionais são otimizados para cargas de trabalho mistas e tempo de atividade em vários serviços pequenos. Os sites de IA invertem essa lógica: a densidade aumenta, a rede se torna uma estrutura essencial para o treinamento e o armazenamento precisa manter os checkpoints em movimento, caso contrário, os aceleradores ficam ociosos. As operações corporativas pensam em tickets e janelas de mudança. As operações de IA pensam em filas de tarefas e na sensação ruim quando um nó falha no final de uma longa execução. Ambos ainda poderiam ser chamados de data centers. O nome apenas esconde a infraestrutura.

Por que os centros de dados de IA consomem tanta energia?

O hardware de destaque não é uma CPU sofisticada. É a bandeja de aceleradores: GPUs ou outros chips de IA, agrupados em servidores, depois em racks e, por fim, em fileiras que compartilham uma malha de alta largura de banda. A densidade por rack é a grande sacada: menos racks, cada um deles um pequeno forno. Megawatts de carga de TI surgem quando um salão se preenche, embora inventar um valor típico não valha a pena. O fator limitante costuma ser a subestação, e não a lista de desejos de GPUs.

Como os centros de dados de IA são resfriados?

Racks de alta densidade dissipam calor de uma forma que o ar nunca foi realmente projetado para lidar. É possível aumentar a pressão do ar com trocadores de calor na porta traseira, corredores mais quentes e sistemas de contenção inteligentes. Em seguida, entra em cena o resfriamento líquido: resfriamento direto do chip, circuitos de refrigeração e imersão em alguns projetos. Um acelerador que limita seu desempenho é um que você já pagou e não pode usar plenamente. O PUE (Power Usage Effectiveness - Eficiência por Unidade de Desempenho) ainda importa, porque cada watt gasto em ventoinhas e bombas é um watt que não foi para a GPU. A água também entra nessa história: algumas plantas bebem aos poucos, outras absorvem em grandes quantidades.

Por que o funcionamento em rede é tão importante quanto as GPUs?

O treinamento é uma conversa: milhares de aceleradores trocando gradientes, parâmetros e fragmentos de um modelo em perfeita sincronia. Se a infraestrutura oscilar, todo o processo fica paralisado no nó mais lento. É por isso que os centros de IA se preocupam tanto com redes de alta largura de banda, baixa latência, infraestruturas semelhantes ao InfiniBand ou Ethernet na mesma função, e topologias que não se desfazem quando um link falha. A inferência se preocupa com a latência de cauda, ​​muitas requisições menores e isolamento. Neste contexto, a infraestrutura é o restaurante.

Para que serve um Centro de Dados de IA: para treinamento ou para inferência?

O treinamento é uma campanha: montar um cluster, alimentá-lo com dados, realizar verificações rigorosas e executá-lo por horas ou semanas. A inferência é uma vitrine: modelos já treinados, agora respondendo, com latência que importa. Os campi de treinamento priorizam potência, espaço e densidade. Os sites de inferência priorizam latência e presença. Os ambientes híbridos existem porque o capital não é infinito, às vezes um único ambiente com dois circuitos de refrigeração. Um acelerador um pouco mais antigo perto do cliente pode superar um sofisticado a um continente de distância.

Por que o armazenamento é importante em um data center de IA?

Os dados de treinamento precisam chegar rápido o suficiente para que as GPUs não fiquem ociosas. Os checkpoints precisam ser salvos para que uma falha não comprometa uma semana inteira. Os pesos do modelo precisam ser carregados antes que uma réplica de serviço esteja ativa. A taxa de transferência de armazenamento, e não apenas a capacidade, é o gargalo silencioso. Você pode gastar uma fortuna em aceleradores e sobrecarregá-los com um array otimizado para máquinas virtuais.

O que acontece quando um nó falha durante a execução?

Um acelerador inoperante em um processo de treinamento altamente acoplado pode paralisar todo o conjunto de tarefas. O treinamento exige pontos de verificação, não otimismo. A inferência utiliza o nó com problemas, mantém uma réplica respondendo e permanece ativa. Janelas de alteração ainda entram em conflito com execuções de treinamento que não se importam com o seu calendário. A redundância ainda é importante para energia, refrigeração, caminhos e armazenamento, mas o modo de falha é menos organizado do que o antigo slide de disponibilidade de 90%.

Qual o impacto de um centro de dados com IA na rede elétrica, no abastecimento de água e nos vizinhos?

A conexão à rede elétrica é muitas vezes o verdadeiro desafio no processo de seleção do local. O terreno é mais fácil de encontrar do que uma subestação e uma concessionária de energia que atende outros clientes. A água para refrigeração, se utilizada, torna-se um problema para os vizinhos assim que a chuva aumenta, além do ruído, do impacto visual e do calor junto à cerca divisória. A infraestrutura pode ser melhor aproveitada em mercados de energia mais baratos e climas mais amenos. A infraestrutura se beneficia da proximidade com outros usuários. Não existe um local perfeito. Existe um meio-termo, que pode ser alcançado com um comunicado à imprensa.

Preciso ter um centro de dados de IA próprio ou devo alugar?

A maioria das pessoas não precisa ser dona de um desses data centers. Os hiperescaladores constroem porque o produto é a frota. Os laboratórios constroem quando o tempo de espera na fila é o gargalo ou quando os dados não podem ser transferidos. Um banco, hospital, governo ou fabricante com um conjunto de dados confidenciais pode justificar a instalação em infraestrutura própria ou em um data center privado. Todos os outros devem alugar: um data center preparado para IA, uma reserva na nuvem ou um cluster gerenciado. Você obtém os aceleradores sem se tornar um operador de usina elétrica.

Referências

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. A Rede Verde - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Instituto de Tempo de Atividade - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Encontre as últimas novidades em IA na Loja Oficial de Assistentes de IA

Sobre nós