Provedores de computação em nuvem estão muito conscientes de que seus clientes estão lutando por capacidade. O aumento da demanda “pegou um pouco a indústria desprevenida”, diz Chetan Kapoor, diretor de gerenciamento de produtos da AWS.
O tempo necessário para adquirir e instalar novas GPUs em seus data centers deixou os gigantes da nuvem para trás, e os arranjos específicos com maior demanda também aumentam o estresse. Embora a maioria das aplicações possa operar a partir de processadores distribuídos livremente pelo mundo, o treinamento de programas de IA generativos tende a ter melhor desempenho quando as GPUs estão fisicamente agrupadas, às vezes 10.000 chips por vez. Isso vincula a disponibilidade como nunca antes.
Kapoor diz que o cliente típico de IA generativa da AWS está acessando centenas de GPUs. “Se houver uma solicitação de um cliente específico que precise de 1.000 GPUs amanhã, levará algum tempo para inseri-las”, diz Kapoor. “Mas se eles forem flexíveis, podemos resolver isso.”
A AWS sugeriu que os clientes adotassem serviços mais caros e personalizados por meio de sua oferta Bedrock, onde as necessidades de chips são incorporadas à oferta sem que os clientes tenham que se preocupar. Ou os clientes poderiam experimentar os chips de IA exclusivos da AWS, Trainium e Inferentia, que registraram um aumento não especificado na adoção, diz Kapoor. Adaptar programas para operar nesses chips em vez de opções da Nvidia tem sido tradicionalmente uma tarefa árdua, embora Kapoor diga que mudar para o Trainium agora exige apenas alterar duas linhas de código de software em alguns casos.
Os desafios também abundam em outros lugares. O Google Cloud não conseguiu acompanhar a demanda por seu equivalente de GPU desenvolvido internamente, conhecido como TPU, de acordo com um funcionário não autorizado a falar com a mídia. Um porta-voz não respondeu a um pedido de comentário. A unidade de nuvem Azure da Microsoft oferece reembolsos para clientes que não usam GPUs reservadas, a informação relatado em abril. A Microsoft não quis comentar.
As empresas de nuvem prefeririam que os clientes reservassem capacidade de meses a anos para que esses provedores pudessem planejar melhor suas próprias compras e instalações de GPU. Mas as startups, que geralmente têm caixa mínimo e necessidades intermitentes à medida que classificam seus produtos, têm relutado em se comprometer, preferindo planos de compra conforme o uso. Isso levou a um aumento nos negócios de provedores de nuvem alternativos, como Lambda Labs e CoreWeaveGenericName, que arrecadaram quase US$ 500 milhões de investidores este ano entre eles. Astria, startup geradora de imagens, está entre seus clientes.
A AWS não está exatamente feliz em perder para novos participantes no mercado, por isso está considerando opções adicionais. “Estamos pensando em soluções diferentes no curto e no longo prazo para oferecer a experiência que nossos clientes procuram”, diz Kapoor, sem entrar em detalhes.
A escassez nos fornecedores de nuvem está se espalhando para seus clientes, que incluem alguns grandes nomes da tecnologia. A plataforma de mídia social Pinterest está expandindo o uso de IA para melhor atender usuários e anunciantes, de acordo com o diretor de tecnologia Jeremy King. A empresa está considerando usar os novos chips da Amazon. “Precisamos de mais GPUs, como todo mundo”, diz King. “A escassez de chips é uma coisa real.”
