Irregular levanta US $ 80 milhões para proteger os modelos de IA da fronteira

Na quarta -feira, a empresa de segurança da AI Irregular anunciou US $ 80 milhões em novo financiamento, em uma rodada liderada pela Sequoia Capital e Redpoint Ventures, com a participação do CEO da WIZ ASSAF Rappaport. Uma fonte próxima ao acordo disse que a rodada valorizou o valor irregular em US $ 450 milhões.

“Nossa visão é que, em breve, muita atividade econômica virá da interação humano-on-AI e da interação AI-On-AI”, disse o co-fundador Dan Lahav ao TechCrunch, “e isso vai quebrar a pilha de segurança em vários pontos”.

Anteriormente conhecido como Pattern Labs, o irregular já é um participante significativo nas avaliações de IA. O trabalho da empresa é citado em avaliações de segurança para Claude 3,7 sonetos assim como Modelos O3 e O4-Mini do Openai. De maneira mais geral, a estrutura da empresa para pontuar a capacidade de detecção de vulnerabilidade de um modelo (Dubbed Solve) é amplamente utilizado dentro da indústria.

Embora irregular tenha feito um trabalho significativo nos riscos existentes dos modelos, a empresa está arrecadando fundos com o objetivo de algo ainda mais ambicioso: identificar riscos e comportamentos emergentes antes de surgirem na natureza. A empresa construiu um sistema elaborado de ambientes simulados, permitindo testes intensivos de um modelo antes de ser lançado.

“Temos simulações de rede complexas em que temos a IA assumindo o papel de atacante e defensor”, diz o co-fundador Omer Nevo. “Então, quando um novo modelo sai, podemos ver onde as defesas se sustentam e onde não o fazem.”

A segurança se tornou um ponto de foco intenso para a indústria de IA, à medida que os riscos potenciais representados pelos modelos de fronteira à medida que mais riscos surgiram. A OpenAI revisou suas medidas de segurança interna neste verão, com o objetivo de potencial espionagem corporativa.

Ao mesmo tempo, os modelos de IA são cada vez mais hábeis em encontrar vulnerabilidades de software – um poder com sérias implicações para atacantes e defensores.

Para os fundadores irregulares, é o primeiro de muitas dores de cabeça de segurança causadas pelas crescentes capacidades de grandes modelos de idiomas.

“Se o objetivo do laboratório de fronteira é criar modelos cada vez mais sofisticados e capazes, nosso objetivo é proteger esses modelos”, diz Lahav. “Mas é um alvo comovente, então, inerentemente, há muito, muito, muito mais trabalho a fazer no futuro.”