Quando a OpenAI revelou pela primeira vez o GPT-4, seu principal modelo de IA de geração de texto, a empresa elogiou a multimodalidade do modelo – em outras palavras, sua capacidade de compreender o contexto de imagens e também de texto. O GPT-4 poderia legendar – e até interpretar – imagens relativamente complexas, disse a OpenAI, por exemplo, identificando um adaptador de cabo Lightning a partir da imagem de um iPhone conectado.
Mas desde o anúncio do GPT-4 no final de março, a OpenAI reteve os recursos de imagem do modelo, supostamente sobre medos sobre abuso e questões de privacidade. Até recentemente, a natureza exacta desses medos permanecia um mistério. Mas no início desta semana, a OpenAI publicou um relatório técnico papel detalhando seu trabalho para mitigar os aspectos mais problemáticos das ferramentas de análise de imagens do GPT-4.
Até o momento, o GPT-4 com visão, abreviado internamente como “GPT-4V” pela OpenAI, só tem sido usado regularmente por alguns milhares de usuários do Be My Eyes, um aplicativo para ajudar pessoas cegas e com baixa visão a navegar nos ambientes ao seu redor. Nos últimos meses, no entanto, a OpenAI também começou a se envolver com “red teamers” para investigar o modelo em busca de sinais de comportamento não intencional, de acordo com o jornal.
No artigo, a OpenAI afirma que implementou salvaguardas para evitar que o GPT-4V seja usado de forma maliciosa, como quebrar CAPTCHAs (a ferramenta anti-spam encontrada em muitos formulários da web), identificar uma pessoa ou estimar sua idade ou raça e tirar conclusões com base em informações que não estão presentes em uma foto. A OpenAI também afirma que tem trabalhado para conter os preconceitos mais prejudiciais do GPT-4V, especialmente aqueles relacionados à aparência física e ao gênero ou etnia de uma pessoa.
Mas, como acontece com todos os modelos de IA, há um limite para o que as salvaguardas podem fazer.
O artigo revela que o GPT-4V às vezes tem dificuldade para fazer as inferências corretas, por exemplo, combinando erroneamente duas sequências de texto em uma imagem para criar um termo inventado. Assim como o GPT-4 básico, o GPT-4V é propenso a alucinar ou inventar fatos em tom autoritário. E não se trata de perder texto ou caracteres, negligenciar símbolos matemáticos e deixar de reconhecer objetos e talheres bastante óbvios.
Créditos da imagem: OpenAI
Não é surpreendente, então, que em termos claros e inequívocos, a OpenAI diga que o GPT-4V não deve ser usado para detectar substâncias ou produtos químicos perigosos em imagens. (Este repórter nem tinha pensado no caso de uso, mas, aparentemente, a perspectiva é preocupante o suficiente para a OpenAI que a empresa sentiu a necessidade de denunciá-la.) Os Red Teamers descobriram que, embora o modelo ocasionalmente identifique corretamente alimentos venenosos como tóxicos cogumelos, isso identifica erroneamente substâncias como fentanil, carfentanil e cocaína a partir de imagens de suas estruturas químicas.
Quando aplicado ao domínio de imagens médicas, o GPT-4V não se sai melhor, às vezes dando respostas erradas para a mesma pergunta que respondeu corretamente em um contexto anterior. Ele também desconhece práticas padrão, como visualizar exames de imagem como se o paciente estivesse de frente para você (ou seja, o lado direito da imagem corresponde ao lado esquerdo do paciente), o que o leva a diagnosticar incorretamente uma série de condições.
Créditos da imagem: OpenAI
Em outros lugares, adverte a OpenAI, o GPT-4V não entende as nuances de certos símbolos de ódio – por exemplo, perdendo o significado moderno da Cruz dos Templários (supremacia branca) nos EUA. Mais bizarramente, e talvez um sintoma de suas tendências alucinatórias, o GPT- Observou-se que 4V fazia canções ou poemas elogiando certas figuras ou grupos de ódio quando recebia uma foto deles, mesmo quando as figuras ou grupos não eram explicitamente nomeados.
O GPT-4V também discrimina certos sexos e tipos de corpo – embora apenas quando as salvaguardas de produção da OpenAI estão desativadas. OpenAI escreve que, em um teste, quando solicitado a dar conselhos a uma mulher retratada em traje de banho, o GPT-4V deu respostas relacionadas quase inteiramente ao peso corporal da mulher e ao conceito de positividade corporal. Supõe-se que não seria esse o caso se a imagem fosse de um homem.
Créditos da imagem: OpenAI
A julgar pela linguagem ressalva do artigo, o GPT-4V continua sendo um trabalho em andamento – alguns passos abaixo do que a OpenAI poderia ter imaginado originalmente. Em muitos casos, a empresa foi forçada a implementar salvaguardas excessivamente rigorosas para evitar que o modelo vomitasse toxicidade ou desinformação, ou comprometesse a privacidade de uma pessoa.
A OpenAI afirma que está construindo “mitigações” e “processos” para expandir as capacidades do modelo de forma “segura”, como permitir que o GPT-4V descreva rostos e pessoas sem identificá-las pelo nome. Mas o artigo revela que o GPT-4V não é uma panacéia e que a OpenAI tem um trabalho difícil para isso.
