Parte do trabalho de Chris Painter é ajudar a descobrir o que acontece quando a IA se descontrola e, em seguida, publicar os resultados em relatórios públicos.
Ele e o METR, o grupo de pesquisa em IA sem fins lucrativos que ele ajuda a liderar, têm estado bastante ocupados ultimamente: ajudaram a OpenAI a desvendar o ataque hacker à Hugging Face este ano, e Painter testemunhou recentemente perante uma subcomissão do Senado após uma série de outros incidentes envolvendo IA desonesta.
Os pesquisadores do METR examinam minuciosamente os rascunhos dos agentes de IA – os dados da “cadeia de pensamento” que podem ajudar os humanos a entender os passos que os bots seguiram antes de responder a uma solicitação. Essa informação foi fundamental na investigação do METR sobre o incidente da Hugging Face.
Mas Painter teme que esse trabalho possa ficar muito mais difícil em breve.
A capacidade dos humanos de monitorar agentes de IA depende da capacidade de se comunicar da mesma forma que os bots, em uma linguagem compartilhada.
O que acontece se pararmos de falar a mesma língua? Ou, e se os agentes de IA parassem completamente de mostrar seu trabalho?
“Se eles se tornarem menos monitoráveis, terão mais oportunidades de fazer coisas que não pretendemos”, disse Painter à CNN Internacional no mês passado.
Entender como os modelos de IA pensam
Muitos modelos de IA — e os agentes de IA que eles alimentam — usam um método conhecido como “raciocínio em cadeia”, que descreve seu processo para concluir uma tarefa. O raciocínio em cadeia decompõe os processos em uma sequência lógica de etapas, o que pode ajudar os modelos de IA a chegar a respostas mais precisas.
Para os pesquisadores, os dados de raciocínio podem fornecer pistas sobre o que deu errado.
Se um agente de IA se descontrolar e invadir outros sistemas, os pesquisadores podem verificar se os dados de raciocínio incluem menções a ações fraudulentas, como invasões. O METR examinou aproximadamente 1.300 transcrições brutas de raciocínio durante sua investigação sobre o incidente do Hugging Face da OpenAI.
O pintor expressou preocupação de que o rastro documental possa um dia se tornar ininteligível se os modelos de IA começarem a usar sua própria linguagem para rastrear seus passos.
“Se isso acontecesse, quando um investigador entrasse, olharia em volta e veria apenas números por toda parte”, disse ele.
Segundo Mark Riedl, professor de inteligência artificial e diretor do laboratório de aprendizado de máquina do Instituto de Tecnologia da Geórgia, os modelos de IA podem usar referências abreviadas, semelhantes às que um humano usa ao transcrever anotações, para que o modelo as entenda e possa trabalhar mais rapidamente.
Mas, assim como acontece com a maioria das pessoas ao olhar para taquigrafia, provavelmente pareceria um amontoado de palavras sem sentido.
Existem algumas teorias sobre como funciona o processo de raciocínio lógico, mas os pesquisadores não têm certeza de quais estão corretas, afirma Jacob Andreas, professor associado do Laboratório de Ciência da Computação e Inteligência Artificial do MIT.
Um modelo de IA também pode decidir que a melhor maneira de atender aos critérios para os quais foi treinado, como usar menos energia ou realizar menos etapas, envolve produzir um raciocínio lógico que não se parece com inglês legível.
Essa é apenas uma preocupação — outra é que os modelos estão ficando melhores em executar tarefas sem nem mesmo registrar seu raciocínio. Riedl disse que os modelos mais recentes podem chegar às mesmas conclusões sem produzir um registro rastreável de seu raciocínio.
Embora as empresas possam treinar seus modelos para produzir uma linha de raciocínio, fazer isso é mais caro e mais lento do que ter o modelo processando as tarefas internamente.
De acordo com documentação do início de setembro, a OpenAI descobriu que seus sistemas de monitoramento teriam menos probabilidade de detectar quando seu novo modelo Astra se comportasse de maneira indesejável por meio do raciocínio em cadeia, em comparação com modelos mais antigos.
A empresa também descobriu que o Astra poderia realizar mais tarefas sem usar o raciocínio em cadeia e que era mais capaz de controlar seu próprio raciocínio.
A desenvolvedora escreveu que perderia a confiança na capacidade de seus sistemas atuais de detectar comportamentos desalinhados – ou seja, quando os modelos tomam medidas não autorizadas que não estão de acordo com os valores humanos – se essa tendência continuar.
Jakub Pachocki, cientista-chefe da OpenAI, escreveu em uma postagem de blog em setembro que a IA estava melhorando na “manipulação de seu próprio processo de raciocínio” e que os modelos estão se tornando “mais inteligentes mesmo sem usar raciocínio verbalizado”.
Em comunicado divulgado na semana passada, a OpenAI afirmou estar investindo “recursos significativos” na capacidade de monitorar modelos de IA. Essa declaração veio após a demissão de três pesquisadores de segurança e alinhamento, embora a OpenAI tenha afirmado que as demissões não estavam relacionadas a preocupações de segurança expressas pelos funcionários.
Em sua documentação relacionada ao Astra, a OpenAI afirmou que está investigando por que o modelo é mais capaz de controlar sua linha de raciocínio, além de métodos para se proteger contra possíveis desalinhamentos que poderiam ser causados pela falta dessa linha de raciocínio.
Ao ser questionada sobre por que o Astra é menos monitorável e se a empresa planeja tornar os modelos futuros mais monitoráveis, a OpenAI direcionou a CNN Internacional para sua documentação sobre o Astra e para a publicação de Pachocki.
Tentando entender a IA por trás dos panos
Outro desafio é que essa linha de raciocínio não oferece uma visão completa dos motivos pelos quais os modelos de IA tomam determinadas decisões.
Tarefas complexas podem exigir que vários agentes gerem registros com milhares de palavras, descrevendo seus passos, o que pode ser comparado a tentar monitorar mil pessoas falando em voz alta, disse Riedl. Embora a IA possa ajudar a resumir esses textos, há indícios de que ela omite detalhes importantes, acrescentou.
Os dados de cadeia de raciocínio mostram o que um modelo de IA fez antes de chegar a uma resposta ou tomar uma ação, mas não revelam o porquê. Os humanos podem controlar os dados e os parâmetros com os quais os modelos de IA são treinados, mas não entendem como esses fatores podem influenciar o comportamento dos modelos.
É possível procurar padrões na rede neural de um modelo de IA – um modelo computacional frequentemente usado em IA que visa simular o cérebro humano – mas é difícil atribuir um significado preciso a esses padrões, disse Andreas.
Em julho, a Anthropic publicou um artigo de pesquisa indicando que havia encontrado pequenos conjuntos de padrões neurais em Claude associados a certas palavras.
No entanto, isso não significa que Claude esteja dizendo essa palavra.
“Acho que ainda estamos muito longe de poder afirmar que temos qualquer tipo de compreensão detalhada de como o modelo realmente chega a uma solução”, disse Andreas, do MIT.
O rápido avanço da IA torna essa questão ainda mais urgente para Painter. Com a IA sendo cada vez mais utilizada em pesquisas na área, ele teme que as informações possam surgir mais rapidamente do que as pessoas conseguem processá-las.
Mas ele também acredita que a saga da Hugging Face trouxe à tona preocupações sobre inteligência artificial descontrolada, que têm sido proeminentes entre os pesquisadores de IA há anos.
“Acho que isso tem sido animador”, disse ele. “Realmente parece que as pessoas, quando falavam sobre isso há muito tempo, subestimaram a quantidade de ajuda que viria do mundo todo quando o mundo inteiro estiver prestando atenção”.
