Computação@UFCG lidera contribuições do Brasil ao framework HELM-Stanford em parceria com a IBM

Colaboração entre Ciência da Computação da UFCG e a IBM faz da universidade a maior contribuinte brasileira para o framework de avaliação HELM-Stanford em 2025.

O HELM-Stanford é um dos principais frameworks globais para avaliar modelos de linguagem, medindo precisão, robustez e responsabilidade. Ser a maior contribuinte brasileira — por meio da parceria entre Computação@UFCG e a IBM — destaca o protagonismo nacional na construção de métricas mais justas, seguras e representativas para LLMs, especialmente em contextos multilíngues e culturais diversos.

A parceria entre Computação@UFCG e a IBM resultou em 15 contribuições significativas ao HELM-Stanford em 2025. Essas contribuições incluem a adição de benchmarks voltados à língua portuguesa, correções de bugs, melhorias no código-fonte e a inclusão de novos conjuntos de avaliação, ampliando a diversidade linguística e a robustez do framework.

O projeto coordenado pelo professor João Brunet, com participação dos professores Fábio Morais e Leandro Balby, conta com uma equipe multidisciplinar dedicada à avaliação de LLMs. Participam também um professor do IFPB, três alunos de pós-graduação, três de graduação e um profissional com experiência em desenvolvimento de software. A IBM, parceira no projeto, também destaca profissionais para atuarem diretamente na colaboração. Juntos, o grupo tem contribuído de forma expressiva para o avanço do HELM-Stanford, com foco na inclusão da língua portuguesa e na melhoria contínua do framework.