O Xbox está usando IA para moderar o conteúdo, resultando em um grande aumento de jogadores punidos por postar material ofensivo.
O Xbox continua reprimindo jogadores tóxicos e abusivos em seus sistemas , revelando que viu um grande aumento nas contas repreendidas por postar conteúdo “vulgar”. Desde que melhorou seu sistema de moderação, a empresa diz que houve um aumento de 450% nas “aplicações” sobre esse conteúdo, presumivelmente variando de derrubar a postagem até suspender os jogadores completamente.
Isso também ocorre quando o Xbox expande a definição do que classifica como conteúdo vulgar, agora incluindo “gestos ofensivos, conteúdo sexualizado e humor grosseiro”. O Xbox defende essas táticas de moderação aumentadas, dizendo que tal conteúdo estava “prejudicando a experiência de jogo principal” para outros usuários, e que a maioria dos jogadores que postaram esse material receberam apenas um aviso, não foram banidos de suas contas por completo.
| RELACIONADO:
Phil Spencer emite declaração, enquanto o Xbox revela o mais recente relatório de segurança
Esta informação vem do último relatório de transparência do Xbox em suas práticas de moderação. Aqui, a empresa discute como está tentando assumir um papel mais “proativo” na aplicação de seus termos e condições, usando IA para identificar material e linguagem proibidos em seus serviços.
“À medida que as necessidades dos jogadores continuam a evoluir, nossas ferramentas também”, diz o relatório. “A segurança de nossos jogadores é uma prioridade – e para promover experiências online seguras, continuaremos investindo em inovação, trabalhando em estreita colaboração com parceiros e reguladores do setor e coletando feedback da comunidade”.
80% dos relatórios de conteúdo foram tratados por meio de “moderação proativa”, o que significa que poderiam ter sido decididos por uma IA ou por um humano. O Xbox não discute as possibilidades de relatórios falsos, apesar de muito desse trabalho possivelmente ser conduzido por uma IA. No entanto, se uma IA sinalizar o conteúdo como vulgar, o próximo passo seria um humano olhar para ele de qualquer maneira, apenas para garantir que não foi um erro. Só não está claro quanto tempo o jogador teria que esperar para que isso fosse decidido.
Embora não tenhamos informações sobre o quão confiável ele provou, é claro que o Xbox está satisfeito com os resultados. Um dos sistemas automatizados que ele usa, o Community Sift, passou por “20 bilhões de interações humanas” no ano passado, então muitos relatórios teriam passado por esse programa.
Não é surpreendente ver o Xbox reprimir o conteúdo impróprio em suas plataformas, dada a crescente pressão sobre a indústria para erradicar o racismo, o discurso de ódio e o extremismo da comunidade de jogadores. No fim de semana, uma nova pesquisa sugeriu que 50% dos jogadores são expostos ao extremismo enquanto jogam online. Linguagem e iconografia racistas também foram encontradas escapando dos filtros em vários jogos, variando de Call of Duty a Roblox . Em suma, a indústria foi chamada a fazer mais para impedir que os extremistas usassem os jogos como ferramenta de recrutamento.
