Discord admite que error en su sistema de moderación con inteligencia artificial prohibió injustamente a más de 8.000 usuarios
Tecnología

Discord admite que error en su sistema de moderación con inteligencia artificial prohibió injustamente a más de 8.000 usuarios

Discord reconoció que un fallo en su sistema de moderación basado en inteligencia artificial prohibió erróneamente a más de 8.000 usuarios durante los últimos dos meses, después de que imágenes inofensivas como hojas de cálculo, tableros de ajedrez, texturas de videojuegos y fondos transparentes blancos y grises fueran marcadas incorrectamente como contenido dañino, según confirmó la compañía el 7 de julio de 2026.

TECNOLOGÍA8 JUL 2026

Discord confirmó que el problema había estado afectando cuentas desde mayo de 2026, con 200 usuarios adicionales prohibidos durante el fin de semana antes de que su equipo identificara y corrigiera el error, según informó la plataforma. Todas las cuentas afectadas están actualmente en proceso de ser restauradas.

El incidente resalta uno de los desafíos crecientes en torno a la moderación asistida por inteligencia artificial, mientras muchas plataformas dependen cada vez más de sistemas automatizados para identificar material ilegal o abusivo a gran escala.

En un hilo detallado en X, Discord explicó que su sistema automatizado de seguridad funciona comparando el contenido subido contra bases de datos de material dañino conocido. Aunque la tecnología está diseñada para detectar contenido ilegal, la compañía reconoció que a veces puede generar falsos positivos. Un moderador humano revisa el contenido, pero un error causó que el sistema prohibiera inmediatamente las cuentas afectadas.

"Estamos trabajando en mejores salvaguardas para que esto no pueda volver a suceder", escribió la compañía.

A través de X y Reddit, usuarios afirmaron que habían sido suspendidos permanentemente simplemente por subir imágenes que contenían patrones de cuadrículas. Varios usuarios especularon que las herramientas de moderación con inteligencia artificial de Discord se han vuelto cada vez más sensibles a patrones similares a cuadrículas porque previamente han sido utilizados en intentos de ocultar o disfrazar contenido sexual explícito y de explotación infantil de los sistemas de detección automatizados.

Los usuarios afectados han expresado frustración en redes sociales, con algunos argumentando que las prohibiciones permanentes de cuentas basadas únicamente en detección automatizada pueden tener consecuencias graves, particularmente para usuarios que dependen de Discord para trabajo, comunidades de videojuegos o conexiones sociales a larga distancia.

"Perder una cuenta de Discord por algo tan injusto como esto puede ser extremadamente devastador y afectar severamente a los usuarios, y cada día millones de usuarios son afectados por prohibiciones falsas de inteligencia artificial. Esto necesita detenerse", escribió un usuario de X.

Un desarrollador de videojuegos identificado como JDBRYANT publicó el 4 de julio en X que su cuenta fue prohibida erróneamente debido a que el sistema de moderación automática detectó sus texturas de videojuegos como material de explotación infantil. "Necesito mi cuenta de vuelta ya que soy director de videojuegos y uso Discord para toda mi comunicación. He solicitado una revisión de mi suspensión", escribió.

Discord no está solo enfrentando problemas de moderación debido a sistemas automatizados. El año pasado, usuarios de Instagram y Grupos de Facebook reportaron suspensiones de cuentas generalizadas e inexplicables que muchos creyeron fueron causadas por sistemas de moderación con inteligencia artificial, según la fuente. Aunque los usuarios señalaron la automatización como el culpable probable, Meta nunca confirmó públicamente si los errores de inteligencia artificial fueron responsables. Ahora el Consejo de Supervisión de Meta está presionando por mayor transparencia.

Tumblr el año pasado también enfrentó quejas de usuarios que dijeron que sus cuentas habían sido suspendidas masivamente sin explicaciones claras, según reportes.

El caso de Discord ilustra los riesgos de depender excesivamente de sistemas automatizados para tomar decisiones que pueden tener impactos significativos en los usuarios. La prohibición permanente de una cuenta puede resultar en la pérdida de años de conversaciones, conexiones comunitarias y, en algunos casos, acceso a herramientas de trabajo esenciales.

La compañía no especificó qué medidas técnicas específicas implementará para prevenir futuros incidentes similares, más allá de mencionar que está trabajando en "mejores salvaguardas". Tampoco aclaró si compensará de alguna manera a los usuarios afectados por las prohibiciones erróneas o si revisará su proceso de moderación para garantizar que los moderadores humanos tengan más tiempo para revisar casos antes de que se apliquen prohibiciones permanentes.

El incidente plantea preguntas más amplias sobre el equilibrio entre la necesidad de moderar contenido dañino a escala y los riesgos de falsos positivos que pueden afectar a usuarios inocentes. A medida que las plataformas tecnológicas continúan expandiendo el uso de inteligencia artificial para moderación de contenido, la industria enfrenta presión creciente para desarrollar sistemas más precisos y procesos de apelación más efectivos para usuarios afectados injustamente.

SIGUE LEYENDO
MÁS DE TECNOLOGÍA
ColGlobal
Discord admite que error en su sistema de moderación con inteligencia artificial prohibió injustamente a más de 8.000 usuarios
Tecnología

Discord admite que error en su sistema de moderación con inteligencia artificial prohibió injustamente a más de 8.000 usuarios

Discord reconoció que un fallo en su sistema de moderación basado en inteligencia artificial prohibió erróneamente a más de 8.000 usuarios durante los últimos dos meses, después de que imágenes inofensivas como hojas de cálculo, tableros de ajedrez, texturas de videojuegos y fondos transparentes blancos y grises fueran marcadas incorrectamente como contenido dañino, según confirmó la compañía el 7 de julio de 2026.

8 jul 2026
Tamaño de texto

Discord confirmó que el problema había estado afectando cuentas desde mayo de 2026, con 200 usuarios adicionales prohibidos durante el fin de semana antes de que su equipo identificara y corrigiera el error, según informó la plataforma. Todas las cuentas afectadas están actualmente en proceso de ser restauradas.

El incidente resalta uno de los desafíos crecientes en torno a la moderación asistida por inteligencia artificial, mientras muchas plataformas dependen cada vez más de sistemas automatizados para identificar material ilegal o abusivo a gran escala.

En un hilo detallado en X, Discord explicó que su sistema automatizado de seguridad funciona comparando el contenido subido contra bases de datos de material dañino conocido. Aunque la tecnología está diseñada para detectar contenido ilegal, la compañía reconoció que a veces puede generar falsos positivos. Un moderador humano revisa el contenido, pero un error causó que el sistema prohibiera inmediatamente las cuentas afectadas.

"Estamos trabajando en mejores salvaguardas para que esto no pueda volver a suceder", escribió la compañía.

A través de X y Reddit, usuarios afirmaron que habían sido suspendidos permanentemente simplemente por subir imágenes que contenían patrones de cuadrículas. Varios usuarios especularon que las herramientas de moderación con inteligencia artificial de Discord se han vuelto cada vez más sensibles a patrones similares a cuadrículas porque previamente han sido utilizados en intentos de ocultar o disfrazar contenido sexual explícito y de explotación infantil de los sistemas de detección automatizados.

Los usuarios afectados han expresado frustración en redes sociales, con algunos argumentando que las prohibiciones permanentes de cuentas basadas únicamente en detección automatizada pueden tener consecuencias graves, particularmente para usuarios que dependen de Discord para trabajo, comunidades de videojuegos o conexiones sociales a larga distancia.

"Perder una cuenta de Discord por algo tan injusto como esto puede ser extremadamente devastador y afectar severamente a los usuarios, y cada día millones de usuarios son afectados por prohibiciones falsas de inteligencia artificial. Esto necesita detenerse", escribió un usuario de X.

Un desarrollador de videojuegos identificado como JDBRYANT publicó el 4 de julio en X que su cuenta fue prohibida erróneamente debido a que el sistema de moderación automática detectó sus texturas de videojuegos como material de explotación infantil. "Necesito mi cuenta de vuelta ya que soy director de videojuegos y uso Discord para toda mi comunicación. He solicitado una revisión de mi suspensión", escribió.

Discord no está solo enfrentando problemas de moderación debido a sistemas automatizados. El año pasado, usuarios de Instagram y Grupos de Facebook reportaron suspensiones de cuentas generalizadas e inexplicables que muchos creyeron fueron causadas por sistemas de moderación con inteligencia artificial, según la fuente. Aunque los usuarios señalaron la automatización como el culpable probable, Meta nunca confirmó públicamente si los errores de inteligencia artificial fueron responsables. Ahora el Consejo de Supervisión de Meta está presionando por mayor transparencia.

Tumblr el año pasado también enfrentó quejas de usuarios que dijeron que sus cuentas habían sido suspendidas masivamente sin explicaciones claras, según reportes.

El caso de Discord ilustra los riesgos de depender excesivamente de sistemas automatizados para tomar decisiones que pueden tener impactos significativos en los usuarios. La prohibición permanente de una cuenta puede resultar en la pérdida de años de conversaciones, conexiones comunitarias y, en algunos casos, acceso a herramientas de trabajo esenciales.

La compañía no especificó qué medidas técnicas específicas implementará para prevenir futuros incidentes similares, más allá de mencionar que está trabajando en "mejores salvaguardas". Tampoco aclaró si compensará de alguna manera a los usuarios afectados por las prohibiciones erróneas o si revisará su proceso de moderación para garantizar que los moderadores humanos tengan más tiempo para revisar casos antes de que se apliquen prohibiciones permanentes.

El incidente plantea preguntas más amplias sobre el equilibrio entre la necesidad de moderar contenido dañino a escala y los riesgos de falsos positivos que pueden afectar a usuarios inocentes. A medida que las plataformas tecnológicas continúan expandiendo el uso de inteligencia artificial para moderación de contenido, la industria enfrenta presión creciente para desarrollar sistemas más precisos y procesos de apelación más efectivos para usuarios afectados injustamente.

FUENTES
SIGUE LEYENDO