Estas startups creen que pueden acabar con el gran problema oculto de la IA

En marzo, empezó a circular por internet una foto del expresidente estadounidense Trump abrazando a un grupo de sonrientes votantes negros.

Aunque la imagen hiperrealista engañó inicialmente a muchos usuarios, otros se apresuraron a señalar sus extrañas cualidades: faltaban dedos, había dientes de más y la piel parecía extrañamente brillante, signos distintivos de las imágenes generadas por inteligencia artificial.

Una investigación de la BBC confirmó más tarde que las imágenes habían sido generadas por inteligencia artificial, y que una de ellas había sido creada y difundida por el locutor de radio conservador Mark Kaye.

Este tipo de deepfakes son el resultado de la IA utilizada con fines ilícitos. A menudo son difíciles de distinguir de fotos, vídeos o audios reales, por lo que se han convertido en una herramienta fácil para los actores de mala fe. Según la plataforma de verificación Sumsub, que ha examinado más de dos millones de intentos de fraude, el número de deepfakes se ha multiplicado por diez entre 2022 y 2023.

Desde el lanzamiento de plataformas de IA generativa como ElevenLabs y Sora de OpenAI, los usuarios pueden crear fácilmente imágenes, vídeos y contenidos de audio generados por IA. Esto ha impulsado cada vez más siniestras campañas de desinformación dirigidas a los votantes de cara a al agitado año electoral que 2024 está siendo en todo el mundo.

Pero los propagandistas políticos no son los únicos que manipulan la tecnología: los estafadores utilizan cada vez más deepfakes de IA para estafar a las empresas. En mayo, el grupo de ingeniería Arup confirmó que había perdido 25 millones de dólares cuando unos estafadores crearon un vídeo deepfake de uno de sus altos cargos supuestamente autorizando una transacción, según informó The Financial Times.

Un problema tan complejo y cambiante como el de los deepfakes no tiene una solución única, ni la tecnología puede abordarlo en su totalidad. Aun así, un grupo de startups está intentando combatir la desinformación basada en la IA. Algunas han desarrollado herramientas de detección de deepfakes para vídeo y audio. Otras utilizan la IA para moderar contenidos y acabar con la desinformación.

La detección de deepfakes es un mercado floreciente: En 2023, las startups que combaten la desinformación tecnológica recaudaron 313 millones de dólares, un 67% más que en 2021, según datos de PitchBook. Y este año, el número de acuerdos sigue siendo el mismo que en años anteriores, con 11 empresas que han conseguido financiación de inversores hasta la fecha, según los datos de PitchBook.

Las herramientas de moderación de contenidos y detección de deepfakes han despegado

Algunas startups se centran en frenar la propagación de la desinformación antes de que se haga viral, como la imagen de Obama.

Guillaume Bouchard lanzó en 2020 la plataforma de moderación de contenidos mediante IA Checkstep para identificar casos de desinformación en grandes plataformas, como Twitter y Facebook.

"Nos ocupamos de todo, desde la suplantación de identidad hasta la desinformación política", explica Bouchard a Business Insider.

La herramienta de Checkstep, basada en la inteligencia artificial, identifica los contenidos nocivos, violentos o intolerantes, y cuenta con un equipo de moderadores que comprueban si estas detecciones son correctas. La startup también colabora con NewsGuard, una empresa que ofrece a los lectores herramientas para reconocer la desinformación y la parcialidad, y con Logically, una startup que comprueba y combate las noticias falsas, para verificar las afirmaciones que se hacen en Internet.

Tras conseguir 5 millones de dólares en financiación inicial para Checkstep en 2022, Bouchard reconoce que "aunque es un nuevo dominio en el que invertir, la confianza y la seguridad son temáticas difíciles de vender a los fondos de capital de riesgo".

Uno de los principales problemas a los que se ha enfrentado su startup es la adaptación a las distintas necesidades de moderación de contenidos que puede tener una empresa.

"Por ejemplo, una aplicación de citas tendrá que tener un medio para verificar los chats, a diferencia de Instagram, por lo que la diversidad de contenido es un gran desafío", resume Bouchard a BI.

Otras startups están creando herramientas de detección de imitaciones que identifican desde la clonación de voces hasta el intercambio de rostros. Pocas semanas después de su lanzamiento en 2023, la startup de voz sintética ElevenLabs fue el centro de una polémica sobre desinformación cuando 4chan utilizó su tecnología para crear contenido racista y transfóbico utilizando las voces de Emma Watson y Taylor Swift. Este año, la startup ha anunciado una herramienta de detección de audio que puede identificar si algún contenido se ha generado utilizando ElevenLabs. Los usuarios pueden insertar clips de audio en la plataforma de clasificación de voz de ElevenLab en su web, y la herramienta indica si se ha modificado utilizando la tecnología de ElevenLabs.

Los fundadores también aprovechan las herramientas de desinformación para uso empresarial. Reality Defender, una startup con sede en Nueva York fundada en 2021, tiene como objetivo ayudar a los clientes empresariales a identificar deepfakes. Ha desarrollado una API y una aplicación web que permite a los usuarios analizar contenidos y determinar si han sido modificados por IA.

La startup no discierne directamente si algo es un deepfake. En su lugar, ofrece a los usuarios un "punto de inferencia" para que puedan entender hasta qué punto y cómo algo podría haber sido alterado por la IA, explica el fundador Ben Colman.

"Nos dimos cuenta de que la educación por sí sola podría no ser suficiente para que los clientes decidan invertir. Así que solemos hacerlo muy personal", cuenta Colman. "Utilizamos herramientas operativas para crear ejemplos de deepfakes en una conferencia. Si eres político y ves un deepfake de ti mismo, tienes esa reacción visceral de 'Oh, Dios mío'".

Colman recaudó 15 millones de dólares en una ronda de Serie A en octubre, impulsada en parte por el creciente interés de los inversores en las aplicaciones comerciales de su tecnología.

Los fondos de capital riesgo son más prudentes a la hora de respaldar estas tecnologías emergentes

No a todas las startups les ha ido bien a la hora de recaudar fondos.

Dhruv Ghulati lanzó Factmata, una startup basada en IA que moderaba la propagación de información errónea y noticias falsas en Internet, en 2017. Comprendió que su startup no dispondría de los mismos recursos que una gran empresa tecnológica para acabar con la desinformación, por lo que esperaba crear un producto que pudiera incorporarse a plataformas más grandes.

Factmata fue adquirida por Cision en 2022. Tras la adquisición, pasó de crear un motor de detección de desinformación a ofrecer a las empresas información sobre "tendencias y narrativas en evolución", como declaró Ghulati a TechCrunch. La difícil recaudación de fondos dificultó la ampliación del modelo de negocio, según el informe, por lo que la adquisición parecía la mejor opción.

La moderación de contenidos puede ser difícil de vender para los inversores porque hay poco acuerdo sobre quién es responsable de garantizar que no se difunda la desinformación: la plataforma o el usuario.

Mientras que las startups intentan dirigirse a mercados y clientes de tamaño considerable dispuestos a pagar por este servicio, los consumidores son menos propensos a hacerlo, como explica un inversor a BI.

"Lo complicado de los casos de uso estrictamente prosocial es que los gobiernos y las ONG podrían pagar por ello. Pero se trata de un universo más reducido de clientes con mucho dinero".

La regulación es parte de la solución

Dado que hay tantas empresas tecnológicas implicadas en la proliferación de la desinformación sobre IA, Bruna de Castro e Silva, experta en gobernanza de IA de la startup de seguridad de IA Saidot, cree que debería haber un "enfoque colectivo" para abordar el problema, que incluya a fundadores, responsables políticos y conglomerados tecnológicos.

"Los desarrolladores de tecnología de IA generativa deberían estar obligados a permitir a los usuarios finales identificar y etiquetar cualquier contenido sintético", declara de Castro e Silva.

Algunas grandes empresas dicen estar trabajando en ello. Por ejemplo, Meta está en conversaciones para crear un equipo que aborde la desinformación y el abuso de la IA generativa.

En última instancia, los fundadores que se enfrentan a este problema entienden que la psique humana es tan responsable de la difusión de la desinformación como la tecnología.

La parcialidad es una de las principales causas de la desinformación generada por la IA.

"La gente quiere creer lo que quiere creer, aunque le digan que no es verdad", afirma Bouchard, de Checkstep. "Si nos fijamos en la literatura académica sobre la desinformación, ambos lados del espectro político difunden desinformación, y a largo plazo, esto añade más leña al fuego en la narrativa que defiende que la desinformación solo la propaga un nicho concreto".