- Mejora en hasta 20 puntos de accuracy a los principales referentes del mercado (Amazon, Azure, Google e IBM)
- Está entrenado con más de 130.000 mensajes etiquetados manualmente
Santiago, 24 de enero de 2024
La Universidad Complutense de Madrid ha certificado que el modelo de IA desarrollado por LLYC para medir la polaridad reputacional en la conversación social supera en hasta 20 puntos de accuracy o exactitud al de los principales referentes del mercado (Amazon, Azure, Google e IBM). En concreto, arroja un nivel de 0,66 frente al rango de entre 0,42 y 0,53 en el que se sitúan las herramientas rivales probadas. El modelo está entrenado con más de 130.000 mensajes etiquetados manualmente.
“Los resultados que arroja la auditoría de la Universidad Complutense de Madrid son un espaldarazo al trabajo que ha hecho LLYC en los últimos años en materia de innovación. Suponen una clara mejora de lo que había hasta ahora en el mercado. Sin duda, lograr el modelo más eficaz a la hora de medir la reputación en las redes sociales será muy útil para nuestros clientes“, asegura Daniel Fernández Trejo, Director General de Deep Learning de la firma.
Así se ha desarrollado el proyecto
LLYC empezó a analizar en profundidad la conversación social digital el 2010. Desde entonces la firma se dio cuenta de que la métrica de sentimiento que ofrecían (y ofrecen) las social listening platforms (SLP), no resulta demasiado útil para evaluar la evolución de la reputación de una marca o empresa. “Estoy muy triste por el fallecimiento de Tina Turner” es un mensaje de sentimiento negativo que, sin embargo, refleja una polaridad reputacional positiva del autor hacia Tina Turner. Los niveles de error para medir el daño o mejora reputacional ante un issue de cliente eran tales, que para obtener una métrica fiable, era necesario un análisis humano. El análisis humano es más preciso, pero, no escala (no pueden abordar grandes volúmenes de datos), es más lento y más caro. Aun así, era el que se usó en metodologías y herramientas de medición desarrolladas por LLYC de aquella época, como, por ejemplo, el MRO.
En 2021, confluyen tres circunstancias que abren una ventana de oportunidad en LLYC para mejorar drásticamente sus capacidades de medición y análisis de la reputación. Por un lado, el Área de Tecnología (ahora Deep Learning) comienza a consolidarse y dota a la firma de unas capacidades tecnológicas con las que anteriormente no contaba. Por otro, el estado del arte en procesado de lenguaje natural (NLP) ha madurado una serie de tecnologías (los Transformers) que han supuesto un salto disruptivo en la capacidad de las máquinas para comprender el lenguaje humano. Por último, gracias a la utilización de herramientas como el MRO a lo largo de los 10 últimos años, LLYC cuenta con una base de datos de más de 120.000 mensajes cuidadosamente clasificados por expertos en comunicación de acuerdo a la polaridad reputacional que expresan. ¿Podría la tecnología actual (Transformers), manejada por un nuevo expertise en la casa (Área de Tecnología) ser entrenada con el conocimiento acumulado (los 120.000 mensajes) para poder medir la reputación de manera automática y con precisión?
Para dar respuesta a la anterior pregunta, se abrió un proyecto de innovación que adoptó el nombre clave Gea, cuyo propósito era entrenar una IA de última generación con el conocimiento de LLYC sobre la polaridad de reputación. La información procedente del MRO era una buena base, aunque se descubrió que no suficiente para explotar todas las posibilidades que ofrecía la tecnología: se necesitaban más datos. Así, se diseñó una nueva etapa de análisis humano, en la que participaron más de 300 profesionales de, por aquel entonces, Deep Digital, con el propósito de clasificar 130.000 mensajes adicionales con los que llevar un mejor entrenamiento de la IA del Proyecto Gea. El trabajo ha dado resultado. Ahora la Universidad Complutense de Madrid certifica que el modelo de IA propio desarrollado por LLYC mide la polaridad reputacional con mayor exactitud que el resto de las herramientas del mercado.
Sobre LLYC
LLYC (BME:LLYC) es la firma global de Corporate Affairs y Marketing, que como partner de sus clientes en creatividad, influencia e innovación, hace crecer y protege el valor de sus negocios, convirtiendo cada día en una oportunidad para nutrir sus marcas.
LLYC, fundada en 1995, tiene presencia en Argentina, Brasil (São Paulo y Río de Janeiro), Bruselas, Colombia, Chile, Ecuador, España (Madrid y Barcelona), Estados Unidos (Miami, Nueva York, San Diego y Washington, DC), México, Panamá, Perú, Portugal y República Dominicana.
En 2022 los ingresos operacionales de LLYC superaron los 72 millones de euros. LLYC está entre las 40 mayores empresas del mundo en su sector, según los rankings de PRWeek y PRovoke. Ha sido elegida Mejor Consultora en Europa 2022 en los PRWeek Global Awards, y Consultora del Año en América Latina 2023 por PRovoke.
Fuente: Llorente y Cuenca.