Se pueden integrar grandes modelos de lenguaje en su teléfono, en lugar de necesitar miles de servidores para ejecutarse, después de un gran avance
Es posible ejecutar modelos masivos de IA localmente en teléfonos inteligentes o computadoras portátiles después de que un nuevo algoritmo de compresión reduzca su tamaño, lo que significa que sus datos nunca salen de su dispositivo. El problema es que podría agotar la batería en una hora.
Los potentes modelos de inteligencia artificial (IA) como ChatGPT necesitan grandes cantidades de energía para funcionar, por lo que normalmente se alojan en grandes centros de datos. Pero un nuevo avance podría comprimir estos modelos de IA para que quepan en un teléfono inteligente o una computadora portátil.
Un nuevo algoritmo, denominado Descomposición de baja precisión consciente de la calibración con adaptación de bajo rango (CALDERA), comprime las enormes cantidades de datos necesarios para ejecutar un modelo de lenguaje grande (LLM) recortando las redundancias en el código y reduciendo la precisión de sus capas de información.
Este LLM más eficiente funciona con precisión y matices a niveles ligeramente más bajos que la versión sin comprimir, dijeron los científicos en un estudio publicado el 24 de mayo en la base de datos preimpresa arXiv, antes de una presentación en la Conferencia sobre Sistemas de Procesamiento de Información Neural. (NeurIPS) en diciembre.
"Cada vez que se pueden reducir la complejidad computacional, el almacenamiento y los requisitos de ancho de banda del uso de modelos de IA, se puede habilitar la IA en dispositivos y sistemas que de otro modo no podrían manejar tareas de uso intensivo de computación y memoria", afirma el coautor del estudio . Andrea Goldsmith, profesora de ingeniería eléctrica e informática en la Universidad de Princeton, en un declaración.
Cada vez que alguien usa ChatGPT (por tomar un ejemplo popular) en su teléfono o computadora portátil, cualquier solicitud realizada se envía a enormes servidores remotos, donde los datos se procesan a un gran costo ambiental y financiero, dijeron los científicos en el estudio. Esto se debe a que los modelos de IA de este tamaño consumen grandes cantidades de potencia de procesamiento al aprovechar cientos, si no miles, de componentes como las unidades de procesamiento de gráficos (GPU). Por lo tanto, para realizar estas solicitudes utilizando una única GPU en un dispositivo pequeño, se debe comprimir el tamaño y el alcance del modelo de IA.
Relacionado: Los matemáticos idearon problemas novedosos para desafiar las habilidades de razonamiento de las IA avanzadas, y reprobaron casi todas las pruebas
Para comprimir un LLM, CALDERA combina dos técnicas. La primera técnica es de "baja precisión", que reduce la cantidad de bits (unos y ceros de datos) utilizados para almacenar información, lo que acelera el almacenamiento y el procesamiento al tiempo que mejora la eficiencia energética, dijeron los científicos. El segundo, llamado "de rango bajo", se refiere a reducir las redundancias en los parámetros de aprendizaje utilizados en la formación de LLM.
"Propusimos un algoritmo genérico para comprimir grandes conjuntos de datos o matrices grandes. Y luego nos dimos cuenta de que hoy en día, no son sólo los conjuntos de datos los que son grandes, sino que los modelos que se implementan también son cada vez más grandes. Entonces, también podríamos usar nuestro algoritmo para comprimir estos modelos", dijo en el comunicado el coautor del estudio Rajarshi Saha, estudiante de doctorado en la Universidad de Stanford. "Al utilizar ambas propiedades juntas, podemos obtener mucha más compresión que la que cualquiera de estas técnicas puede lograr individualmente".
El equipo probó el algoritmo en los modelos Llama 2 y Llama 3 de código abierto de Meta y registró una mejora de hasta el 5% frente a los algoritmos de compresión existentes que utilizan solo una de las dos técnicas. Los resultados podrían allanar el camino para que los LLM se almacenen y ejecuten en teléfonos inteligentes o computadoras portátiles en el futuro, en casos donde la privacidad es primordial y cuando no es necesaria la máxima precisión.
Sin embargo, los científicos advirtieron que los LLM no están optimizados para ejecutarse de manera eficiente en dichos dispositivos.
"No estarás contento si estás ejecutando un LLM y tu teléfono se queda sin carga en una hora. Pero no diría que hay una única técnica que resuelve todos los problemas", dijo Saha en el comunicado. "Lo que proponemos en este artículo es una técnica que se utiliza en combinación con técnicas propuestas en trabajos anteriores. Y creo que esta combinación nos permitirá utilizar LLM en dispositivos móviles de manera más eficiente y obtener resultados más precisos".