Tras el lanzamiento de Llama 3, Meta afirma haber igualado a los modelos más potentes y reclama su lugar como líder del mercado. Según los informes, la compañía está en proceso de lanzar pronto varios modelos de la familia Llama 3. En particular Llama 3 8B, Llama 3 70B.
Cada nuevo modelo es más eficiente que los anteriorescon más configuraciones que la generación anterior.
Meta también agrega que entrenó a los dos modelos en dos grupos de 24.000 GPU. Lo que los convierte en uno de los modelos más potentes jamás fabricados.
En comparación con Mistral 7B y Gemma 7B de Google, Llama 3 8B funciona mejor. Al menos eso es lo que puntuaciones de referencia MMLU, ARC, MATH, GPQA y DROP.
Para colmo, Meta decidió crea tus propias pruebas de rendimiento. Se trata de un conjunto de evaluaciones que incluyen escritura creativa, codificación, razonamiento y resumen de documentos.
Quiso la suerte que Llama 3 70B tuviera superó al modelo Mistral MediumCalude 3 Sonnet e incluso GPT-3.5 de OpenAI.
Más precisión, más maniobrabilidad… ¿Demasiado bueno para ser verdad?
Según las declaraciones de Meta, uno debería esperar descubrir un asistente virtual más manejable.
Llama 3 también debería tener la capacidad de proporcionar respuestas más precisas en cada solicitud de usuario.
Se utilizaron 15 billones de tokens para entrenar a Llama 3. Por eso Meta se jacta de tener desarrolló “la” IA más poderosa hasta hoy.
Por otra parte, la empresa no proporcionó ninguna información sobre el origen de estos datos. Simplemente afirmó que se trata de datos de fuentes disponibles públicamente.
Meta también afirma haber usado datos sintéticos para el entrenamiento de Llama 3. Luego habría utilizado datos generados por inteligencia artificial.
En cualquier caso, Meta se dio cuenta de la importancia de la diversidad de datos para entrenar modelos de lenguaje.
Una suite de seguridad para Llama 3
Meta anunció el desarrollo de nuevos canales de filtrado de datos. Un enfoque que le permite mejorar la calidad de los datos utilizados para entrenar sus modelos.
Además, la firma también actualizó sus suites de seguridad generativa para IAincluidos Llama Guard y CybersecEval.
Su objetivo sería entonces prevenir posibles abusos y generaciones de texto no deseado de modelos como Lama 3.
Como tal, Meta ha introducido una nueva herramienta llamada Escudo de código. Esto fue diseñado para detectar vulnerabilidades de seguridad introducidas por el código de los modelos de IA generativa.
Sin embargo, cabe recordar que incluso con estas medidas, el filtrado de datos es lejos de ser infalible.
En definitiva, estamos deseando ver cómo funcionan los modelos Llama 3. comportarse en entornos reales.
- Comparte el artículo:
Nuestro blog está impulsado por lectores. Cuando compra a través de enlaces en nuestro sitio, podemos ganar una comisión de afiliado.