El acelerador de IA Intel Gaudi 3 impulsará sistemas de IA con hasta decenas de miles de aceleradores conectados a través del estándar común de Ethernet. Intel Gaudi 3 promete 4 veces más capacidad de cálculo de IA para BF16 y 1,5 veces más ancho de banda de memoria que su predecesor. El acelerador ofrecerá un salto significativo en el entrenamiento y la inferencia de IA para las empresas globales que buscan desplegar GenAI a escala.
En comparación con Nvidia H100, se prevé que Intel Gaudi 3 ofrezca
un tiempo medio de entrenamiento un 70% más rápido para los modelos Llama2 con
13B parámetros. Además, se prevé que supere a H100 en una media del 50% en
inferencia y del 40% en eficiencia energética para los modelos de lenguaje de
gran tamaño (LLM) Llama 7B, 70B y Falcon 180B.[1]
Intel Gaudi 3 proporciona software abierto basado en la comunidad y
redes Ethernet estándar del sector. Además, permite a las empresas escalar con
flexibilidad desde un único nodo hasta clústeres, superclústeres y
megaclústeres con miles de nodos, dando soporte a la inferencia, el ajuste fino
y la formación a la mayor escala.
Intel Gaudi 3 estará disponible para los fabricantes de equipos
originales -incluidos Dell Technologies, HPE, Lenovo y Supermicro- en el
segundo trimestre de 2024.
Comentarios