A AMD divulgou, na quarta-feira (28), resultados de testes de benchmark feitos com sua linha de aceleradores projetados para processamento massivo de IA generativa. Os dados permitem comparar o desempenho do Instinct MI300X com a GPU H100 da NVIDIA.
Testando o hardware no modelo de linguagem LLama2-70B da Meta, um sistema equipado com oito unidades de Instinct MI300X atingiu taxa de transferência de 21.028 tokens por segundo ao atuar como um “servidor”, além de 23.514 tokens por segundo em um modo off-line. A plataforma contava com um processador EPYC da linha “Genoa”.
Os gráficos mostram que os números da AMD são ligeiramente inferiores aos alcançados por um sistema rival com hardware da NVIDIA. Oito unidades de GPU H100, emparelhadas a um processador Xeon da Intel, atingiu 21.605 tokens por segundo no modo servidor e 24.525 tokens por segundo no modo off-line.
Clique aqui para ler mais
