Chipy Qualcomma i Nvidii poddano testom wydajności obsługi AI

Na rynku szkolenia modeli AI z ogromną ilością danych dominuje Nvidia. Po przeszkoleniu tych modeli AI są one szerzej wykorzystywane w tak zwanym wnioskowaniu, wykonując zadania, takie jak generowanie odpowiedzi tekstowych na monity bądź określanie np. czy obraz zawiera kota. Analitycy uważają, że rynek chipów do wnioskowania, przeznaczonych dla centrów danych, będzie się szybko rozwijał, ponieważ firmy będą wprowadzać technologie AI do swoich produktów. Firmy, takie jak Google Alphabet już badają, jak utrzymać kontrolę nad dodatkowymi kosztami, które to za sobą pociągnie.

Jednym z tych głównych kosztów jest energia elektryczna, a Qualcomm wykorzystał swoją historię projektowania chipów do urządzeń zasilanych bateryjnie, takich jak smartfony, do stworzenia układu o nazwie Cloud AI 100, który ma oszczędnie zużywać energię.

Jak wynika z testów opublikowanych w kwietniu przez MLCommons - konsorcjum inżynieryjne, które realizuje testy porównawcze powszechnie stosowane w branży układów AI - układ AI 100 firmy Qualcomm pokonał flagowy chip Nvidii H100 w klasyfikacji obrazów na podstawie liczby zapytań serwera centrum danych, które każdy układ może wykonać na jeden wat.

Chipy Qualcomma przetwarzały 197,6 zapytań na wat, w porównaniu do 108,4 zapytań w przypadku Nvidii. Neuchips - startup założony przez tajwańskiego naukowca Youn-Long Lina - zajął pierwsze miejsce z 227 zapytaniami na wat.

Qualcomm pokonał także Nvidię w wykrywaniu obiektów, osiągając 3,2 zapytania na wat, w porównaniu do 2,4 zapytania na wat Nvidii. Wykrywanie obiektów może być wykorzystywane w aplikacjach, takich jak analiza nagrań ze sklepów detalicznych, by zobaczyć dokąd najczęściej udają się kupujący.

Nvidia zajęła jednak pierwsze miejsce pod względem bezwzględnej wydajności oraz efektywności energetycznej w teście przetwarzania języka naturalnego, który jest technologią sztucznej inteligencji najczęściej stosowaną w systemach takich, jak chatboty. W liczbach próbek na wat Nvidia osiągnęła wynik 10,8, Neuchips zajął drugie miejsce z wynikiem 8,9 próbki na wat, a Qualcomm był na miejscu trzecim - 7,5 próbki na wat.