Groq — нейросетевой аналог ChatGPT, обеспечивающий быстрые и понятные ответы.

Компания Groq (не путать с чат-ботом Илона Маска) выпустила новый чип LPU (Language Processing Unit), специальную ASIC, которая обеспечивает феноменально быструю обработку больших языковых моделей.

Чат-бот Groq работает на собственном оборудовании, генерируя в среднем 500 токенов в секунду, тогда как ChatGPT-3.5 на GPU выдает не более 40.

Источник