📝 详细介绍
Groq 是目前全球推理速度最快的大语言模型推理 API 服务商，采用自研的 LPU（Language Processing Unit）芯片，号称可以达到每秒 1000+ tokens 的输出速度，远超 AWS 和其他云服务商。Groq API 兼容 OpenAI 接口格式，可以无缝替换现有应用中的 OpenAI 调用，无需修改代码。目前 Groq 支持 Mixtral 8x7B、LLaMA 3 70B、Llama 3 8B、Gemma 等开源大模型，以及 Claude 3 系列（通过 Anthropic 的支持）。其极速推理能力使其特别适合需要实时响应的 AI 应用场景，如 AI 聊天机器人、实时翻译、语音助手等，被视为 AI 推理加速领域的领军者。
