概覽

概覽

為滿足客戶於各種業務場景下的多元需求,GPTBots 提供多種 LLM 及專用模型,滿足不同業務場景的需求。這些模型具備不同的能力(如文本/圖片/音訊/檔案的識別與生成),且服務定價會依模型能力而有所不同。

GPTBots 提供的模型服務類型如下:

  • LLMs:支援來自多家模型供應商(如 OpenAI、Claude、Gemini、ChatGLM、llama 等主流商業/開源模型)的多版本 LLM。
  • 向量嵌入模型:支援多種向量嵌入模型,如 OpenAI、BGE、BCE 等主流商業/開源模型。但在 SaaS 版本中,為提供更佳服務,僅支援一種嵌入模型,惟可同時支援多個向量維度。
  • 重排序模型:支援多種重排序模型,如 Jina、BGE、BCE 等主流商業/開源模型。
  • 音訊模型:支援多種音訊模型,如 OpenAI、Minimax 等主流商業/開源模型。

術語定義

為方便企業用戶管理與運用模型服務,GPTBots 以模型品牌與模型版本為抽象層,定義以下概念:

  • 模型供應商:開發大型模型的公司名稱,如 OpenAI、Anthropic、MistralAI、Ali、ZhiPu、Tencent 等。
  • 模型名稱:大型模型的品牌名稱,如 GPT、Claude、Gemini、ChatGLM、llama 等。
  • 模型版本:具備不同能力象限的大型模型版本,如 GPT-4o、GPT-o1-mini、Gemini-1.5-pro 等。
  • 部署方式:由原廠模型供應商提供的模型 API 服務稱為官方部署,由第三方運算平台供應商提供的則為開放部署。
  • API 協議:運行大型模型的運算服務平台之協定規範(即應用程式介面協定),如 OpenAI 執行 GPT、Amazon Bedrock 執行 Claude、together.ai 執行 Llama,以及較為通用的 OpenAI 協議標準。
  • API KEY:指呼叫模型服務 API 時所需的身份驗證設定。模型服務供應商通常會針對不同 API KEY 設定頻率限制及獨立計費。

模型服務配置

企業無需向各模型服務供應商(如 OpenAI 或 Google 等)註冊帳號並購買服務,可直接使用 GPTBots 的 平台 KEY 呼叫模型服務。企業可於「GPTBots 平台 - 組織 - 使用情況」中檢視模型服務呼叫的詳細 Token 數據,並於 GPTBots 上消耗相應積分。有關詳細定價資訊,請參考[服務定價頁面]。

模型服務列表

GPTBots 將持續新增適用於企業業務場景的模型服務。若企業所需的模型服務未在列表中,請聯繫我們,我們將進一步評估與測試該模型以提供支援。
目前支援的模型服務及其能力如下:

LLMs

OpenAI GPT 系列模型:GPT 為 OpenAI 開發的大型語言模型系列,包括 GPT-3.5、GPT-4o、GPT-o1 等。

模型供應商/品牌 模型版本 上下文限制 生成限制 插件 輸入圖片 輸入音訊 輸入檔案 輸出文本 輸出音訊
OpenAI/GPT GPT-4o 128k 8k ✓ ✓ ✗ ✗ ✓ ✗
OpenAI/GPT GPT-4o-audio 128k 8k ✓ ✓ ✓ ✗ ✓ ✓
OpenAI/GPT GPT-4o-mini 128k 8k ✓ ✓ ✗ ✗ ✓ ✗
OpenAI/GPT GPT-o1 128k 8k ✗ ✓ ✗ ✗ ✓ ✗
OpenAI/GPT GPT-o1-mini 128k 8k ✗ ✓ ✗ ✗ ✓ ✗
OpenAI/GPT GPT-3.5-turbo 16k 4k ✓ ✗ ✗ ✗ ✓ ✗

Anthropic Claude 系列模型:Claude 為 Anthropic 開發的大型語言模型系列,包括 Opus、Sonnet、Haiku 等版本。

模型供應商/品牌 模型版本 上下文限制 生成限制 插件 輸入圖片 輸入音訊 輸入檔案 輸出文本 輸出音訊
Anthropic/Claude Claude-3-opus 200k 4k ✓ ✓ ✗ ✗ ✓ ✗
Anthropic/Claude Claude-3.5-sonnet 200k 8k ✓ ✓ ✗ ✓ ✓ ✗
Anthropic/Claude Claude-3.5-haiku 200k 8k ✓ ✓ ✗ ✗ ✓ ✗

Google Gemini 系列模型:Gemini 為 Google 開發的大型語言模型系列,包括 Pro 與 Flash 等版本。

模型供應商/品牌 模型版本 上下文限制 生成限制 插件 輸入圖片 輸入音訊 輸入檔案 輸出文本 輸出音訊
Google/Gemini Gemini-1.5-pro 1M 8k ✓ ✓ ✓ ✓ ✓ ✗
Google/Gemini Gemini-1.5-flash 1M 8k ✓ ✓ ✓ ✓ ✓ ✗