概覽
概覽
為滿足客戶於各種業務場景下的多元需求,GPTBots 提供多種 LLM 及專用模型,滿足不同業務場景的需求。這些模型具備不同的能力(如文本/圖片/音訊/檔案的識別與生成),且服務定價會依模型能力而有所不同。
GPTBots 提供的模型服務類型如下:
- LLMs:支援來自多家模型供應商(如 OpenAI、Claude、Gemini、ChatGLM、llama 等主流商業/開源模型)的多版本 LLM。
- 向量嵌入模型:支援多種向量嵌入模型,如 OpenAI、BGE、BCE 等主流商業/開源模型。但在 SaaS 版本中,為提供更佳服務,僅支援一種嵌入模型,惟可同時支援多個向量維度。
- 重排序模型:支援多種重排序模型,如 Jina、BGE、BCE 等主流商業/開源模型。
- 音訊模型:支援多種音訊模型,如 OpenAI、Minimax 等主流商業/開源模型。
術語定義
為方便企業用戶管理與運用模型服務,GPTBots 以模型品牌與模型版本為抽象層,定義以下概念:
模型供應商:開發大型模型的公司名稱,如 OpenAI、Anthropic、MistralAI、Ali、ZhiPu、Tencent 等。模型名稱:大型模型的品牌名稱,如 GPT、Claude、Gemini、ChatGLM、llama 等。模型版本:具備不同能力象限的大型模型版本,如 GPT-4o、GPT-o1-mini、Gemini-1.5-pro 等。部署方式:由原廠模型供應商提供的模型 API 服務稱為官方部署,由第三方運算平台供應商提供的則為開放部署。API 協議:運行大型模型的運算服務平台之協定規範(即應用程式介面協定),如 OpenAI 執行 GPT、Amazon Bedrock 執行 Claude、together.ai 執行 Llama,以及較為通用的 OpenAI 協議標準。API KEY:指呼叫模型服務 API 時所需的身份驗證設定。模型服務供應商通常會針對不同 API KEY 設定頻率限制及獨立計費。
模型服務配置
企業無需向各模型服務供應商(如 OpenAI 或 Google 等)註冊帳號並購買服務,可直接使用 GPTBots 的 平台 KEY 呼叫模型服務。企業可於「GPTBots 平台 - 組織 - 使用情況」中檢視模型服務呼叫的詳細 Token 數據,並於 GPTBots 上消耗相應積分。有關詳細定價資訊,請參考[服務定價頁面]。
模型服務列表
GPTBots 將持續新增適用於企業業務場景的模型服務。若企業所需的模型服務未在列表中,請聯繫我們,我們將進一步評估與測試該模型以提供支援。
目前支援的模型服務及其能力如下:
LLMs
OpenAI GPT 系列模型:GPT 為 OpenAI 開發的大型語言模型系列,包括 GPT-3.5、GPT-4o、GPT-o1 等。
| 模型供應商/品牌 | 模型版本 | 上下文限制 | 生成限制 | 插件 | 輸入圖片 | 輸入音訊 | 輸入檔案 | 輸出文本 | 輸出音訊 |
|---|---|---|---|---|---|---|---|---|---|
| OpenAI/GPT | GPT-4o | 128k | 8k | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
| OpenAI/GPT | GPT-4o-audio | 128k | 8k | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ |
| OpenAI/GPT | GPT-4o-mini | 128k | 8k | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
| OpenAI/GPT | GPT-o1 | 128k | 8k | ✗ | ✓ | ✗ | ✗ | ✓ | ✗ |
| OpenAI/GPT | GPT-o1-mini | 128k | 8k | ✗ | ✓ | ✗ | ✗ | ✓ | ✗ |
| OpenAI/GPT | GPT-3.5-turbo | 16k | 4k | ✓ | ✗ | ✗ | ✗ | ✓ | ✗ |
Anthropic Claude 系列模型:Claude 為 Anthropic 開發的大型語言模型系列,包括 Opus、Sonnet、Haiku 等版本。
| 模型供應商/品牌 | 模型版本 | 上下文限制 | 生成限制 | 插件 | 輸入圖片 | 輸入音訊 | 輸入檔案 | 輸出文本 | 輸出音訊 |
|---|---|---|---|---|---|---|---|---|---|
| Anthropic/Claude | Claude-3-opus | 200k | 4k | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
| Anthropic/Claude | Claude-3.5-sonnet | 200k | 8k | ✓ | ✓ | ✗ | ✓ | ✓ | ✗ |
| Anthropic/Claude | Claude-3.5-haiku | 200k | 8k | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
Google Gemini 系列模型:Gemini 為 Google 開發的大型語言模型系列,包括 Pro 與 Flash 等版本。
| 模型供應商/品牌 | 模型版本 | 上下文限制 | 生成限制 | 插件 | 輸入圖片 | 輸入音訊 | 輸入檔案 | 輸出文本 | 輸出音訊 |
|---|---|---|---|---|---|---|---|---|---|
| Google/Gemini | Gemini-1.5-pro | 1M | 8k | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ |
| Google/Gemini | Gemini-1.5-flash | 1M | 8k | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ |
