39 lines
		
	
	
		
			1.5 KiB
		
	
	
	
		
			YAML
		
	
	
	
			
		
		
	
	
			39 lines
		
	
	
		
			1.5 KiB
		
	
	
	
		
			YAML
		
	
	
	
| id: 101 # 模型 id, 同 id 数据不会覆盖
 | |
| name: GPT-4o # 模型 meta 名称
 | |
| icon_uri: openai_v2.png # 模型展示图片 uri
 | |
| icon_url: '' # 模型展示图片 url
 | |
| description:
 | |
|   zh: gpt 模型简介
 | |
|   en: Multi-modal, 320ms, 88.7% MMLU, excels in education, customer support, health, and entertainment. # 模型默认描述
 | |
| protocol: openai # 模型连接协议, see: backend/infra/contract/chatmodel/protocol.go
 | |
| capability: # 模型基础能力
 | |
|   function_call: true # 模型是否支持 function call
 | |
|   input_modal: # 模型输入支持模态
 | |
|     - text
 | |
|     - image
 | |
|   input_tokens: 128000 # 输入 token 上限
 | |
|   output_modal: # 模型输出支持模态
 | |
|     - text
 | |
|   output_tokens: 16384 # 输出 token 上限
 | |
|   max_tokens: 128000 # 最大 token 数量
 | |
|   json_mode: false # 是否支持 json mode
 | |
|   prefix_caching: false # 是否支持 prefix caching
 | |
|   reasoning: false # 是否支持 reasoning
 | |
|   prefill_response: false # 是否支持续写
 | |
| conn_config: # 模型连接参数
 | |
|   base_url: ''  # REQUIRED: base_url
 | |
|   api_key: ''   # REQUIRED: api_key
 | |
|   model: ''     # REQUIRED: model
 | |
|   temperature: 0.7 # 默认 temperature
 | |
|   frequency_penalty: 0 # 默认 frequency_penalty
 | |
|   presence_penalty: 0 # 默认 presence_penalty
 | |
|   max_tokens: 4096 # 默认 max_tokens
 | |
|   top_p: 1 # 默认 top_p
 | |
|   top_k: 0 # 默认 top_k
 | |
|   # 下面是模型专用配置,仅配置 protocol 所对应的类型即可
 | |
|   openai: # OPTIONAL
 | |
|     by_azure: true    # true if using azure openai
 | |
|     api_version: ''   # azure api version
 | |
|     response_format:  # response format
 | |
|       type: text
 | |
|   status: 1 |