Chat(流式返回)
OpenAPI Specification
接口:POST /v1/chat/completions(完整地址 https://api.allyang.cn/v1/chat/completions)
鉴权:请求头 Authorization: Bearer {{YOUR_API_KEY}}。
请求头
Content-Type:必填,string,示例application/json。Accept:必填,string,示例application/json。
请求体参数(application/json)
model:必填,string,所选模型的 ID;本接口对所有对话模型通用,替换该字段即可切换模型。messages:必填,array,至今的对话消息列表;每项为对象,含role(string)与content(string)。temperature:可选,integer,采样温度,取值 0 至 2;偏高(如 0.8)输出更随机,偏低(如 0.2)更集中确定;通常与top_p二者只调其一。top_p:可选,integer,核采样阈值,只保留累计概率达到该值的候选;例如 0.1 表示仅考虑概率质量前 10% 的标记;通常与temperature二者只调其一。n:可选,integer,默认 1,为每条输入消息生成的补全条数。stream:可选,boolean,默认 false;置true后以服务器发送事件分片回传增量标记,流以data: [DONE]消息结束。stop:可选,string,默认 null,最多 4 个序列,命中即停止继续生成。max_tokens:可选,integer,默认 inf,生成的最大标记数;输入标记与生成标记合计受模型上下文长度限制。presence_penalty:可选,number,取值 -2.0 至 2.0;正值按标记此前是否出现施加惩罚,使模型更可能谈及新主题。frequency_penalty:可选,number,默认 0,取值 -2.0 至 2.0;正值按标记现有出现频率施加惩罚,减少逐字重复。logit_bias:可选,null,接受把标记 ID 映射到 -100 至 100 偏置值的 JSON 对象;偏置在采样前叠加到 logit 上,具体效果随模型而异,-1 至 1 之间属增减选择概率,-100 或 100 相当于禁用或独占。user:可选,string,终端用户的唯一标识,便于平台侧识别与治理滥用行为。response_format:可选,object,规定模型输出格式的对象;以{ "type": "json_object" }开启 JSON 模式,此时还须经系统或用户消息要求模型产出 JSON,否则可能出现持续空白流直至触达令牌上限,表现为延迟升高、请求看似卡住;另需注意finish_reason="length"时内容可能被部分截断,表示超出max_tokens或对话超出最大上下文长度。seen:可选,integer,测试阶段能力;指定后系统尽力做确定性采样,使相同种子与参数的重复请求返回一致结果;确定性无保证,可参照响应中的system_fingerprint观察后端变化。tools:必填,array,模型可调用的工具清单,数组项为 string;当前仅支持以函数作为工具,用于提供模型可生成 JSON 入参的函数列表。tool_choice:必填,object,控制模型调用哪个函数(若有);none表示不调用而只生成消息,auto由模型自行在生成消息与调用函数间取舍,也可用{"type": "function", "function": {"name": "my_function"}}强制调用指定函数;无函数时默认none,有函数时默认auto。
响应
200:成功,返回 JSON 对象。id:string,本次请求的唯一标识。object:string,对象类型。created:integer,创建时间。choices:array,候选列表;每项含index(integer)、message(object,含role与content,均为 string)、finish_reason(string)。usage:object,用量统计,含prompt_tokens、completion_tokens、total_tokens,均为 integer。
使用提示:本平台 Base URL 为
https://api.allyang.cn,OpenAI 兼容接口路径以/v1开头;示例里的{{YOUR_API_KEY}}请替换为控制台创建的令牌。