gpt-3.5-turbo-instruct

OpenAPI Specification

文本补全（completions）接口：依据提示返回一条或多条补全结果，并可返回候选标记的概率。该接口与聊天补全口径不同，适用于补全类模型。

请求方式：POST

接口地址

https://api.allyang.cn/v1/completions

请求头

• Authorization（可选）：鉴权头，使用控制台创建的令牌，格式为 Bearer + 令牌。（示例：Bearer {{YOUR_API_KEY}}）

请求参数（application/json）

• model（string，必填）：要使用的模型 ID；可用模型以「模型广场」或模型列表接口为准（细则待补）。
• prompt（string，必填）：生成完成（completion）的提示词，可为字符串、字符串数组、token 数组或 token 数组的数组。注意：<|endoftext|> 是训练期间的文档分隔符，未指定提示时模型会从新文档开头续写。
• max_tokens（integer，可选）：缺省 16。单次补全可生成的最大 token 数；提示词 token 数与 max_tokens 之和不能超过模型上下文长度。
• temperature（integer，可选）：缺省 1。采样温度，取值 0~2；数值越大输出越随机（如 0.8），越小越集中确定（如 0.2）。通常只调整本参数或 top_p 之一。
• top_p（integer，可选）：终端用户的唯一标识，便于平台侧监控与滥用检测。
• n（integer，可选）：缺省 1。每个提示生成的补全条数；条数越多额度消耗越快，请配合 max_tokens、stop 谨慎设置。
• stream（boolean，可选）：缺省 false。是否流式返回部分进度；开启后以仅数据（SSE）方式逐块下发，并由 data: [DONE] 结束。
• logprobs（null，可选）：缺省 null。返回最可能 token 的对数概率及所选 token；取 5 时返回 5 个候选，加上采样结果最多 logprobs+1 项。最大取值 5。
• stop（string，可选）：缺省 null。最多 4 个停止序列，命中即停止生成，返回文本不包含该序列。
• best_of（integer，可选）：缺省 1。在服务端生成 best_of 条候选并返回其中“最佳”的一条（逐 token 对数概率最高），不支持流式；与 n 同用时 best_of 必须大于 n。候选越多额度消耗越快，请谨慎设置。
• echo（boolean，可选）：缺省 false。除补全内容外是否回显提示词。
• frequency_penalty（number，可选）：缺省 0。取值 -2.0~2.0；正值按文本当前词频惩罚新 token，降低逐字重复的概率。
• logit_bias（object，可选）：缺省 null。按 token ID 调整其被选中的可能性，取值 -100~100；例如传入 {"50256": -100} 可避免生成 <|endoftext|> 令牌。
• presence_penalty（number，可选）：缺省 0。取值 -2.0~2.0；正值按 token 是否已出现来进行惩罚，提高话题延展的可能性。
• seed（integer，可选）：指定后平台尽量以确定性方式采样，相同参数的重复请求会返回一致结果；但不保证完全确定，可结合响应中的 system_fingerprint 观察后端变化。
• suffix（string，可选）：缺省 null。插入文本的补全之后出现的后缀。
• user（string，必填）

请求示例

{
  "model": "gpt-3.5-turbo-instruct",
  "prompt": "Say this is a test",
  "max_tokens": 7,
  "temperature": 0
}

返回字段

• id（string，必填）
• object（string，必填）
• created（integer，必填）
• model（string，必填）
• system_fingerprint（string，必填）
• choices（array