LLM 支持 base_url、max_tokens 之外的参数吗?
OpenAi JS SDK 是支持 extra 的
建议 base_url 支持非 /chat/completions 结尾的网址,因为有些供应商的节点网址不是 /chat/completions,最好是改成结尾是 /v1 时才会追加 /chat/completions
当然,这个不改也行,因为给非 /chat/completions 结尾的节点网址也能用 https://cbc.com/abc?a=/chat/completions 访问
LLM 支持
base_url、max_tokens之外的参数吗?OpenAi JS SDK 是支持
extra的建议
base_url支持非/chat/completions结尾的网址,因为有些供应商的节点网址不是/chat/completions,最好是改成结尾是/v1时才会追加/chat/completions当然,这个不改也行,因为给非
/chat/completions结尾的节点网址也能用https://cbc.com/abc?a=/chat/completions访问