工具和函数调用

工具调用

工具调用让大型语言模型（LLM）可以访问外部工具。模型本身并不会直接调用这些工具；它会先建议要调用的工具，然后由用户在外部单独调用该工具，并将结果返回给模型。最后，模型将结果整合，生成对用户最初问题的回答。胜算云 Router 在各个模型和提供方之间标准化了此类工具调用接口。

ToolCall用于表示工具调用的结构体，当大模型需要在生成过程中调用外部函数或插件时，会返回相应的工具调用信息：

Index：在聊天流中表示调用顺序，非必填。

ID：工具调用的唯一标识符。

Type：调用类型，可用于区分不同的工具调用逻辑。

Function：由 FunctionCall 描述，包含函数的详细信息。

当通过 API 使用文本（聊天）模型时，你可以定义一些函数供模型选择调用，然后模型会生成一个包含必要参数的 JSON 对象。文本模型 API 本身并不执行这些函数；它只会输出 JSON，你可以在自己的代码中根据此 JSON 调用相应的函数。

最新的模型能够根据输入内容自动判断何时需要调用函数，并生成与函数签名高度匹配的 JSON。然而，此功能也存在潜在风险。我们强烈建议在执行可能影响现实世界的操作（例如发送邮件、在线发布内容、进行购买）之前，添加用户确认步骤。

FunctionCall描述具体调用的函数信息：

Description：函数说明，帮助理解该调用的用途。

Name：函数名称，标识具体调用的接口。

Parameters：函数调用所需的参数描述，通常为 JSON 格式。

Arguments：实际传递给函数的参数字符串。

函数调用可让你从模型中可靠地获得结构化数据。例如，您可以：

构建可通过调用外部 API 回答问题的助手

示例函数：send_email(to: string, body: string), get_current_weather(location: string, unit: 'celsius' | 'fahrenheit')

将自然语言转换为 API 调用

示例转换：“Who are my top customers?” → get_customers(min_revenue: int, created_before: string, limit: int)，然后调用你内部的 API

从文本中提取结构化数据

示例函数：extract_data(name: string, birthday: string), sql_query(query: string)

调用模型：向模型发送用户查询，并在 functions 参数中定义你可用的函数列表。

模型响应：模型可能选择调用一个或多个函数。如果模型进行函数调用，它会输出一个符合你自定义规范的 JSON 字符串（注意，模型可能会“臆造”一些参数）。

解析 JSON：在你的代码中，将这个字符串解析为 JSON，并根据其中提供的参数（如果有）来调用相应函数。

再次调用模型：将函数的返回结果作为新消息附加，然后让模型向用户总结结果。