-
Notifications
You must be signed in to change notification settings - Fork 5.2k
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
ollama部署的qwen2.5无法使用工具调用 #3546
Comments
我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题 |
那你说的改成非流式响应该怎么做呢 |
不太清楚,我测试了一下是可以的 |
请问这个问题解决了吗?我使用本地ollama部署的qwen2.5模型也是这个问题,但是使用代码直接调用本地模型function call是正常的 |
没解决,我看最新的ollama支持流式工具调用,但是我不管流式还是非流式都没成功,不知道跟oneapi有没有关系 |
例行检查
你的版本
fastgpt:4.8.17
ollama:0.5.4
oneapi:0.6.7
问题描述, 日志截图,配置文件等
我使用了ollama部署qwen2.5:14b,无法正常使用工具调用,我按照官网教程通过curl向oneapi发起测试,没有报错,为什么工作流里面就没法正常调用,麻烦各位大佬帮我看看,实在不知道怎么解决了
复现步骤
预期结果
相关截图
curl测试工具调用:
配置文件:
工作流:
docker日志:
The text was updated successfully, but these errors were encountered: