Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

webui功能建议 #3

Open
Kepler-16b opened this issue Mar 16, 2023 · 34 comments
Open

webui功能建议 #3

Kepler-16b opened this issue Mar 16, 2023 · 34 comments

Comments

@Kepler-16b
Copy link
Contributor

  1. 界面的白天/黑夜模式切换按钮;
  2. 聊天记录框的缩放功能;
  3. 多行空白的换行符合并为单个换行符——减少显示时占用的页面空间;
  4. 添加头像及自定义头像功能(更沉浸式的赛博猫娘);
  5. 常用提示词模板功能以及下拉菜单快速调用预设的提示词。
@hlhlhl231
Copy link

1.输入框可以ctrl+回车发送,发送后自动清空
2.可以对12g显存更友好一点么emoji
CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 11.99 GiB total capacity; 11.15 GiB already allocated; 0 bytes free; 11.15 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.

@lengyanju8
Copy link

输入框可以ctrl+回车发送,发送后自动清空,很有同感

@lengyanju8
Copy link

增加多轮对话的轮数。我看写了但是又注释了

@Akegarasu
Copy link
Owner

除头像功能在gradio不方便实现外,其他的都可以加入规划。也欢迎大家继续在这条issue下提出建议

@Akegarasu Akegarasu pinned this issue Mar 16, 2023
@JiaJiaJiang
Copy link

  1. 输入框的内容多了之后发送按钮会超出视口高度,需要滚动后才能点发送
  2. 这个能支持类似chatgpt那种流式响应、终止响应和重新生成回答的功能吗

@Akegarasu
Copy link
Owner

1大概是bug,会修
2这个不太行,一个是从头我就用的是gradio,这个框架我看来不太适合实现这种东西

@Autumn-Whisper
Copy link

可否像ChatGPT一样把聊天记录显示在一侧?

@Akegarasu
Copy link
Owner

输入框已支持ctrl+回车发送,发送后自动清空
最大对话轮数已经重新加入

@l15y
Copy link

l15y commented Mar 17, 2023

可否像ChatGPT一样把聊天记录显示在一侧?

style.css里加入

.message {
    width: inherit!important;
}

@l15y
Copy link

l15y commented Mar 17, 2023

目前分有选项卡,但仅有chat一个标签,建议把左侧设置内容放在新标签里简化界面

@LainNetWork
Copy link

不知道能否添加文本编辑功能?修改历史对话里的文本

@nanalilo
Copy link

能否改为在局域网也能访问,想让小伙伴分享我运行的chatGLM

@nanalilo
Copy link

能否改为在局域网也能访问,想让小伙伴分享我运行的chatGLM

好吧,这个功能已经有了(加 --listen 参数),我只是设置有问题,顺便给大家也提醒一下。
运行 chatGLM 的主机上不要打开梯子,否则就会提示502 bad gateway。

@ZanoZ
Copy link

ZanoZ commented Mar 19, 2023

首先,谢谢作者给我们这么一个方便使用的工具!!
我个人用得爱不释手,哈哈哈
顺便咨询一下,左边的三个参数,MaxLength, Top P 和温度,分别准确的理解应该是什么呀?
谢谢~

@l15y
Copy link

l15y commented Mar 20, 2023

首先,谢谢作者给我们这么一个方便使用的工具!! 我个人用得爱不释手,哈哈哈 顺便咨询一下,左边的三个参数,MaxLength, Top P 和温度,分别准确的理解应该是什么呀? 谢谢~

Max Length 是生成文本时的长度限制
Top P 控制输出文本中概率最高前 p 个单词的总概率
Temperature 控制生成文本的多样性和随机性。
Top P 变小会生成更多样和不相关的文本;变大会生成更保守和相关的文本。Temperature 变小会生成更保守和相关的文本;变大会生成更奇特和不相关的文本

@l15y
Copy link

l15y commented Mar 20, 2023

1.希望增加多人聊天功能(可共用一个上下文,其他人可以看到)
2.希望增加会话自动保存和快捷切换(ChatGPT那种)
3.打开页面时,直接在chatbox中显示history,而不是在一次会话后才显示

@QNLanYang
Copy link

有点想把这玩意接入nonebot plugin,不知道以后会不会有方便的调用方法

@win10ogod
Copy link

希望增加人物卡、lora、記憶導出、導入的功能

@ZanoZ
Copy link

ZanoZ commented Mar 20, 2023

建议增加一个关闭功能,直接咔嚓杀进程或者窗口,总觉得太野蛮。(不知道未来强AI会不会记恨,有点怕怕。。。)

@ZanoZ
Copy link

ZanoZ commented Mar 20, 2023

问个小白问题:把GLM-130B复制到moduls目录下,然后代码里引用,会有效吗?

@QNLanYang
Copy link

建议增加一个关闭功能,直接咔嚓杀进程或者窗口,总觉得太野蛮。(不知道未来强AI会不会记恨,有点怕怕。。。)

无所谓,你可以拔电源
不知道在控制台窗口按 Ctrl+C 管不管用

@ZanoZ
Copy link

ZanoZ commented Mar 21, 2023

建议增加一个关闭功能,直接咔嚓杀进程或者窗口,总觉得太野蛮。(不知道未来强AI会不会记恨,有点怕怕。。。)

无所谓,你可以拔电源 不知道在控制台窗口按 Ctrl+C 管不管用

Ctrl+C管用,就是粗暴了点

@ZanoZ
Copy link

ZanoZ commented Mar 21, 2023

貌似现在做了radio后容易出错。是不是输入文字太多还是怎么情况,有什么办法可以避免吗

@colinpyy
Copy link

希望能添加实时修改对话文本的功能,保存成json修改完再读取太繁琐了

@samxiaowastaken
Copy link

建议把Max Length等选项放到settings里,放在主界面有点占空间

@win10ogod
Copy link

win10ogod commented Apr 2, 2023

建议添加lora训练与支持。

@ZanoZ
Copy link

ZanoZ commented Apr 3, 2023

首先,谢谢作者给我们这么一个方便使用的工具!! 我个人用得爱不释手,哈哈哈 顺便咨询一下,左边的三个参数,MaxLength, Top P 和温度,分别准确的理解应该是什么呀? 谢谢~

Max Length 是生成文本时的长度限制 Top P 控制输出文本中概率最高前 p 个单词的总概率 Temperature 控制生成文本的多样性和随机性。 Top P 变小会生成更多样和不相关的文本;变大会生成更保守和相关的文本。Temperature 变小会生成更保守和相关的文本;变大会生成更奇特和不相关的文本

这个能整合到ui的提示里面就好叻,每次记不准确没把握还时不时回到这里看一眼,8-)

@DuesCheese
Copy link

希望添加API功能,方便机器人部署。

@colinpyy
Copy link

colinpyy commented Apr 6, 2023

希望添加API功能,方便机器人部署。

chatglm官方的有给API,运行api.py就行了

@QNLanYang
Copy link

#3 (comment)

如果是nonebot的话我有写插件,看我仓库就好,然后找readme里面的两种API都可以

@DuesCheese
Copy link

非常感谢

@hlhlhl231
Copy link

建议能整合微调

@hellodog667
Copy link

目前如果有代码输出的话,是以纯文本形式输出的好像,也不能一键复制那种

@tomjuxie
Copy link

tomjuxie commented Jun 9, 2023

能不能加个本地知识库啊。。。。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests