加入 ChatRWKV 支持，请问开发者有没有联系方式

[BlinkDL]

Hi 大家好，我是 RWKV 的作者，目前有中英文 Chat 模型和小说模型，7B 和 14B：

https://zhuanlan.zhihu.com/p/618011122

RWKV 现在有 pip package 可以直接调用推理，支持 INT8 量化，支持 streaming 模式（可以用很小显存运行），支持拆分到多张显卡：

https://pypi.org/project/rwkv/

大家可以合作加入 RWKV 支持吗？如有兴趣可以加 RWKV 的 QQ 群，谢谢。请问 ChatGLM 有没有群，我也加。

[roj234]

我不是作者。

在huggingface的仓库里写config.json，然后就可以加参数--model BlinkDL/rwkv-4-raven，而不需要这边做什么改动
因为用的是AutoModel.from_pretrained
举例
{
"_name_or_path": "THUDM/chatglm-6b",
"architectures": [
"ChatGLMModel"
],
"auto_map": {
"AutoConfig": "configuration_chatglm.ChatGLMConfig",
"AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
"AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration"
},
"bos_token_id": 150004,
"eos_token_id": 150005,
"hidden_size": 4096,
"inner_hidden_size": 16384,
"layernorm_epsilon": 1e-05,
"max_sequence_length": 2048,
"model_type": "chatglm",
"num_attention_heads": 32,
"num_layers": 28,
"position_encoding_2d": true,
"torch_dtype": "float16",
"transformers_version": "4.23.1",
"use_cache": false,
"vocab_size": 150528
}
和ChatGLM项目的其余几个py

[BlinkDL]

RWKV不是GPT模型，目前也还没有加入Huggingface transformers（社区在做，但进度缓慢）

所以目前最方便是调用 RWKV pip package

[wfjsw]

https://huggingface.co/docs/transformers/custom_models

[l15y]

https://github.com/l15y/wenda

[roj234]

https://github.com/roj234/ChatGLM-webui/tree/rwkv

话说rwkv的PIPELINE的sample_logits不知道为什么很卡
还有猫娘真的很哲学，而且出现概率并不是很低