我今天玩了一天发现有几个问题
1.cpu 无论选几个核心。生成速度都没区别,我的cpu利用率只有20%多,我的电脑700个字符大概要50秒(6核12线程)
2.gpu快很多,利用率100%,700字符大概20秒(3060ti 8g显存)
但两者用流模式,如果用默认的等待间隔,就是生成速度追不上播放速度 你你你好好好啊啊啊
如果我给初始化10秒的等待时间,它一般5秒就开播,播到一半开始追不上播放速度,再次卡,然后卡一段时间,生成完了,后面突然就全部顺畅了,我感觉它没有按顺序生成
3 还有个参数说是多线程同步推理,会增加内存压力,我加了很多,没什么用,还是卡顿,内存也就用了16g,我有32g
我今天玩了一天发现有几个问题
1.cpu 无论选几个核心。生成速度都没区别,我的cpu利用率只有20%多,我的电脑700个字符大概要50秒(6核12线程)
2.gpu快很多,利用率100%,700字符大概20秒(3060ti 8g显存)
但两者用流模式,如果用默认的等待间隔,就是生成速度追不上播放速度 你你你好好好啊啊啊
如果我给初始化10秒的等待时间,它一般5秒就开播,播到一半开始追不上播放速度,再次卡,然后卡一段时间,生成完了,后面突然就全部顺畅了,我感觉它没有按顺序生成
3 还有个参数说是多线程同步推理,会增加内存压力,我加了很多,没什么用,还是卡顿,内存也就用了16g,我有32g