我今天玩了一天发现有几个问题
1.cpu 无论选几个核心。生成速度都没区别，我的cpu利用率只有20%多，我的电脑700个字符大概要50秒(6核12线程)
2.gpu快很多，利用率100%，700字符大概20秒(3060ti 8g显存)
但两者用流模式，如果用默认的等待间隔，就是生成速度追不上播放速度 你你你好好好啊啊啊
如果我给初始化10秒的等待时间，它一般5秒就开播，播到一半开始追不上播放速度，再次卡，然后卡一段时间，生成完了，后面突然就全部顺畅了，我感觉它没有按顺序生成
3 还有个参数说是多线程同步推理，会增加内存压力，我加了很多，没什么用，还是卡顿，内存也就用了16g，我有32g
我今天玩了一天发现有几个问题
1.cpu 无论选几个核心。生成速度都没区别，我的cpu利用率只有20%多，我的电脑700个字符大概要50秒(6核12线程)
2.gpu快很多，利用率100%，700字符大概20秒(3060ti 8g显存)
但两者用流模式，如果用默认的等待间隔，就是生成速度追不上播放速度 你你你好好好啊啊啊
如果我给初始化10秒的等待时间，它一般5秒就开播，播到一半开始追不上播放速度，再次卡，然后卡一段时间，生成完了，后面突然就全部顺畅了，我感觉它没有按顺序生成
3 还有个参数说是多线程同步推理，会增加内存压力，我加了很多，没什么用，还是卡顿，内存也就用了16g，我有32g