[NS :
有本地跑ai的需求(内容无法上网),目前对比了2080ti22g,v10032g,308020g,准备买v100本地跑30b左右的小模型。问了ai说主要问题是可能某些算法跟不上最新的(bf16),得量化。还有就是v100牵扯散热问题,我有迷你主机准备买显卡坞通过oculink链接,一般的显卡坞被动散热撑得住吗?有没
蕾米莉亚] 有没有用v100本地跑ai的大佬有本地跑ai的需求(内容无法上网),目前对比了2080ti22g,v10032g,308020g,准备买v100本地跑30b左右的小模型。问了ai说主要问题是可能某些算法跟不上最新的(bf16),得量化。还有就是v100牵扯散热问题,我有迷你主机准备买显卡坞通过oculink链接,一般的显卡坞被动散热撑得住吗?有没