[HL :
是这样的,昨晚睡觉前在被窝和deepseek说,int4模型显卡不支持要退回fp16计算,然后deepseek一直给我洗脑!
他说,int4反量化fp16后要回写显存或者内存,然后进行矩阵运算时要再次从显存或者内存读取。
然后我问为什么英伟达不把反量化后就进行矩阵运算,不就不用读取显存或者内存了吗?
deepseek又说,1.构架比较早,当时还没AI计算,英伟达没想到。 2. 市场需求,要兼顾游戏卡之类。。。
反正时baba说了一堆!
结果:
1.问了下openai 和google 2.5, 都坚决否认会二次读取显存或者内存!
一会下面分3楼把对话都发上来! 高下立判!
吊打华伪
] 开个帖子,用实例讲解deepseek如何胡说八道,被GPT和google打脸是这样的,昨晚睡觉前在被窝和deepseek说,int4模型显卡不支持要退回fp16计算,然后deepseek一直给我洗脑!
他说,int4反量化fp16后要回写显存或者内存,然后进行矩阵运算时要再次从显存或者内存读取。
然后我问为什么英伟达不把反量化后就进行矩阵运算,不就不用读取显存或者内存了吗?
deepseek又说,1.构架比较早,当时还没AI计算,英伟达没想到。 2. 市场需求,要兼顾游戏卡之类。。。
反正时baba说了一堆!
结果:
1.问了下openai 和google 2.5, 都坚决否认会二次读取显存或者内存!
一会下面分3楼把对话都发上来! 高下立判!