通义千问2.5一0.5B一instruct下载使用

今天把通义千问2.5一0.5B一instruct下载后在Anaconda中试了下，质量确实远不如7B，表现是普通问题同一问一字不变有时会正确，有时完全乱来，信息抽取难以命中意图，优点仅九百多兆存储，估计边缘计算要用的话狭窄领域微调后可用。我主要是看中它硬件要求极低，没独显一般电脑也能用，教室大屏一体机也能本地安装后学生初步学习AI大模型实践。

windows和linux中它本身可以不用安装，从modelscope下载模型即权重、结构多个文件到硬盘上自建空文件夹中就行，使用时要先有transformers和pytorch等，建议装anaconda，自带或方便装transformers、jupyter等，之后就可直接通过transformers的两大子模块使用此AI了。

不感兴趣

开通SVIP免广告

无独显的机器不需要cuda，只需要在创建模型时指定cpu即可，当然，后面将字符串转成tokens时，tokenizer要用to('cpu')指定算力设备。无独显运算会比较慢，会等分钟级时间才会出较短生成文本。

老哥，我想问一下跑人工智能模型12G显存的5070够吗

@胡梦柯5

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

8回复贴，共1页

<<返回人工智能吧

分享到:

日	一	二	三	四	五	六