[NS : 云上拾荒者] 试了试LiteRT-lm

看到chrome和安卓自带edgeAI，可以本地运行，研究了一下，它是用litert-lm来host的，就自己下载了一个试验一下。用的是gemmae4b版本，在amd7730u的破笔记本上运行，效果还可以，能达到30-40token/s，可以作为一个路由或者简单agent模型来用。关键是本地，不受网络限制，不花钱，