这个暑假前一小部分暑假，在搞这个，我试过很多本地的大模型的软件,比如ollama,bonic,anythingllm,其中bonic也叫做llm studio，这个bonic是他那个时候新推出的agent版。
以下使用后的评价
首先是ollama，老牌中规中矩，有很多大模型，种类较多，但不够全，有前端页面，也支持在终端中，用命令行使用和下载模型，也是我第一次用的，我搞大模型是用来写小说的，怎么说呢，当初刚部署完写第一章的时候还是蛮激动的，但是问题也来了，就是电脑配置，我这个电脑只能下极限14B的大模型，而且用的时候，散热器就已经有点顶不住了，而且生成也慢，不过文笔还算可以，就是逻辑性太差了，这也是没办法的毕竟才14B，上下文也对不上，记忆能力较差，这个问题这能等我换新电脑后解决了。
其次是anything llm，额，就结果而言他并不是大模型软件了，他是帮助大模型更好的接受你传入的文件的，他会把你传入的文件，自动进行切分成一个个文本块，然后放入他的向量库，然后大模型根据关键词检索向量库，但是因为模型太弱，并没有给我特别好的体验，只能说当初刚听到的时候很新奇，然后它可以让你的模型变成agent，也就是能让他帮你改文件，不过依然模型太弱。没感觉，最后他基本能接入ollama,llm studio(bonic)，算是还行
最后是bonic也就是这个封面，大模型种类丰富，基本涵盖大部分市面上的，一些小众的也有，然后bonic自带agent模式，然后可以解除思考模式，算是很强力的但是电脑跟不上。
然后llm studio是有api key的或许可以用来给cloude,codex，ollama我试过了，cc switch不行。