Mac Studio M4 通过 vLLM 部署本地大模型,对接 Jeecg-AI
Jeecg-AI 是一套类似 Dify 的 AIGC 应用平台 + 知识库问答 + 零代码应用搭建,是一款基于大型语言模型和 RAG 技术的 AI 应用平台与零代码应用搭建平台,重点提供图文并茂的 AI 知识库和智能聊天功能,界面直观,支持知识库管理、AI 流程编排、模型配置、向
本地运行大语言模型LLM的方法大全
在本文中,我们将看到在本地运行任何 LLM 的不同方法1、LMStudioLM Studio 是一个桌面应用程序,用于在计算机上运行本地 LLM。链接:https://lmstudio.
AI 开发者每天都要刷的网站,准备 130 亿美金卖了
2023 年 8 月,Hugging Face 完成 2.35 亿美元 D 轮融资,当时估值为 45 亿美元,投资者包括 Salesforce、Google、Amazon 和 Nvidia 等科技公司。
AI 快讯|11.01:DeepSeek开源 端侧井喷
AI 圈今日焦点:DeepSeek 深夜开源 Super-agent 底层架构,把计算机系统的调度/缓存/看门狗思想搬进 Agent,多任务完成时间砍半;商汤 Loop-9B 用 9B 参数跑出 27B 表现、Kimi 3D Make 让草图秒变 3D 模型;端侧与小模型继续井喷
私有AI实战05:Ollama、LM Studio、llama.cpp、vLLM怎么选?
同样是把大模型部署到自己的电脑上,有人推荐Ollama,有人更喜欢LM Studio,而到了企业级AI应用,又经常听到llama.cpp和vLLM?你现在在用哪个?
Ollama换掉之后:vLLM和llama.cpp该选哪个?两个默认值差出13%
一、同一个模型文件,两个默认值就能改变结论同一台电脑、同一份 2.5GB 的 GGUF、同一个 llama.cpp,只把启动参数从默认改成 -c 4096 --parallel 1,单个用户的出词速度就从 37.3 tok/s 变成 42.7 tok/s。
谷歌这个开源模型被低估了
谷哥最近给我的惊喜不断啊,一是它的 Gemini 3.8 Flash 在 Antigravity CLI 里相当可靠:我的 Gemini 终于要回本了,开发了一个 macOS。