github大模型软件评测
1. 背景互联网上有许多开源的大模型软件，每种软件都有其独特的功能和优缺点。我曾试用过许多大模型软件，但最终效果和具体内容都未能完全记住。因此，本文将主要记录我所了解和使用过的大模型软件。此外，文中还包含一些我需要阅读的相关论文，作为我的待办事项。 待办功能 VAD：音频检测 ASR：发展历史 3D speaker：声纹识别 大模型软件待使用 Dify：agent框架 AnythingLLM：RAG框架 Open-WebUI：聊天对话 geekanMetaGPT(GPT提示词) ragflow MCP实操 minimind：超小型大模型训练，学习大模型框架 GPT_Academic：论文阅读 llm-course：大模型学习框架 chatbox：和open-webui类似的对话大模型 Multi Agent具备规划、记忆、多Agent协调处理、编代码执行和汇总 OpenManus：不太好用 Owl：也不太好用 open interpreter：不太好用 Agent开发框架 MetaGPT： AutoGPT AgentGPT LangChain 浏览器操作智能体 browser use computer use 自动编写代码 OpenHands：自动写代码，学习对应的AGENT框架 开源多模态大模型测试 agentic-od：吴恩达多模态模型 VLM-R1：基于dp-R1的多模态模型 PaliGemma 2 mix：谷歌开源的多模态模型 大模型论文待看 MCP(model context protocol) deepseep -R1论文 agentic-od 2. 软件列表2.1 【AGENT】Dify GitHub地址：https://github.com/langgeni 搭建使用：http://dify.apostle9891.cn ...
关注这几点，帮你拿下400W大项目
最近销售谈了好几个项目都让我很是郁闷，明显感觉到C端的销售和B端的销售有着明显的差别。在B端，大家都是综合来看整个项目，了解项目的规模，项目的预期，项目的关键角色，根据项目的大小提供产品的弹性，以便于能够实现双方的共赢。在C端，就是谈产品单价，至于你卖给谁，卖了多少钱，我不管，但是不能乱我的价格。 举个最简答的例子，如果是B端的一个销售： 我们的产品软硬件的成本在20W左右，一个100W的企业巡检项目，B端销售首先会了解甲方巡检的目的，项目的预算100W的分配和构成，主体是甲方发起巡检项目，集成商作为乙方承接实施安装，我们作为丙方提供产品。然后开展谈判和溢价，最终的结果我们50万给集成商，集成商100W给客户报价，并返点30W。在这个过程中，不断的试探和谈判，最终期望到一个共赢的状态。 如果是C端的销售，那么结果是： 集成商找上来们来告诉有个项目需要软硬件，需要报个价格。C端销售按照60%毛利报50W，最后被集成商压到30W，最后谈到35W。C端的逻辑是我出货给你，这事就算是完了，你卖给谁，我不关心，我只赚我赚的钱。 C端的做法，还是百货走量的思维，量大管饱有优势。但是要详细经营一个B端项目，这个玩法我觉得是不对的。正好分享一些我在B端项目的经验，请记住：==B端的项目核心是在于人，而不是在于产品==。 1....
whisper.cpp 关键词纠错
粗糙转写会在后续放大错误，Whisper.cpp支持自有词典场景关键词拼写纠偏。指令如下：查看文档：https://www.openhab.org/addons/voice/whisperstt/ 12345678```bash./main -m ggml-large-v3.bin -f meeting.wav \ --language zh \ # 中文 --prompt "OKR KPI KenLM 飞轮效应" \ # ⬅ Level‑1：短 prompt 注入 --grammar action_item.gbnf \ # ⬅ Level‑2：GBNF 词典 --grammar-rule root \ --grammar-penalty 60 \ --beam-size 5 其中： --prompt：把 5‑10 个高频术语拼到上下文。 --grammar + --grammar-penalty：真正的“自有词典”功能 1. 什么是grammarGBNF（GGML Backus‑Naur Form） 是 GGML 生态（llama.cpp、whisper.cpp 等）引入的一种 扩展版 BNF 语法，用来给模型输出“加栅栏”——只有满足语法的 token 序列才允许被采样。它在经典 BNF 的基础上，加入了 Regex‑风格的字符范围、重复、可选等写法，既轻量又易读，可直接写成文本文件并在推理时通过 --grammar 加载。 1.1 语法速览 语法元素 含义 示例 产生式 nonterminal ::= 序列 `move ::= pawn 终结符 用引号圈定的字面量 "OKR" "飞轮效应" 字符范围 [a-z] [0-9] … 可加 ^ 取反 [^\n] 并列 /...
whisper.cpp测试与使用
whipser.cpp安装完毕后，加载了多个大模型，分别进行测试。 测试项目下载模型命令： 1sh ./models/download-ggml-model.sh base 测试命令： 12345678# 转化成wavffmpeg -i samples/meeting.m4a -ar 16000 -ac 1 -c:a pcm_s16le samples/meeting.wav# 运行命令./build/bin/whisper-cli \ -f samples/meeting.wav \ # 语音文件 -m models/ggml-base.bin \ # 使用的模型 -l zh \ # 中文 -t 8 # 8线程 设备性能： 7840HS，单核CPU跑，不使用多进程，默认4线程 Model Disk Mem 时长 转化时间 速度 测试结果 tiny 75 MiB ~273 MB 34s 1.1s 31x 需要加上-l zh参数，识别中文，效果不好 base 142 MiB ~388 MB 34s 2.2s 15x 需要加上-l zh参数，识别中文，效果不好 small 466 MiB ~852 MB 34s 9.8s 3.5x 需要加上-l zh参数，识别中文 medium 1.5 GiB ~2.1 GB 34s 21s 1.6x 需要加上-l zh参数 large-v3 2.9 GiB ~3.9 GB 34s 40.7s 0.83x large-v3-turbo.bin 1.6GB 2.6GB 34s 33s 1.03x tiny测试必须要指定中文名称，使用命令./build/bin/whisper-cli -f samples/test.wav -m models/ggml-tiny.bin -l zh, 相同会议识别如下： 123456789101112131415161718[00:00:00.000 -->...
gpt-AI陪伴玩具分析
好的，我将对2024年字节跳动推出的AI陪伴玩偶“显眼包”进行研究，并全面梳理AI陪玩玩具的大盘趋势、竞品生态、用户需求，以及AI大模型在该领域的机会点。 我会涵盖全球和中国市场的现状和动态，并分析显眼包在产品定位和差异化方面的优势或挑战。研究完成后我会尽快反馈给你。 AI陪伴玩具市场研究报告AI陪伴玩具整体市场趋势(image) 2023-2033年全球智能AI玩具市场规模预测（单位：百万美元）。全球AI玩具市场预计将保持年均约15.7%的增长率，到2033年达到约75亿美元规模 (PowerPoint 演示文稿) (PowerPoint 演示文稿)。 近年来，AI技术与玩具行业的融合催生出“AI陪伴玩具”这一新兴细分市场，并呈现出高速增长趋势。根据ARK Invest的报告，“AI+情感陪伴”的全球市场规模有望扩大数千倍，从当前每年仅约3000万美元的收入增长至约700亿~1500亿美元的规模 (PowerPoint 演示文稿)。虽然这一预测相当乐观，但各权威机构的数据也表明AI玩具市场正快速崛起：2023年全球智能AI玩具市场规模约为17.45亿美元，预计2033年将达75.02亿美元，十年复合增长率达15.7% (PowerPoint 演示文稿) (PowerPoint 演示文稿)。AI赋能的智能玩具正成为传统玩具市场新的增长点。 在区域市场方面，中国的AI智能玩具市场增速尤为亮眼。数据显示，2019年中国智能玩具市场规模为66.2亿元人民币，迅速增长至2023年的235.18亿元，年复合增速高达37.3% (PowerPoint 演示文稿)。相比成熟的欧美日玩具市场（2023年美国玩具市场约385亿美元、中国173亿美元、日本62亿美元 (PowerPoint 演示文稿)），中国智能玩具市场仍有巨大潜力尚待释放。一方面，中国家庭愈发重视儿童教育与陪伴，愿意为高品质的智能玩具支付溢价；据统计，2023年天猫平台上儿童学习机器人的平均售价超过1510元，而普通毛绒玩具平均价仅72.6元，表明家长愿为具有智能功能的玩具投入更多预算 (PowerPoint...
本地部署的docker应用
本地环境：硬件：8745HS +32G内存+1T ssd以下是我部署的一些docker项目【不定时更新】 1. 开发与API工具 分类 项目名 镜像 Git服务 gitea gitea/gitea API管理 yapi yapi API服务 uni-api yym68686/uni-api API服务 qwen2api rfym21/qwen2api API服务 new-api calciumion/new-api API服务 dangbei2api xy2yp/dangbei2api API聚合 one-api justsong/one-api 开发工具 it-tools corentinth/it-tools 开发工具 reference wcjiang/reference 开发工具 linux-command wcjiang/linux-command 网站检测 web-check lissy93/web-check 自动化工具 n8n n8nio/n8n 2....
mem0-大模型的长期记忆
1. 背景最近在使用虾哥开源的小智机器人软件中，看到了mem0的软件方案，好奇之下搜索了一下，发现大有来头。在OpenAI 投资了 370 万美金给一个叫 Dot 的应用，这个应用背后的核心技术是「超强个性记忆」， Mem0 开源了Mem0的代码， 在 GitHub 上开源仅1天就斩获近万星，超越 RAG、为 LLM里和Agent提供长期记忆。 1234# github https://github.com/mem0ai/mem0# 产品说明https://docs.mem0.ai/platform/quickstart 那么mem0究竟是什么呢，可以做什么呢？我的理解其实是RAG和大模型的中间层，既相比于知识库的臃肿，大模型的小容量，mem0为大型语言模型（LLM）提供了一个智能且自我改进的记忆层，使AI能够根据用户的交互不断学习和适应，从而在各种应用中提供更加个性化和连贯的用户体验。 2. 原理和实现Mem0 基于向量数据库实现记忆的存储和检索。它将用户的行为、偏好和历史交互编码为向量形式，并存储在向量数据库中。这种向量化的存储方式使得系统能够通过向量相似性搜索，快速找到与当前交互最相关的记忆。此外，Mem0 还利用了 LLM 的函数调用能力来实现记忆的存储和检索，这意味着 Mem0 可以与各种 LLM 系统无缝集成，借助 LLM 的强大计算能力来优化记忆管理，步骤如下： 记忆抽取：基于用户问题，让大模型做记忆抽取，提取事实和偏好。 问题向量化：对问题做embeding,基于语义做相似度的向量检索(top5) 基于抽取记忆和相关记忆，选择工具（call function），新增/更新/删除记忆,更新向量数据库qdrant和关系数据库sqlite 上报信息到mem0 2.1 记忆抽取使用大模型记忆抽取prompt如下： 123456789Deduce the facts, preferences, and memories from the provided text.Just return the facts,...
优必选小方头刷小智机器人
1. 背景最近在调研看智能萌宠机器人，正好看到网上有人买了优必选的小方头机器来刷目前的小智，所以买来试试。小方头机器人在2019年9月20日发布，售价1099元，现在咸鱼100块钱就能买到；小智机器人目前代码是开源的，进行了部署和安装。安装后效果如下： 您的浏览器不支持视频播放。 2. 安装部署需要的硬件材料如下： 小方头机器人1个。 window电脑1台，用于adb安装。 Linux服务器1台，用于提供xiaozhi的server。 2.1 服务端部署部署参考github，按照要求安装即可。 1https://github.com/xinnan-tech/xiaozhi-esp32-server 推荐使用4核8G方案，目前我的做法是本地局域网有1台服务器，通过frp做反向代理到腾讯云（1台轻量服务器），既保证有共有云IP，又能保证设备性能需求。 2.2 小方头安装软件2.2.1 准备工作这里感谢小智AI机器人大佬开源，如果是单片机ESP32，可以查看文档： 1https://rcnv1t9vps13.feishu.cn/wiki/DdgIw4BUgivWDPkhMj1cGIYCnRf 也感谢B站大佬对小智机器人安卓端做了移植，视频地址如下： 1https://www.bilibili.com/video/BV1C3A5ekEwX/?spm_id_from=333.1391.0.0&vd_source=1145cea297ba540483df4e202ffcde77 小智安卓版实时最新版本下载地址如下： 1https://pan.quark.cn/s/e3ece368d261...