Llama选型部署微调与RAG实战指南:从8B到405B,低成本少踩坑快速落地
我做 Llama 选型,习惯把它当成一个工具箱。工具箱里有不同年代、不同尺寸、不同许可的模型。任务、数据、预算、硬件这四件事,会决定你该拿哪一把。下面我按家族演进、硬件账本、落地建议三块聊。 1.1...
我做 Llama 选型,习惯把它当成一个工具箱。工具箱里有不同年代、不同尺寸、不同许可的模型。任务、数据、预算、硬件这四件事,会决定你该拿哪一把。下面我按家族演进、硬件账本、落地建议三块聊。 1.1...
上周我在折腾一个线上协作的小项目,需要把实时音视频塞进去。翻了一圈文档和开源仓库,最后选了 LiveKit。原因很简单,它开源、能自托管、SDK 覆盖也全。这篇教程我就按照自己真正踩过的路径走一遍,从...
conda create -n openvoice python=3.10 -y conda activate openvoice ffmpeg -i raw.m4a -ar 22050 -ac 1...
我翻通用航空旧档案时,Piper 总是绕不开的一页。它不像某些品牌靠速度或豪华出圈,Piper 的根扎在“让普通人飞起来”这件事上。从宾夕法尼亚的小厂房,到遍布草地跑道和训练机场的黄色 Cub,这个品...
1.1 Bark 关键词解析:Bark App 家长控制与犬吠行为的语义区分 我第一次在搜索框里敲下“Bark”这个词的时候,脑子里想的其实只有一件事,家里那只一到半夜就开始嚎叫的边牧。结果搜索结果出...
1. Coqui TTS 基础认知与选型指南 1.1 Coqui TTS 是什么:架构、能力与版本演进 我最早接触 Coqui TTS 是在一个需要完全离线部署语音合成的项目里。那时候我试过好几个开源...
1.1 Whisper 的定位:OpenAI 开源语音识别模型 我最早把 Whisper 用在播客转写项目里,当时想找一套能离线跑、不按分钟计费的语音识别方案。OpenAI 把 Whisper 的代码...
1.1 向量检索与 Redis 的角色:从键值存储到向量数据库 我最早接触 Redis 是拿它做缓存,存一些用户会话、页面片段。那时候 Redis 就是个键值存储,速度快得离谱。后来做推荐系统,需要找...
我最早听说“PostgreSQL AI”这个组合时,心里想的是:一个关系型数据库怎么跟 AI 搭上边?后来在几个项目里把向量检索、嵌入存储、RAG 工作流跑通,才慢慢明白,数据库在 AI 时代不是配角...
version: '3.4' services: weaviate: image: semitechnologies/weaviate:1.25.0 ports: - "8080:8080" - "5...