您现在的位置是:网站首页> AI人工智能

优秀的AI开源项目&模型

摘要

优秀的AI开源项目&模型

基于gradio框架开发知识收集


1.jpg


Dify 一个开源 LLM 应用开发平台【与coze对标】

Coze Studio 是一站式 AI Agent 开发工具

喂饭教程!15分钟用Dify搭建基于智能体的聊天式数据查询应用

AI工具整合一

AI工具整合二

InstantID一张照片生成各种风格写真图

开源三国之 Gemma:Google 最强开源模型 Gemma 能打吗

Fay开源数字人框架

supervision为你书写可重用的计算机视觉工具

suno-ai/bark文本转语音支持多种语言

coqui/xtts最强的克隆声音tts

TencentARC/PhotoMaker根据一组照片生成该人物其他照片

FishAudio接近人声的tts

Omost简单提示词扩展成详细且精准的Prompt

ChatTTS-ui将文字合成为语音,同时支持对外提供API接口

LivePortrait快手最新脸部视频AI模型

Unique3D从单个图像生成高质量、高效的 3D 网格

EchoMimic数字人

DiffMorpher:一键生成两张图片平滑变形视频

Pinokio:一键安装所有开源 AI 应用,编程小白的福音

FLUX.1 模型的官方推理库

Deep-Live-Cam实时换脸只需要一张图片

开源可离线运行的AI生产力工具,保护数据隐私,功能强大

IOPaint | 一个超级好用的万能AI工具,抠图,擦除,扩图,形状替换,环境感知等

FireRedTTS整合包,1021,官方模型更新,支持长文本

VideoChat实时语音交互数字人

Llama-3.3-70B震撼登场!70b参数128k上下文性能接近gpt4

QVQ-72B开源的图像转文字的开源模型

CapCutAPI轻量、灵活、易上手的剪映/CapCutAPI工具,构建全自动化视频剪辑/混剪流水线

智能闲鱼客服机器人系统

视频语音转字幕AsrTools

数字人系统Open Avatar Chat,点击在线体验

easyVoice开源文本转语音工具,支持超长文本,多角色配音,点击在线体验

AICG - AI驱动的智能视频创作平台

再见 Whisper!会议记录神器,完全离线免费

阿里开源语音交互大模型

图片转3D sam-3d-objects

Wiseflow:一个借助大模型的零代码爬虫平台,B站查教程

VocoType - 精准的离线语音输入法(点击进官网)

开源合集

awesome-llm-apps AI 落地案例

haystack编排框架,用于构建可定制的、生产就绪的 LLM 应用程序

InfiniteTalk无限长度的谈话视频生成

手搓AI夜视婴儿看护器,80亿参数大模型帮我熬夜带娃


可编程AI开发库或软件

Voicebox:把 ElevenLabs 的平替做到了本地,克隆声音、23 种语言、还能直接挂 API


学习AI编程例子

唐诗视频生成器


AI模型调用框架

开源的的AI模型及调用平台

Ollama 模型调用平台


企业知识库

MaxKB搭建知识库


Agent本地搭建(除豆包、WorkBuddy、Codex、Claude Code、OpenClaw、DeepSeek Harness)

本地搭建自己的Agent一般使用哪些开源软件

Ollama + LangGraph + RAG (Chroma) + MCP Skill 完整版 Agent


开源模型

AI 漫剧生成HyperFlow H3 Flash 免费开源,本地部署生成速度飞快

推荐3款开源「越狱」模型!100%无审查,绕过限制,8G显存也能跑

MiniMax H3 越狱模型!开源无审查,8GB 显存也能跑,INT8 加速质量更高








Dify 一个开源 LLM 应用开发平台

点击查看源码

Dify 是一个开源 LLM 应用开发平台。Dify 的直观界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等,让您可以快速从原型转向生产




喂饭教程!15分钟用Dify搭建基于智能体的聊天式数据查询应用

点击在线体验





InstantID一张照片生成各种风格写真图

InstantID的效果非常惊艳,它能够在各种风格中生成高保真的个性化图像,例如卡通、油画、素描、动漫、游戏等。用户只需要输入一张面部图像和一段文本描述,就能得到满意的结果。

4.jpg

InstantID 的创新之处主要有三个方面:

人脸特征提取:InstantID 利用预训练的人脸编码器,比如 InsightFace 的 antelopev 模型,来提取强语义的人脸特征,以增强图像生成的语义准确性。这样,扩散模型就能更好地识别和保留人脸的细节,比如眼睛、鼻子、嘴巴等。

Cross-Attention 机制:InstantID 通过解耦的交叉注意力机制,将人脸特征作为 Image Prompt 嵌入,增强文本提示的效果,同时保持对生成图像的精细控制。这样,扩散模型就能更好地根据文本的要求,来调整图像的风格,比如颜色、光照、背景等。

IdentityNet:InstantID 引入 IdentityNet 对人脸图像进行编码,通过强语义和弱空间的条件控制,进一步提升 ID 的保真度。IdentityNet 是一个可插拔的模块,它可以和任何预训练的文本到图像扩散模型兼容,而无需重新训练。


项目地址:

https://instantid.github.io/


代码地址:

https://github.com/InstantID/InstantID


体验地址:

https://huggingface.co/spaces/InstantX/InstantID


特别注意要写实的照片,将风格设置为无风格



开源三国之 Gemma:Google 最强开源模型 Gemma 能打吗



Fay开源数字人框架

点击进入软件主页

点击进入接入教程



supervision为你书写可重用的计算机视觉工具

点击进入项目主页

样例代码

import cv2

import supervision as sv

from ultralytics import YOLO


image = cv2.imread(...)

model = YOLO('yolov8s.pt')

result = model(image)[0]

detections = sv.Detections.from_ultralytics(result)


len(detections)



import supervision as sv


dataset = sv.DetectionDataset.from_yolo(

    images_directory_path=...,

    annotations_directory_path=...,

    data_yaml_path=...

)


dataset.classes

['dog', 'person']


len(dataset)



suno-ai/bark文本转语音支持多种语言

点击进入github地址

点击进入huggingface体验地址

基本使用

from bark import SAMPLE_RATE, generate_audio, preload_models

from scipy.io.wavfile import write as write_wav

from IPython.display import Audio


# download and load all models

preload_models()


# generate audio from text

text_prompt = """

     Hello, my name is Suno. And, uh — and I like pizza. [laughs] 

     But I also have other interests such as playing tic tac toe.

"""

audio_array = generate_audio(text_prompt, history_prompt="v2/en_speaker_1")


# save audio to disk

write_wav("bark_generation.wav", SAMPLE_RATE, audio_array)

  

# play text in notebook

Audio(audio_array, rate=SAMPLE_RATE)


命令行方式

python -m bark --text "Hello, my name is Suno." --output_filename "example.wav"


安装:

pip install git+https://github.com/suno-ai/bark.git

or

git clone https://github.com/suno-ai/bark

cd bark && pip install . 


通过Transformers使用

pip install git+https://github.com/huggingface/transformers.git


from transformers import AutoProcessor, BarkModel

from IPython.display import Audio

import scipy


processor = AutoProcessor.from_pretrained("suno/bark")

model = BarkModel.from_pretrained("suno/bark")


voice_preset = "v2/en_speaker_6"


inputs = processor("Hello, my dog is cute", voice_preset=voice_preset)


audio_array = model.generate(**inputs)

audio_array = audio_array.cpu().numpy().squeeze()

#播放

sample_rate = model.generation_config.sample_rate

Audio(audio_array, rate=sample_rate)


#生成文件

sample_rate = model.generation_config.sample_rate

scipy.io.wavfile.write("bark_out.wav", rate=sample_rate, data=audio_array)



coqui/xtts最强的克隆声音tts

点击进入体验地址

点击进入github地址


if you are only interested in synthesizing speech with the released 🐸TTS models, installing from PyPI is the easiest option.

pip install TTS


If you plan to code or train models, clone 🐸TTS and install it locally.

git clone https://github.com/coqui-ai/TTS

pip install -e .[all,dev,notebooks]  # Select the relevant extras


Running a multi-speaker and multi-lingual model


import torch

from TTS.api import TTS


# Get device

device = "cuda" if torch.cuda.is_available() else "cpu"


# List available 🐸TTS models

print(TTS().list_models())


# Init TTS

tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(device)


# Run TTS

# ❗ Since this model is multi-lingual voice cloning model, we must set the target speaker_wav and language

# Text to speech list of amplitude values as output

wav = tts.tts(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en")

# Text to speech to a file

tts.tts_to_file(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")



Running a single speaker model


# Init TTS with the target model name

tts = TTS(model_name="tts_models/de/thorsten/tacotron2-DDC", progress_bar=False).to(device)


# Run TTS

tts.tts_to_file(text="Ich bin eine Testnachricht.", file_path=OUTPUT_PATH)


# Example voice cloning with YourTTS in English, French and Portuguese

tts = TTS(model_name="tts_models/multilingual/multi-dataset/your_tts", progress_bar=False).to(device)

tts.tts_to_file("This is voice cloning.", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")

tts.tts_to_file("C'est le clonage de la voix.", speaker_wav="my/cloning/audio.wav", language="fr-fr", file_path="output.wav")

tts.tts_to_file("Isso é clonagem de voz.", speaker_wav="my/cloning/audio.wav", language="pt-br", file_path="output.wav")


Converting the voice in source_wav to the voice of target_wav


tts = TTS(model_name="voice_conversion_models/multilingual/vctk/freevc24", progress_bar=False).to("cuda")

tts.voice_conversion_to_file(source_wav="my/source.wav", target_wav="my/target.wav", file_path="output.wav")



you can clone voices by using any model in 🐸TTS.


tts = TTS("tts_models/de/thorsten/tacotron2-DDC")

tts.tts_with_vc_to_file(

    "Wie sage ich auf Italienisch, dass ich dich liebe?",

    speaker_wav="target/speaker.wav",

    file_path="output.wav"

)



 text to speech using Fairseq models in ~1100 languages 


# TTS with on the fly voice conversion

api = TTS("tts_models/deu/fairseq/vits")

api.tts_with_vc_to_file(

    "Wie sage ich auf Italienisch, dass ich dich liebe?",

    speaker_wav="target/speaker.wav",

    file_path="output.wav"

)



Command-line tts


List provided models:

$ tts --list_models


Query by type/name: The model_info_by_name uses the name as it from the --list_models.

$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"

For example:

$ tts --model_info_by_name tts_models/tr/common-voice/glow-tts

$ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2



Query by type/idx: The model_query_idx uses the corresponding idx from --list_models.

$ tts --model_info_by_idx "<model_type>/<model_query_idx>"

For example:

$ tts --model_info_by_idx tts_models/3


Query info for model info by full name:

$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"



Run TTS with default models:

$ tts --text "Text for TTS" --out_path output/path/speech.wav


Run TTS and pipe out the generated TTS wav file data:

$ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay


Run a TTS model with its default vocoder model:

$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav

For example:

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav


Run with specific TTS and vocoder models from the list:

$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --vocoder_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav

For example:

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav


Run your own TTS model (Using Griffin-Lim Vocoder):

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav



Run your own TTS and Vocoder models:

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav

    --vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json



Multi-speaker Models

List the available speakers and choose a <speaker_id> among them:

$ tts --model_name "<language>/<dataset>/<model_name>"  --list_speaker_idxs


Run the multi-speaker TTS model with the target speaker ID:

$ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>"  --speaker_idx <speaker_id>



Run your own multi-speaker TTS model:

$ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx <speaker_id>



Voice Conversion Models

$ tts --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --source_wav <path/to/speaker/wav> --target_wav <path/to/reference/wav>



TencentARC/PhotoMaker根据一组照片生成该人物其他照片

点击进入体验地址

点击进入源码地址



FishAudio接近人声的tts

GitHub :https://github.com/fishaudio/fish-speech

在线体验:https://fish.audio/zh-CN/



Omost简单提示词扩展成详细且精准的Prompt

点击进入源码

点击进入体验站点



ChatTTS-ui将文字合成为语音,同时支持对外提供API接口

一个简单的本地网页界面,使用ChatTTS将文字合成为语音,同时支持对外提供API接口

点击进入源码页



LivePortrait快手最新脸部视频AI模型

点击查看源码

在线体验1

在线体验2


1. 克隆代码并准备环境

git clone https://github.com/KwaiVGI/LivePortrait

cd LivePortrait


# create env using conda

conda create -n LivePortrait python==3.9

conda activate LivePortrait


# install dependencies with pip (for Linux and Windows)

pip install -r requirements.txt

# for macOS with Apple Silicon

pip install -r requirements_macOS.txt

注意:确保您的系统已安装FFmpeg,包括ffmpeg和ffprobe!


2. 下载预训练权重

下载预训练权重的最简单方法是从 HuggingFace 下载:


# first, ensure git-lfs is installed, see: https://docs.github.com/en/repositories/working-with-files/managing-large-files/installing-git-large-file-storage

git lfs install

# clone and move the weights

git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights

mv temp_pretrained_weights/* pretrained_weights/

rm -rf temp_pretrained_weights

或者,你可以从Google Drive或百度云下载所有预训练权重。解压并将它们放在 中./pretrained_weights。


确保目录结构如下,或包含:


pretrained_weights

├── insightface

│   └── models

│       └── buffalo_l

│           ├── 2d106det.onnx

│           └── det_10g.onnx

└── liveportrait

    ├── base_models

    │   ├── appearance_feature_extractor.pth

    │   ├── motion_extractor.pth

    │   ├── spade_generator.pth

    │   └── warping_module.pth

    ├── landmark.onnx

    └── retargeting_models

        └── stitching_retargeting_module.pth

3.推理

快速动手

# For Linux and Windows

python inference.py


# For macOS with Apple Silicon, Intel not supported, this maybe 20x slower than RTX 4090

PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py

如果脚本成功运行,你会得到一个名为 的输出mp4文件animations/s6--d0_concat.mp4。此文件包含以下结果:驾驶视频,输入图像和生成的结果。


图像


-s或者,您可以通过指定和参数来更改输入-d:


python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4


# disable pasting back to run faster

python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4 --no_flag_pasteback


# more options to see

python inference.py -h


驾驶视频自动裁剪

📕 要使用您自己的驾驶视频,我们建议:


将其裁剪为1:1 的宽高比(例如 512x512 或 256x256 像素),或通过 启用自动裁剪--flag_crop_driving_video。

重点关注头部区域,与示例视频类似。

尽量减少肩部运动。

确保驾驶视频的第一帧是正面且表情中性。

以下是自动裁剪的案例--flag_crop_driving_video:


python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d13.mp4 --flag_crop_driving_video

如果觉得自动裁剪的效果不好,您可以修改--scale_crop_video、--vy_ratio_crop_video选项来调整比例和偏移量,或者手动进行调整。


动作模板制作

您还可以使用自动生成的以 结尾的运动模板文件来.pkl加速推理,并保护隐私,例如:


python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d5.pkl

在我们的主页上发现更多有趣的结果😊


4. Gradio 界面

我们还提供了 Gradio界面以获得更好的体验,只需运行即可:


# For Linux and Windows:

python app.py


# For macOS with Apple Silicon, Intel not supported, this maybe 20x slower than RTX 4090

PYTORCH_ENABLE_MPS_FALLBACK=1 python app.py

您可以指定--server_port、、--share参数--server_name来满足您的需求!


🚀 我们还提供了加速选项--flag_do_torch_compile。首次推理会触发优化过程(约一分钟),使后续推理速度提高 20-30%。性能提升可能因 CUDA 版本的不同而有所差异。


# enable torch.compile for faster inference

python app.py --flag_do_torch_compile



Unique3D从单个图像生成高质量、高效的 3D 网格

点击查看源码

点击在线演示1

点击在线演示2

点击在线演示3



EchoMimic数字人

点击进入源码地址

EchoMimic整合包:https://pan.quark.cn/s/9bba5f7f7167



DiffMorpher:一键生成两张图片平滑变形视频

开源地址:https://github.com/Kevin-thu/DiffMorpher

一键启动包:https://aiyy.info/diffmorpher/

点击在线体验



Pinokio:一键安装所有开源 AI 应用,编程小白的福音

点击查看原文

点击查看源码

点击进入软件主页

Pinokio整合了几乎所有市面上开源的 AI 工具,不管是大语言模型、AI 绘画、AI语音、AI 视频,还是AI 音乐等其他相关的AI工具,全部都可以在这里找到。


而这款工具,它最大的亮点就是这些 AI 应用都可以傻瓜式地一键安装。这也是为什么我说Pinokio是编程小白的福音,无需懂编程,无需会代码,只要会电脑就行。


哪怕对于编程大佬也是可以入手的一款工具,以前我们在本地部署开源AI工具,我们需要按步骤一步步克隆项目、安装/解决依赖、运行调试,特别繁琐,如今只需要一键安装即可。


AI应用一键安装

说实话,作为一个程序员,我在第一次听到“一键安装”这个概念时,真的是抱着怀疑的态度。


毕竟,以前安装 Stable Diffusion、ComfyUI、TTS 等AI应用时,我可是吃尽了苦头。各种环境配置、命令行操作,还有那无穷无尽的报错信息,简直让人头疼。但 Pinokio 彻底改变了我的看法。


记得第一次尝试安装 Stable Diffusion Web UI 时,即便按照官方文档一步步操作,依旧避免不了各种莫名其妙的错误。毕竟我是在Mac上用的,不像Windows有秋叶大佬那样的大神给封装好启动器,一键就可运行。


那段时间,我真的想把电脑砸了。安装好了也还时不时出些小毛病!


Pinokio支持全平台(除了移动端):Windows、Mac、Linux


下载可直接前往GitHub项目下,如网络条件差的朋友,小编也在文末提供下载好的资源!


如何安装Pinokio

官网:https://pinokio.computer/


GitHub:https://github.com/pinokiocomputer/pinokio


安装途径一:官网直接下载


点击“Download”


安装途径二:GitHub Release页面下载


安装包下载到本地后,就可以双击进行安装了(我是在Mac电脑上进行的)


Tips:如果Mac上安装完成后,打开Pinokio时提示“文件已损坏,您应该将它移到废纸篓”,请执行以下命令即可解决: xattr -rd com.apple.quarantine /Applications/Pinokio.app


Pinokio界面功能介绍

首次进行Pinokio会显示如下设置界面,需要设置Pinokio的Home目录,也就是之后安装AI工具时存储的主目录,所有安装的AI工具都会在此目录下,然后设置Pinokio的主题(暗黑和亮白)按照自己习惯就行。


保存后会进入到Pinokio应用主界面,然后点击“Visit Discover Page”


这样就进入到一个类似于应用市场的界面,可以安装脚本库中有的开源AI工具。


“Community Script”顾名思义为社区脚本工具,指的是pinokio内需的脚本工具


“Download from URL”自定义开源AI工具安装,只要是GitHub上有的,其实都可以复制github链接进行一键式安装。


Pinokio 一键式安装AI应用

接下来就拿 IDM-VTON 这个开源换装项目,做一个演示说明。直接点击Download下载。


会出现如下环境依赖安装界面,比如:Python虚拟环境管理应用conda、git拉取代码、zip解压用的等等。(有一点觉得不好,不支持自定义软件路径,像conda/git/zip/py/brew其实会编程的基本上自己电脑都会安装过,无需再安装新的)


我们直接点击Install安装,等待下载完成


直到7个安装依赖都安装完成后,提示Install Complete!说明所有依赖安装完成!


此时会弹出一个弹窗,让你继续安装AI应用,在我这里也就是安装IDM-VTON项目


由于是测试给大家看的,安装时间比较久,所以结果就不在这里展示了,如果想安装其他项目的小伙伴照此流程即可。


安装完成后的项目会在主界面显示,直接Star启动项目就行了。


还有一个功能,Pinokio可以开启一个本地HTTP服务,就跟客户端界面一样,在浏览器上一样可以执行所有的操作。


所以,测验用了下 Pinokio,安装AI工具简直就像喝水一样简单。一键安装,自动搞定所有配置。


(但是还是可能因为网络原因,安装失败!再就是安装的项目对显卡有特别的最低要求,所以请根据电脑配置选择是否安装相应的AI应用)


相信编程小白,使用后的那种感觉,就像是解锁了新技能,会特别有成就感



FLUX.1 模型的官方推理库

点击进入开源地址

https://huggingface.co/spaces/ChristianHappy/FLUX.1-schnell

https://replicate.com/collections/flux

https://replicate.com/black-forest-labs/flux-pro

https://replicate.com/black-forest-labs/flux-dev

https://replicate.com/black-forest-labs/flux-schnell


FLUX生成图片格式技巧


问AI获得相机生成图片格式

世界上做好的相机是啥

相机拍摄的图像的格式是啥


最后提示词变为

相机特有格式文件

如 L1000001.DNG:提示词



Deep-Live-Cam实时换脸只需要一张图片

点击进入源码页

1.png



C#开源可离线运行的AI生产力工具,保护数据隐私,功能强大

开源地址:https://github.com/rnchg/Apt



IOPaint | 一个超级好用的万能AI工具,抠图,擦除,扩图,形状替换,环境感知等

点击查看源码

一键包下载

夸克:https://pan.quark.cn/s/132bcc341ad4 提取码:xjag

mega:https://mega.nz/folder/Qu0zETKT#yxsnmmLtJfkWUNrk8KFq7Q

官网:https://www.iopaint.com/

点击在线体验



FireRedTTS整合包,1021,官方模型更新,支持长文本

点击进入项目源码主页

Clone and install

Clone the repo

https://github.com/FireRedTeam/FireRedTTS.git

cd FireRedTTS

Create conda env

# step1.create env

conda create --name redtts python=3.10


# stpe2.install torch (pytorch should match the cuda-version on your machine)

# CUDA 11.8

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia

# CUDA 12.1

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia


# step3.install fireredtts form source



Download models

Download the required model files from Model_Lists and place them in the folder pretrained_models


Basic Usage

import os

import torchaudio

from fireredtts.fireredtts import FireRedTTS


tts = FireRedTTS(

    config_path="configs/config_24k.json",

    pretrained_path=<pretrained_models_dir>,

)


#same language

rec_wavs = tts.synthesize(

        prompt_wav="examples/prompt_1.wav",

        text="小红书,是中国大陆的网络购物和社交平台,成立于二零一三年六月。",

       ,

)


rec_wavs = rec_wavs.detach().cpu()

out_wav_path = os.path.join("./example.wav")

torchaudio.save(out_wav_path, rec_wavs, 24000)



VideoChat实时语音交互数字人


实时语音交互数字人,支持端到端语音方案(GLM-4-Voice - THG)和级联方案(ASR-LLM-TTS-THG)。可自定义形象与音色,支持音色克隆,首包延迟低至3s。

在线demo:https://www.modelscope.cn/studios/AI-ModelScope/video_chat

TODO:

TTS模块添加音色克隆功能

 TTS模块添加edge-tts

 LLM模块添加qwen本地推理

 支持GLM-4-Voice,提供ASR-LLM-TTS-THG和MLLM-THG两种生成方式

 GLM-4-Voice集成vllm推理加速

 集成gradio-webrtc(需等待支持音视频同步),提高视频流稳定性



Llama-3.3-70B震撼登场!70b参数128k上下文性能接近gpt4



QVQ-72B开源的图像转文字的开源模型

点击进入体验地址

点击进入模型地址



CapCutAPI轻量、灵活、易上手的剪映/CapCutAPI工具,构建全自动化视频剪辑/混剪流水线

点击打开开源地址

项目功能

本项目是一个基于Python的剪映/CapCut处理工具,提供以下核心功能:


核心功能

草稿文件管理:创建、读取、修改和保存剪映/CapCut草稿文件

素材处理:支持视频、音频、图片、文本、贴纸等多种素材的添加和编辑

特效应用:支持添加转场、滤镜、蒙版、动画等多种特效

API服务:提供HTTP API接口,支持远程调用和自动化处理

AI集成:集成多种AI服务,支持智能生成字幕、文本和图像

主要API接口

/create_draft创建草稿

/add_video:添加视频素材到草稿

/add_audio:添加音频素材到草稿

/add_image:添加图片素材到草稿

/add_text:添加文本素材到草稿

/add_subtitle:添加字幕到草稿

/add_effect:添加特效到素材

/add_sticker:添加贴纸到草稿

/save_draft:保存草稿文件

配置说明

配置文件

项目支持通过配置文件进行自定义设置。要使用配置文件:


复制config.json.example为config.json

根据需要修改配置项

cp config.json.example config.json

环境配置

ffmpeg

本项目依赖于ffmpeg,您需要确保系统中已安装ffmpeg,并且将其添加到系统的环境变量中。


Python 环境

本项目需要 Python 3.8.20 版本,请确保您的系统已安装正确版本的 Python。


安装依赖

安装项目所需的依赖包:


pip install -r requirements.txt

运行服务器

完成配置和环境设置后,执行以下命令启动服务器:


python capcut_server.py

服务器启动后,您可以通过 API 接口访问相关功能。


使用示例

添加视频

import requests


response = requests.post("http://localhost:9001/add_video", json={

    "video_url": "http://example.com/video.mp4",

    "start": 0,

    "end": 10,

    "width": 1080,

    "height": 1920

})


print(response.json())

添加文本

import requests


response = requests.post("http://localhost:9001/add_text", json={

    "text": "你好,世界!",

    "start": 0,

    "end": 3,

    "font": "思源黑体",

    "font_color": "#FF0000",

    "font_size": 30.0

})


print(response.json())

保存草稿

import requests


response = requests.post("http://localhost:9001/save_draft", json={

    "draft_id": "123456",

    "draft_folder":"your capcut draft folder"

})


print(response.json())

也可以用 REST Client 的 rest_client_test.http 进行http测试,只需要安装对应的IDE插件


复制草稿到剪映/capcut草稿路径

调用save_draft会在服务器当前目录下生成一个dfd_开头的文件夹,将他复制到剪映/CapCut草稿目录,即可看到生成的草稿


更多示例

请参考项目的example.py文件,其中包含了更多的使用示例,如添加音频、添加特效等。


项目特点

跨平台支持:同时支持剪映和CapCut国际版

自动化处理:支持批量处理和自动化工作流

丰富的API:提供全面的API接口,方便集成到其他系统

灵活的配置:通过配置文件实现灵活的功能定制

AI增强:集成多种AI服务,提升视频制作效率


开源合集

生成视频

https://github.com/jy0205/Pyramid-Flow

生成绘制过程

https://github.com/lllyasviel/Paints-UNDO


awesome-llm-apps AI 落地案例

查看源码

使用 RAG、AI 代理、多代理团队、MCP、语音代理等构建的精选 LLM 应用程序的精选集合。该存储库包含使用 OpenAI、Anthropic、Google 模型的 LLM 应用程序,以及可以在计算机上本地运行的 DeepSeek、Qwen 或 Llama 等开源模型。



haystack编排框架,用于构建可定制的、生产就绪的 LLM 应用程序

点击查看源码

AI 编排框架,用于构建可定制的、生产就绪的 LLM 应用程序。将组件(模型、矢量数据库、文件转换器)连接到可以与数据交互的管道或代理。凭借先进的检索方法,它最适合构建 RAG、问答、语义搜索或对话代理聊天机器人。



InfiniteTalk无限长度的谈话视频生成

点击查看源码

我们提出了 InfiniteTalk,一种新颖的稀疏帧视频配音框架。给定输入视频和音轨,InfiniteTalk 会合成具有准确唇部同步的新视频,同时将头部运动、身体姿势和面部表情与音频保持一致。与仅关注嘴唇的传统配音方法不同,InfiniteTalk 可以生成无限长度的视频,具有准确的口型同步和一致的身份保留。此外,InfiniteTalk 还可以用作图像音频到视频模型,以图像和音频作为输入。



AICG - AI驱动的智能视频创作平台

AI长视频生成,高质量解说流,有声书,自动发布B站。

点击查看源码

快速开始

📋 前置要求

工具 版本要求 说明

Node.js >= 18.0.0 前端运行环境

Python >= 3.11 后端运行环境

uv 最新版 Python包管理器

FFmpeg 最新版 视频处理核心

Docker 最新版 基础设施服务


🔑 API平台注册

本项目依赖第三方AI模型,需要注册以下平台:

[推荐] 硅基流动 (TTS/大模型)

注册链接:https://cloud.siliconflow.cn/i/63zI7Mdc

用途:高质量中文TTS、大模型服务


[低成本] 第三方中转平台 (Sora_Image)

注册链接:https://api.vectorengine.ai/register?aff=YVx7

用途:低成本图片生成(约0.04元/张)


📦 快速安装

# 1. 克隆项目

git clone https://github.com/869413421/aicon2.git

cd aicon2


# 2. 配置环境变量

cp .env.example .env

# 编辑.env文件,填入必要配置


# 3. 启动基础设施(PostgreSQL, Redis, MinIO)

docker-compose up -d


# 4. 启动后端

cd backend

uv sync

alembic upgrade head

uv run uvicorn src.main:app --reload --host 0.0.0.0 --port 8000


# 5. 启动Celery Worker(新终端)

cd backend

uv run celery -A src.tasks.task worker --loglevel=info


# 6. 启动前端(新终端)

cd frontend

npm install

npm run dev

✅ 验证安装

访问以下地址确认服务正常:


🌐 前端应用: http://localhost:3000

📚 API文档: http://localhost:8000/docs

📦 MinIO控制台: http://localhost:9001 (minioadmin/minioadmin123)


成本优化建议

推荐配置(极致性价比)

步骤 推荐服务 成本

提示词生成 GPT-4o-mini / DeepSeek ~¥0.001/句

图片生成 Sora_Image(中转平台) ~¥0.04/张

语音合成 硅基流动 index-tts2 ~¥0.02/句

示例成本计算(100句视频):


提示词:100 × ¥0.001 = ¥0.1

图片:100 × ¥0.04 = ¥4.0

语音:100 × ¥0.02 = ¥2.0

总计:约¥6.1



再见 Whisper!会议记录神器,完全离线免费

点击查看原文

市面上已经有很多开会录音转文字的工具,但是很多都是依赖他们的云端服务,准确率低延迟高不说,有些甚至还需要收费。

无独有偶,最近在 GitHub 上发现了一个项目叫 WhisperLiveKit,专门解决了 Whisper 实时语音转录的问题。

而且不再只是简单的实时转录,还能同时识别出 “谁在说话”,甚至支持多人同时使用。

只需要打开浏览器就能用,所有处理都可以在本地离线完成,完全不用担心隐私泄露的问题。


超低延迟的实时转录

工具安装完成后,在浏览器上,点击录音按钮即可开始转录,文字几乎零延迟直接出现在屏幕上。

另外工具会先显示浅灰色的 “预览文字”,在确认无误然后再变成正常颜色的最终文本。

这种细节交互体验能让我们工具有在 “检查纠错”,比那些突然蹦出一大段文字的工具,体验好多了。

就好像,开会的时候旁边有个小助理,帮我们边听边记,同时还能理解梳理重点。


说话人识别

在之前在使用的大部分开会录音工具,最让人头疼的就是分不清谁说的内容。

WhisperLiveKit 不仅能做到对说话人分离,还能标注出不同人说的内容。

虽然现在还是 Beta 功能,但对于开会记录来说已经很实用了。至少不用后期再去猜 “这句话是谁说的”。


多语言实时翻译

这个功能我觉得特别实用,WhisperLiveKit 支持 118 种语言的实时翻译。

比如我们在看国外的直播或者视频会议,可以实时翻译成中文。延迟虽然比纯转录稍微高一点,但还是能接受的范围。

有个细节做得挺好,如果你要翻译成英文,它会直接用 Whisper 自带的翻译功能,速度更快。

除了以上提及到的功能外,还有一些感觉的比较有亮点的功能:

智能静音检测:当没有人说话时自动停止处理,避免浪费计算资源;

置信度验证:对于高置信度的词汇立即确认,提升整体响应速度;

标点符号优化:根据标点符号来优化说话人切换的边界,让转录文本更自然易读;

Docker 部署:提供了完整的 Docker 配置,支持 GPU 加速,方便在服务器上部署。


再来看一下安装过程,其实挺简单的,只需要三步即可:

1、先安装 FFmpeg(系统依赖)

# Ubuntu/Debian

sudo apt install ffmpeg

# macOS  

brew install ffmpeg

1.jpg

2、通过 pip 安装 WhisperLiveKit

pip install whisperlivekit


3、启动服务并选择模型

whisperlivekit-server --model tiny.en

然后浏览器打开 http://localhost:8000 就能开始使用了。


总的来说,这个项目把 Whisper 从 “录完再转” 变成了 “边说边转”,确实挺香的。

GitHub 项目地址:https://github.com/QuentinFuxa/WhisperLiveKit

、


阿里开源语音交互大模型

点击查看原文

它可以支持语音打断、甚至理解非语言的声音,比如笑声啥的。

对于想要开发实时语音聊天应用、客服机器人或者虚拟伴侣的开发者来说,这个开源项目提供了一套非常接近商业级效果的现成方案。

开源地址:https://github.com/FunAudioLLM/Fun-Audio-Chat



Voicebox:把 ElevenLabs 的平替做到了本地,克隆声音、23 种语言、还能直接挂 API

点击查看原文

点击查看源码

Voicebox 走的是第三条路:把本地语音克隆、语音生成、后处理、时间线编辑和 API 接入,做成一个完整工具。

它能怎么接进你自己的项目?这也是它比演示型仓库更值钱的地方。README 里明确给了 REST API。

比如生成语音,就是一个本地接口:curl -X POST http://localhost:17493/generate \

  -H "Content-Type: application/json" \

  -d '{"text": "Hello world", "profile_id": "abc123", "language": "en"}'

也就是说,你完全可以把 Voicebox 当成一个本地语音服务层,接在自己的应用后面,而不是只把它当桌面软件点点点。比如这些场景都能用:给自己的 AI 助手接一个本地 TTS 出声层做播客、视频、课程旁白的批量生成给游戏 Demo 做 NPC 对话给无障碍产品或阅读工具做本地朗读给内容生产工具做语音导出

视频介绍:https://www.youtube.com/watch?v=05YBqrWTLQ0


手搓AI夜视婴儿看护器,80亿参数大模型帮我熬夜带娃

手搓AI红外夜视婴儿看护器,帮我熬夜盯娃。

7x24小时持续盯梢,实时监测:宝宝惊醒惊跳、口鼻是否遮挡、看护人操作是否正确。

事件发生时,ESP32手环震动、蓝牙枕下音箱播放音乐,只摇醒我,不吵醒我老婆。

背后使用的AI算法,是京东开源的80亿参数开源视频理解大模型JoyAI-VL-Interaction,基于vLLM-Omni推理引擎本地部署,给它接入任意摄像头或者直播视频流,AI就能任劳任怨,盯到天荒地老。边看边说,持续、实时理解视频画面。

AI自主决定,要说话、闭嘴,还是委派智能体干活儿,非常有眼力见儿。当事件发生时,及时触发提醒

京东全栈开源了训练方法、数据集,80亿参数的模型权重文件,以及一套带完整前后端和WebUI的本地部署系统。

代码:https://github.com/jd-opensource/JoyAI-VL-Interaction

论文:https://arxiv.org/html/2606.14777


模型:

HuggingFace:https://github.com/jd-opensource/JoyAI-VL-Interaction

魔搭社区:https://modelscope.cn/models/jd-opensource/JoyAI-VL-Interaction-Preview

HuggingFace视频理解榜单:https://huggingface.co/models?pipeline_tag=video-text-to-text


指令例子:

每当有人的口鼻,被衣服、布、被子,蒙上或遮挡,立即输出:检测到蒙脸


帮我监视婴儿的睡眠情况。每当保持睡着,回复:A。每当身体动或醒来或哭闹,

回复:B。每当脸被布或者被子遮挡,回复:C。


MaxKB搭建知识库

强大易用的开源企业级智能体平台

点击查看源码地址

Quick start

Execute the script below to start a MaxKB container using Docker:

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/opt/maxkb 1panel/maxkb


Access MaxKB web interface at http://your_server_ip:8080 with default admin credentials:

username: admin

password: MaxKB@123..


中国用户如遇到 Docker 镜像 Pull 失败问题,请参照该 离线安装文档 进行安装。

协助软件:https://1panel.cn/


MaxKB = Max Knowledge Brain,是一个强大易用的企业级智能体平台,致力于解决企业 AI 落地面临的技术门槛高、部署成本高、迭代周期长等问题,助力企业在人工智能时代赢得先机。秉承“开箱即用,伴随成长”的设计理念,MaxKB 支持企业快速接入主流大模型,高效构建专属知识库,并提供从基础问答(RAG)、复杂流程自动化(工作流)到智能体(Agent)的渐进式升级路径,全面赋能智能客服、智能办公助手等多种应用场景。


RAG 检索增强生成:高效搭建本地 AI 知识库,支持直接上传文档 / 自动爬取在线文档,支持文本自动拆分、向量化,有效减少大模型幻觉,提升问答效果;

灵活编排:内置强大的工作流引擎、函数库和 MCP 工具调用能力,支持编排 AI 工作过程,满足复杂业务场景下的需求;

无缝嵌入:支持零编码快速嵌入到第三方业务系统,让已有系统快速拥有智能问答能力,提高用户满意度;

模型中立:支持对接各种大模型,包括本地私有大模型(DeepSeek R1 / Qwen 3 等)、国内公共大模型(通义千问 / 腾讯混元 / 字节豆包 / 百度千帆 / 智谱 AI / Kimi / MiniMax 等)和国外公共大模型(OpenAI / Claude / Gemini 等)。

MaxKB 三分钟视频介绍:https://www.bilibili.com/video/BV18JypYeEkj/


快速开始

# Linux 机器

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/opt/maxkb registry.fit2cloud.com/maxkb/maxkb


# Windows 机器

docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/opt/maxkb registry.fit2cloud.com/maxkb/maxkb


# 用户名: admin

# 密码: MaxKB@123..


本地搭建自己的Agent一般使用哪些开源软件

# 地 Agent 开源栈(分 4 大类:模型底座、开发框架、低代码平台、独立成品 Agent)

> 标准本地组合:**Ollama + Agent 框架 + 向量库**,全部本地离线,OpenAI 兼容接口,MCP 工具现在是主流标准


## 一、模型推理底座(必选,跑 LLM)

1. **Ollama**(最推荐新手)

Windows/macOS/Linux 一键部署,内置量化、自动 GPU 加速,一行命令拉模型,自带 OpenAI 兼容 API,几乎所有 Agent 框架原生适配。

2. **LM Studio**

GUI 可视化,适合不想敲命令,本地加载 GGUF 模型,自带聊天 + API 服务。

3. **llama.cpp**

底层推理库,资源占用极低,CPU 也能跑,适合极致轻量化、嵌入式。

4. **vLLM**

高性能推理,PagedAttention,显存利用率高,适合显卡好、追求速度。

5. **TensorRT-LLM**

NVIDIA 显卡专属,极致加速。


## 二、Python 开发框架(写代码自定义 Agent,最常用)

1. **LangGraph(首选复杂 Agent)**

LangChain 生态,**状态图编排、循环、断点持久化、人工介入 human-in-the-loop**,适合长任务、多分支、多 Agent 协作;LangChain 负责工具、模型集成,LangGraph 做流程调度LangChain。

2. **LlamaIndex(知识库 / RAG 优先)**

主打文档检索、RAG,`llama-agents` 做多智能体,适合文档问答、本地知识库 Agent,自带大量文档解析器LlamaIndex。

3. **smolagents(HuggingFace,轻量入门)**

代码极简,核心只有一千行,ReAct、工具调用,低配置电脑友好,适合快速原型,学习成本低。

4. **Pydantic AI**

Pydantic 团队出品,强类型、结构化输出、工具校验,适合对输出格式严格的 Agent。

5. **Agno(原 Phidata)**

轻量 SDK + AgentOS 运行时,支持多 Agent 团队、权限控制、REST 服务,上手简单。

6. **AutoGen(微软,多 Agent 群聊)**

经典多智能体框架,角色分工、群聊协商;现在微软主推 **Microsoft Agent Framework**,AutoGen 进入维护模式。

7. **PraisonAI**

极简 API,原生适配 Ollama,一行代码启动 Agent,适合快速验证想法。


## 三、低代码 / 可视化平台(不用写大量代码,带 WebUI)

1. **Dify**

本地 Docker 一键部署,可视化 Agent、RAG、工作流,支持 MCP,可对外提供 API;适合做成品助手、内部工具,国内社区活跃。

2. **Langflow**

MIT 协议,可视化拖拽 LangChain/LangGraph 流程,导出 API、MCP 服务,适合可视化调试 Agent 流。

3. **Flowise**(注意:仓库已归档停更)

曾经很火的可视化 LangChain,新项目不推荐。

4. **Activepieces**

开源自动化,类似 n8n,带 AI Agent 节点,连接本地模型、各类工具。


## 四、开箱即用成品 Agent 项目(直接跑,不用自己拼框架)

1. **OpenClaw(龙虾)**

MIT 开源,常驻本地助手,文件读写、浏览器、搜索、代码执行,完美搭配 Ollama,社区热度很高。

2. **Hermes Agent**

轻量常驻 Agent,支持 MCP、工具权限审批,适合个人本地助理。

3. **LocalHarness**

专门面向本地 LLM 的 Agent 运行器,YAML 配置 Agent、MCP 插件、权限闸门,无埋点、纯本地优先PyPI。

4. **LobsterAI(网易开源)**

国产 Agent,支持 Skills 插件市场、MCP,适合国内用户。


## 五、配套组件(向量库、工具、MCP)

- 向量库:**Chroma、Qdrant、FAISS**(全部开源本地)

- MCP:现在主流 Agent 都支持 MCP(Model Context Protocol),统一工具协议,文件、浏览器、数据库、命令行工具都可以标准化接入

- 记忆:Redis / SQLite 做持久化状态记忆(LangGraph 原生支持)


## ✅ 推荐选型路线

- 新手、不想写代码:**Ollama + Dify / Langflow**

- 学开发、自定义长任务 Agent:**Ollama + LangGraph + Chroma**

- 知识库文档 Agent:**Ollama + LlamaIndex**

- 极简原型、低配电脑:**Ollama + smolagents**

- 直接拿来当本地电脑助理:**Ollama + OpenClaw**

- 多角色协作任务:**Microsoft Agent Framework / Agno**


## 最简可用组合示例

```

Ollama(qwen3:8b) + LangGraph + Chroma + MCP文件工具

```

全离线本地运行,支持思考循环、调用本地文件、检索私有文档、人工审批。


Ollama+LangGraph 最小可运行 Agent 代码

下面给一份**最小可运行、本地 Ollama + LangGraph + ReAct Agent** 示例,自带工具调用、循环思考,全部本地离线,不需要 OpenAI。

> 前提:

> 1. 已经装好 Ollama,本地拉一个支持工具调用的模型,推荐 `qwen3:8b` / `llama3.1:8b`

> 2. 安装依赖:

```

pip install langgraph langchain-ollama langchain-core

```


```

from langchain_ollama import ChatOllama

from langchain_core.tools import tool

from langgraph.prebuilt import create_react_agent

from langgraph.checkpoint.sqlite import SqliteSaver


# ---------------------- 1. 本地模型(Ollama) ----------------------

model = ChatOllama(model="qwen3:8b", temperature=0)


# ---------------------- 2. 自定义工具(你可以继续加) ----------------------

@tool

def add(a: float, b: float) -> float:

    """计算两个数字相加

    Args:

        a: 第一个数字

        b: 第二个数字

    """

    return a + b


@tool

def get_current_time() -> str:

    """获取当前本地时间"""

    import datetime

    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")


tools = [add, get_current_time]


# ---------------------- 3. 记忆持久化(sqlite 保存对话状态) ----------------------

memory = SqliteSaver.from_conn_string("agent_memory.db")


# ---------------------- 4. 创建 ReAct Agent ----------------------

agent = create_react_agent(model, tools, checkpointer=memory)


# ---------------------- 5. 对话入口 ----------------------

def chat():

    # 同一个 thread_id 代表同一个会话记忆

    config = {"configurable": {"thread_id": "local-agent-001"}}

    print("=== 本地LangGraph Agent 启动,输入 exit 退出 ===")

    while True:

        user_input = input("\n你:")

        if user_input.strip().lower() == "exit":

            break

        stream = agent.stream(

            {"messages": [("user", user_input)]},

            config=config,

            stream_mode="values"

        )

        for chunk in stream:

            last_msg = chunk["messages"][-1]

            # 打印模型输出

            if hasattr(last_msg, "content") and last_msg.content:

                print(f"Agent:{last_msg.content}")


if __name__ == "__main__":

    chat()

```


### 怎么跑

1. 先启动 Ollama 服务(默认 `http://localhost:11434`)

2. `ollama pull qwen3:8b`

3. 直接运行脚本,问它:

   - `现在几点?`

   - `123 + 456 等于多少?`

   - 它会自己判断要不要调用工具、循环思考(ReAct)


### 关键点说明

- `create_react_agent` 是 LangGraph 封装好的标准 ReAct 智能体,内部自带思考→调用工具→拿到结果→继续回答的循环

- `SqliteSaver`:持久化记忆,重启脚本后同一个 `thread_id` 还能记得上下文

- 想加更多工具:直接用 `@tool` 装饰器写函数,放进 tools 列表即可

- 想接入 MCP:这个是原生 LangGraph,后续可以对接 langchain-mcp-adapters


### 常见坑

1. 模型不调用工具:换 `qwen3:8b` / `llama3.1:8b`,有些老模型对 function call 支持很差

2. Ollama 不在本机:`ChatOllama(base_url="http://xxx:11434", model="qwen3:8b")`

3. 显存不够:换成 `qwen3:4b`


如果你想要,我可以再给:

- 加上 **RAG(Chroma 本地知识库)版本**

- 或者改成接入 **MCP 文件工具** 的版本


Ollama + LangGraph + RAG (Chroma) + MCP Skill 完整版 Agent

# Ollama + LangGraph + RAG (Chroma) + MCP Skill 完整版 Agent

特性:

1. 本地 RAG:Chroma 向量库,加载本地文档,检索后给 Agent 参考

2. MCP 客户端:接入任意 MCP 服务(文件、浏览器、shell 等 skill)

3. 原有自定义 Python 工具 + MCP 工具 + RAG 检索工具 统一交给 ReAct Agent 调度

4. SQLite 持久会话记忆,同一个 thread_id 保留上下文

5. 全部本地离线,基于 Ollama,模型推荐 `qwen3:8b` / `llama3.1:8b`


> ⚠️ 前置依赖

```

pip install langgraph langchain-ollama langchain-core langchain-chroma chromadb langchain-mcp-adapters python-dotenv

```


> 先准备:

> - 启动 Ollama:`ollama pull qwen3:8b`

> - 准备一个 MCP 服务(示例用官方文件 MCP 服务,你也可以换浏览器、数据库 MCP)

> - 新建文件夹 `./docs` 放 pdf/txt/md 文档用于 RAG


## 完整代码

import asyncio

import os

from pathlib import Path

from dotenv import load_dotenv

from langchain_ollama import ChatOllama

from langchain_core.tools import tool

from langchain_chroma import Chroma

from langchain_community.document_loaders import TextLoader, PyPDFLoader

from langchain_text_splitters import RecursiveCharacterTextSplitter

from langgraph.prebuilt import create_react_agent

from langgraph.checkpoint.sqlite import SqliteSaver

from langchain_mcp_adapters.client import MultiServerMCPClient


load_dotenv()


# ===================== 配置区 =====================

MODEL_NAME = "qwen3:8b"

OLLAMA_BASE_URL = "http://localhost:11434"

CHROMA_PERSIST_DIR = "./chroma_db"

DOC_FOLDER = "./docs"

THREAD_ID = "local-rag-mcp-agent-001"


# MCP服务配置,这里示例是【文件MCP服务】,可追加多个MCP

# 格式:名字 -> {command/url, args, transport}

MCP_SERVERS = {

    "filesystem": {

        "command": "npx",

        "args": ["@modelcontextprotocol/server-filesystem", str(Path.home())],

        "transport": "stdio",

    }

}


# ===================== 1. RAG 检索工具 =====================

def build_vector_db():

    """加载文档,构建Chroma向量库"""

    docs = []

    if not os.path.exists(DOC_FOLDER):

        os.makedirs(DOC_FOLDER)

        print(f"📂 文档目录 {DOC_FOLDER} 不存在,已自动创建,请放入txt/pdf/md文档")

        return Chroma(

            collection_name="local_rag",

            persist_directory=CHROMA_PERSIST_DIR,

            embedding_function=None

        )


    for fp in Path(DOC_FOLDER).iterdir():

        if fp.suffix.lower() == ".txt":

            loader = TextLoader(str(fp), encoding="utf-8")

        elif fp.suffix.lower() == ".pdf":

            loader = PyPDFLoader(str(fp))

        else:

            continue

        docs.extend(loader.load())


    splitter = RecursiveCharacterTextSplitter(chunk_size=800, chunk_overlap=120)

    splits = splitter.split_documents(docs)


    # 使用Ollama嵌入模型

    from langchain_ollama import OllamaEmbeddings

    embeddings = OllamaEmbeddings(model="nomic-embed-text")


    vectorstore = Chroma.from_documents(

        documents=splits,

        embedding=embeddings,

        collection_name="local_rag",

        persist_directory=CHROMA_PERSIST_DIR

    )

    print(f"✅ RAG向量库构建完成,共{len(splits)}个分片")

    return vectorstore


# 封装成Agent可调用工具

@tool

def rag_search(query: str) -> str:

    """

    检索本地私有知识库文档,用于回答文档里的内容

    Args:

        query: 用户要检索的问题

    """

    vector_db = Chroma(

        collection_name="local_rag",

        persist_directory=CHROMA_PERSIST_DIR,

        embedding_function=OllamaEmbeddings(model="nomic-embed-text")

    )

    retriever = vector_db.as_retriever(search_kwargs={"k": 3})

    res_docs = retriever.invoke(query)

    if not res_docs:

        return "知识库中没有找到相关内容"

    context = "\n\n".join([d.page_content for d in res_docs])

    return f"【知识库检索结果】\n{context}"


# ===================== 2. 本地自定义工具(保留之前示例) =====================

@tool

def add(a: float, b: float) -> float:

    """计算两个数字相加

    Args:

        a: 第一个数字

        b: 第二个数字

    """

    return a + b


@tool

def get_current_time() -> str:

    """获取当前本地时间"""

    import datetime

    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")


local_tools = [rag_search, add, get_current_time]


# ===================== 3. 主Agent入口(异步,MCP是异步SDK) =====================

async def main():

    model = ChatOllama(model=MODEL_NAME, base_url=OLLAMA_BASE_URL, temperature=0)

    memory = SqliteSaver.from_conn_string("agent_memory.db")


    # 初始化MCP客户端,拉取所有MCP服务的skill

    async with MultiServerMCPClient(MCP_SERVERS) as client:

        mcp_tools = client.get_tools()

        all_tools = local_tools + mcp_tools

        print(f"✅ 加载工具:本地工具{len(local_tools)}个 + MCP工具{len(mcp_tools)}个")


        agent = create_react_agent(model, all_tools, checkpointer=memory)

        config = {"configurable": {"thread_id": THREAD_ID}}


        print("\n===== LangGraph RAG+MCP Agent 启动 =====")

        print("支持:RAG知识库检索、本地函数、MCP文件操作skill")

        print("输入 exit 退出\n")


        while True:

            user_input = input("你:")

            if user_input.strip().lower() == "exit":

                break

            stream = agent.stream(

                {"messages": [("user", user_input)]},

                config=config,

                stream_mode="values"

            )

            for chunk in stream:

                last_msg = chunk["messages"][-1]

                if hasattr(last_msg, "content") and last_msg.content:

                    print(f"Agent:{last_msg.content}")


if __name__ == "__main__":

    # 首次运行先构建向量库

    build_vector_db()

    asyncio.run(main())


## 配套说明

### 1. MCP 文件服务前置

上面示例用的是官方 `@modelcontextprotocol/server-filesystem`,需要 Node 环境:

```

npm install -g @modelcontextprotocol/server-filesystem

```


> 它给 Agent 开放读取、列出文件等 skill,你可以修改 MCP_SERVERS,换成别的 MCP:

> - Playwright MCP(浏览器网页操作)

> - SQLite MCP(数据库查询)

> - 自定义 MCP 服务


### 2. 嵌入模型

代码里用 `nomic-embed-text`,先拉取:

```

ollama pull nomic-embed-text

```


### 3. 测试提问示例

```

# 触发RAG

帮我看一下docs里面文档写了什么,总结一下

# 触发MCP文件skill

列出我主目录下的文件

# 触发本地工具

现在几点,1234+5678等于多少

```


## 架构逻辑

```

用户提问

    ↓

LangGraph ReAct Agent

    ├─ 判断:走RAG检索工具(查本地文档)

    ├─ 判断:走本地Python工具(计算、时间)

    └─ 判断:走MCP工具(文件/浏览器/数据库skill)

    ↓

工具返回结果 → 模型继续思考,循环直到输出答案

```


## 常见坑

1. **MCP 必须异步**:`langchain-mcp-adapters` 是异步 API,整个主函数改成 async,不能直接同步写

2. 模型不调用 MCP 工具:优先 qwen3:8b /llama3.1,对 function call 支持更好

3. 权限:filesystem MCP 默认给了 home 目录,你可以修改 args 路径,限制访问范围

4. Chroma 版本:新版 chromadb 有 breaking change,安装如果报错可以固定版本 `chromadb==0.5.11`


## 可选扩展方向

- 增加 MCP 权限审批(human-in-the-loop,工具调用前让你确认)

- 增加图片理解、本地代码沙箱执行

- 把 Agent 封装成 FastAPI 服务,提供 Web 接口


AI 漫剧生成HyperFlow H3 Flash 免费开源,本地部署生成速度飞快

1、HyperFlow H3 Flash 开源模型及工作流下载:https://www.freedidi.com/25977.html

2、【零度同款】TDM Fast 高速下载器:https://www.tdmfast.com


推荐3款开源「越狱」模型!100%无审查,绕过限制,8G显存也能跑

1、开源越狱模型下载:https://www.freedidi.com/25847.html

2、LocModel 部署神器下载:https://www.locmodel.com

3、【零度同款】TDM Fast 高速下载器:https://www.tdmfast.com


MiniMax H3 越狱模型!开源无审查,8GB 显存也能跑,INT8 加速质量更高

1、MiniMax H3 最新越狱加速模型

+工作流下载:https://www.freedidi.com/25385.html

2、【零度同款】TDM Fast 高速下载器:https://www.tdmfast.com











Top