自己写一个RAG应用

在之前的文章中,我们介绍过使用RAG技术给大语言模型添加外部知识库。今天我们就来详细了解下RAG,并且不用任何框架,自己动手做一个RAG应用,从原理上理解其运行逻辑。 什么是RAG RAG is an AI framework for retrieving facts from an external knowledge base to ground large language models (LLMs) on the most accurate, up-to-date information and to give users insight into LLMs’ generative process. —— from IBM Research. RAG 是一个人工智能框架,用于从外部知识库中检索事实,使大型语言模型(LLM)基于最准确的最新信息,并让用户深入了解 LLM 的生成过程。 ...

2024-07-24 · 路边的阿不

在苹果设备上运行Stable Diffusion模型

模型类别 首先要下载模型,Stable Diffusion模型可以在huggingface或者Civitai下载到。但是在这两个网站上下载的模型可能会有三种格式。 CoreML格式 这种类别的模型较少,文件主要以.mlmodelc或.mlmodel为主,其文件结构大致为: ...

2024-06-28 · 路边的阿不

在本地跑一个AI模型(7) - 你打草稿,模型来画

本文是Stable Diffusion系列第三篇。 前两篇文章我们介绍了在本地运行Stable Diffusion模型的方法,以及使用LoRA对模型生成的图片进行微调。 ...

2024-04-22 · 路边的阿不

在本地跑一个AI模型(6) - Stable Diffusion模型微调

本文是Stable Diffusion系列第二篇。 在上一篇文章中,我们介绍了在本地使用Diffusers运行Stable Diffusion模型,并使用Text to Image技术使用提示词让AI生成了图片。在本篇文章中,我们将介绍如何使用社区提供的LoRA对模型的输出进行微调。 ...

2024-04-22 · 路边的阿不

在本地跑一个AI模型(5) - Stable Diffusion

在之前的文章中,我们使用ollama在本地运行了大语言模型,它可以与你聊天,帮助你理解和生成文本内容。使用coqui-tts在本地运行了文本转语音模型,它可以将大语言模型生成的文字转换成语音,让你的应用更有趣。今天我们将要介绍Stable Diffusion,一种扩散神经网络的深度学习模型,使用它可以生成各种不可思议的图片。 我们使用的工具是huggingface提供的diffusers,一个在纯python环境下运行的库。废话不多说,我们进入今天的教程。 ...

2024-04-19 · 路边的阿不

在本地跑一个AI模型(4) - 会说话的模型

大家好,好久不见。前三篇教程我们聊了如何在本地搭建一个大语言模型,它能够理解和生成文本,这确实是一个非常有趣且有前景的应用领域。今天,我们将更进一步,让你的AI模型具备实际的语音输出能力。 ...

2024-04-15 · 路边的阿不

在本地跑一个大语言模型(3) - 让模型自主使用工具

在前两篇文章里,我们已经介绍了如何在本地运行Ollama以及如何通过提供外部数据库的方式微调模型的答案。本篇文章将继续探索如何使用“函数调用(function-calling)”功能以扩展模型能力,使其在“智能”的道路上越走越远。 ...

2024-03-07 · 路边的阿不

在本地跑一个大语言模型(2) - 给模型提供外部知识库

在上一篇文章里,我们展示了如何通过Ollama这款工具,在本地运行大型语言模型。本篇文章将着重介绍下如何让模型从外部知识库中检索定制数据,来提升大型语言模型的准确性,让它看起来更“智能”。 本篇文章将涉及到LangChain和RAG两个概念,在本文中不做详细解释。 准备模型 访问Ollama的模型页面,搜索qwen,我们这次将使用对中文语义了解的更好的“通义千问”模型进行实验。 ...

2024-03-04 · 路边的阿不

在本地跑一个大语言模型

随着ChatGPT的兴起,LLM (Large Language Model,大语言模型) 已经成为人工智能和自然语言处理领域的热门话题。本篇文章我将和大家一起在自己的个人电脑上运行一个大语言模型。 ...

2024-02-27 · 路边的阿不