-
DeepSeek-7B-chat FastApi 部署调用
DeepSpeek 介绍 由70亿个参数组成的高级语言模型 DeepSeek LLM。它是在一个包含2万亿个英文和中文代币的庞大数据集上从零开始训练的。为了促进研究，DeepSeek 已经为研究社区开放了DeepSeek LLM 7B/67B Base 和 DeepSeek LLM 7B/67B Chat。 环境准备 在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择Py…- 20
-
InternLM2-7B-chat FastAPI 部署
InternLM2 ，即书生·浦语大模型第二代，开源了面向实用场景的70亿参数基础模型与对话模型 （InternLM2-Chat-7B）。模型具有以下特点： 有效支持20万字超长上下文：模型在20万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 和 L-Eval 等长文任务中的表现也达到开源模型中的领先水平。 可以通过 LMDeploy 尝试20万字超长上下文推理。 综合性能…- 23
-
InternLM2-7B-chat langchain 接入
InternLM2 ，即书生·浦语大模型第二代，开源了面向实用场景的70亿参数基础模型与对话模型 （InternLM2-Chat-7B）。模型具有以下特点： 有效支持20万字超长上下文：模型在20万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 和 L-Eval 等长文任务中的表现也达到开源模型中的领先水平。 可以通过 LMDeploy 尝试20万字超长上下文推理。 综合性能…- 2
-
InternLM2-7B-chat WebDemo 部署
InternLM2 ，即书生·浦语大模型第二代，开源了面向实用场景的70亿参数基础模型与对话模型 （InternLM2-Chat-7B）。模型具有以下特点： 有效支持20万字超长上下文：模型在20万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 和 L-Eval 等长文任务中的表现也达到开源模型中的领先水平。 可以通过 LMDeploy 尝试20万字超长上下文推理。 综合性能…- 55
-
InternLM2-7B-chat Xtuner Qlora 微调
Xtuner介绍 XTuner是上海人工智能实验室开发的低成本大模型训练工具箱，XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。只要8G。最低只需 8GB 显存，就可以微调InternLM2-7B模型，打造专属于你的 AI 助手。 仓库地址：https://github.com/InternLM/xtuner Xtuner特点 高效 支持大语言模型 LLM、多模态图文模型 VLM 的…- 90
-
BlueLM-7B-Chat FastApi 部署
模型介绍 BlueLM-7B 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，参数规模为 70 亿。BlueLM-7B 在 C-Eval 和 CMMLU 上均取得领先结果，对比同尺寸开源模型中具有较强的竞争力(截止11月1号)。本次发布共包含 7B 模型的 Base 和 Chat 两个版本。 模型下载链接见： 基座模型 对齐模型 🤗 BlueLM-7B-Base 🤗 BlueLM-…- 7
-
BlueLM-7B-Chat langchain 接入
模型介绍 BlueLM-7B 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，参数规模为 70 亿。BlueLM-7B 在 C-Eval 和 CMMLU 上均取得领先结果，对比同尺寸开源模型中具有较强的竞争力(截止11月1号)。本次发布共包含 7B 模型的 Base 和 Chat 两个版本。 模型下载链接见： 基座模型 对齐模型 🤗 BlueLM-7B-Base 🤗 BlueLM-…- 13
-
BlueLM-7B-Chat WebDemo 部署
BlueLM-7B 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，参数规模为 70 亿。BlueLM-7B 在 C-Eval 和 CMMLU 上均取得领先结果，对比同尺寸开源模型中具有较强的竞争力(截止11月1号)。本次发布共包含 7B 模型的 Base 和 Chat 两个版本。 模型下载链接见： 基座模型 对齐模型 🤗 BlueLM-7B-Base 🤗 BlueLM-7B-Ch…- 75
-
BlueLM-7B-Chat Lora 微调
环境配置 在完成基本环境配置和本地模型部署的情况下，你还需要安装一些第三方库，可以使用以下命令： pip install transformers==4.35.2 pip install peft==0.4.0 pip install datasets==2.10.1 pip install accelerate==0.20.3 pip install tiktoken pip install t…- 66
-
Qwen1.5-MoE-chat Transformers 部署调用
Qwen1.5-MoE-chat介绍 Qwen1.5-MoE-chat仅使用2.7B激活参数，达到和目前最先进的7B模型如Mistral 7B和Qwen1.5-7B模型相当的能力。相比Qwen1.5-7B，Qwen1.5-MoE-A2.7B的训练成本降低了75%，推理速度则提升至1.74倍。 相较于Mixtral-MoE模型，Qwen1.5-MoE在模型结构上有以下改进：使用了fin…- 24
-
Qwen1.5-7B-Chat vLLM 部署调用
vLLM 简介 vLLM 框架是一个高效的大型语言模型（LLM）推理和部署服务系统，具备以下特性： 高效的内存管理：通过 PagedAttention 算法，vLLM 实现了对 KV 缓存的高效管理，减少了内存浪费，优化了模型的运行效率。 高吞吐量：vLLM 支持异步处理和连续批处理请求，显著提高了模型推理的吞吐量，加速了文本生成和处理速度。 易用性：vLLM 与 HuggingFa…- 56
-
Qwen1.5-7B-Chat-GPTQ-Int4 部署环境
说明 Qwen1.5-72b 版本有BF16、INT8、INT4三个版本，三个版本性能接近。由于BF16版本需要144GB的显存，让普通用户忘却止步，而INT4版本只需要48GB即可推理，给普通用户本地化部署创造了机会。（建议使用4×24G显存的机器） 但由于Qwen1.5-72B-Chat-GPTQ-Int4其使用了GPTQ量化技术，对环境依赖要求严格，需要较为复杂的环境准备步骤。 在此提供环境…- 35
-
Qwen1.5-7B-chat Lora 微调
环境配置 在完成基本环境配置和本地模型部署的情况下，你还需要安装一些第三方库，可以使用以下命令： python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install modelscope==…- 46
-
Qwen1.5-4B-Chat WebDemo 部署
Qwen1.5 介绍 Qwen1.5 是 Qwen2 的测试版，Qwen1.5 是基于 transformer 的 decoder-only 语言模型，已在大量数据上进行了预训练。与之前发布的 Qwen 相比，Qwen1.5 的改进包括 6 种模型大小，包括 0.5B、1.8B、4B、7B、14B 和 72B；Chat模型在人类偏好方面的性能显著提高；基础模型和聊天模型均支持多种语言；所有大小的模…- 56
-
Qwen1.5-7B-Chat 接入 LangChain 搭建知识库助手
环境准备 在 autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.0.0-->3.8(ubuntu20.04)-->11.8 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行 demo。 pip 换源加速下载并安装依赖包 # 升级pip pyth…- 12
-
Qwen1.5-7B-Chat FastApi 部署调用
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.0.0-->3.8(ubuntu20.04)-->11.8（11.3 版本以上的都可以）。 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演 pip 换源加速下载并安装依赖包 # 升级pip …- 13
-
XVERSE-7B-Chat Lora 微调
环境配置 在完成基本环境配置和本地模型部署的情况下，你还需要安装一些第三方库，为了方便大家实践，我将环境打包放在 code 文件夹下了，可以使用以下命令： cd code pip install -r requirement.txt 在本节教程里，我们将微调数据集放置在根目录 /dataset。 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { &quo…- 49
-
XVERSE-7B-chat WebDemo 部署
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1（11.3 版本以上的都可以）。 pip 换源加速下载并安装依赖包，为了方便大家进行环境配置，在 code 文件夹里面给大家提供了 requirement.txt 文件，大家直接使用下面的命令安装…- 14
-
XVERSE-7B-chat langchain 接入
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1（11.3 版本以上的都可以）。 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行 demo。 pip 换源加速下载并安装依赖包，为了方便大家进行…- 11
-
XVERSE-7B-chat FastAPI 部署
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1（11.3 版本以上的都可以）。 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。 pip 换源加速下载并安装依赖包，为了方便大家进行环境配置…- 19
-
XVERSE-7B-chat Transformers 推理
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1（11.3 版本以上的都可以）。 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。 pip 换源加速下载并安装依赖包，为了方便大家进行环境配置…- 15
-
LLaMA3-8B-Instruct Lora 微调
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1。 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。 环境配置 在完成基本环境配置和本地模型部署的情况下，你还需要安装一些第三方…- 17
-
LLaMA3-8B-Instruct WebDemo 部署
环境准备 在 autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu20.04)-->12.1 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行 demo。 pip 换源加速下载并安装依赖包 # 升级pip python -m …- 36
-
LLaMA3-8B-Instruct langchain 接入
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1 接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。 pip 换源加速下载并安装依赖包 # 升级pip python -m pip…- 20
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×