选择你喜欢的标签
我们会为你匹配适合你的网址导航

    确认 跳过

    跳过将删除所有初始化信息

    您的位置:0XUCN > 资讯 > 技术
    新闻分类

    Ollama 本地运行 Llama 2、Mistral、Gemma 和其他大型语言模型

    技术 PRO 作者:小温蒂 2025-01-09 03:03

    Ollama 是一个开源的大型语言模型服务,提供了类似 OpenAI 的 API 接口和聊天界面,可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。

    快速开始

    进入 容器 列表,找到 Ollama 容器,点击进入终端运行并与 Llama 2 聊天:

    ollama run llama2

    模型库

    Ollama 支持 ollama.com/library 上提供的一系列模型

    以下是一些可以下载的示例模型:

    ModelParametersSizeDownload
    Llama 27B3.8GBollama run llama2
    Mistral7B4.1GBollama run mistral
    Dolphin Phi2.7B1.6GBollama run dolphin-phi
    Phi-22.7B1.7GBollama run phi
    Neural Chat7B4.1GBollama run neural-chat
    Starling7B4.1GBollama run starling-lm
    Code Llama7B3.8GBollama run codellama
    Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
    Llama 2 13B13B7.3GBollama run llama2:13b
    Llama 2 70B70B39GBollama run llama2:70b
    Orca Mini3B1.9GBollama run orca-mini
    Vicuna7B3.8GBollama run vicuna
    LLaVA7B4.5GBollama run llava
    Gemma2B1.4GBollama run gemma:2b
    Gemma7B4.8GBollama run gemma:7b

    注意:您应该至少有 8 GB 可用 RAM 来运行 7B 型号,16 GB 来运行 13B 型号,32 GB 来运行 33B 型号。

    0XU.CN

    [超站]友情链接:

    四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
    关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/

    图库
    公众号 关注网络尖刀微信公众号
    随时掌握互联网精彩
    赞助链接