介绍
本项目将使用 Ollma 和 OpenWebUI 搭建在本地搭建一个对话机器人。
Ollama 是一个开源软件，允许用户在自己的硬件上运行、创建和分享大语言模型服务。它能够创建、运行和管理模型，可以轻松地在各种应用程序中使用。 Ollama 非常适合希望在本地运行模型的用户，因为它可以保护数据隐私并提供更快的响应时间。
OpenWebUI 是一款可扩展的、自托管的 AI 界面，旨在完全离线运行。它支持各种大语言模型，并提供丰富的功能，使其成为一个用户友好的界面。
Qwen（千问）是阿里巴巴团队研发的大语言模型系列，目前已升级至Qwen-2版本。该模型在大规模语言数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。Qwen-2具备自然语言理解、文本生成、工具使用、角色扮演、作为AI Agent进行互动等多种能力。本项目将使用其中的70亿参数版本，即Qwen-2-7B，也是Ollama中Qwen-2模型的默认版本。
需要注意，大语言模型存在潜在的幻觉问题。此问题由多种因素所致，其中之一在于：大语言模型通过预测给定上下文下一个词的概率分布来进行文本生成。有时候，模型可能会根据统计上的最可能情况生成内容，而该内容并不总是正确的。因此，需要谨慎地对待大语言模型生成的内容。未来，计算机工坊将考虑开展关于大语言模型内在机理和缺陷的探讨。
本次游园会打卡项目将简单地以入门级项目入手，带你走进大语言模型的世界（预计10min）
通过Ollma实现大模型推理后端
- 输入以下命令，运行ollama服务，选择模型并运行Qwen-2，输入如下命令并按下Enter：
ollama run qwen2
- 我们已经提前运行好了OpenWebUI，因此只需要在图形用户界面中点击左上角的“新对话”，与聊天机器人开始对话即可：
- 从本地将对应主题素材文档拖入聊天界面完成 DIY学习，并向大模型询问相关的2～3个问题：
- 如何从白云机场到港科广？
- 港科广出行的方式有哪些？
- 我可以先乘航班到深圳机场，然后再到港科广吗？
- 介绍几个港科广的社团。
- 介绍一下港科大广州的体育运动类社团。
- 介绍一下港科广无人机俱乐部。
- 介绍一下港科广逐风骑行社的宗旨，以及他们会定期举办哪些活动？
- 港科大广州量化交易协会如何致力于量化金融领域的研究与实践？
- 介绍一下香港科技大学（广州）算法竞赛协会，这个社团有哪些活动？
- 介绍一下香港科技大学（广州）机器人社团以及他们参加过那些比赛？
- 目前港科广的HPC平台 CPU的计费方案是怎么样的？
- 目前港科广的HPC平台 GPU的计费方案是怎么样的？
- 目前港科广学生申请HPC服务的申请流程是怎么样的？
机器人回答相关问题则视为成功。
注：HPC全称是High Performance Computing（高性能计算）。港科广的智算中心拥有强大的计算能力和出色的稳定性，具有高度可扩展性，支持多机多卡、管理异构，是业内领先的智算中心。
更多学校 IT 算力资源及GPT 申请信息 可访问 香港科技大学（广州）资讯科技处网站： https://itd.hkust-gz.edu.cn/en/ITServices?child=0
- 最后，在命令行窗口中按下Ctrl+d，关闭ollama中运行的模型，方便下一位同学使用该界面。
完成活动盖章， 领取纪念胸章，Enjoy and next game ~
