OpenThaiGPT 13B GGUF Demo on Local PC + NVIDIA GPU

OpenThaiGPT 13B GGUF Demo on Local PC + RTX2060 6GB NVIDIA GPU

OpenThaiGPT เป็นแชทบอทภาษาไทยที่ พัฒนาโดยทีมนักวิจัยจาก AIEAT, AIAT, NECTEC, NSTDA, ThaiSC และ Pantip.com ซึ่ง เทรนบนข้อมูลมากกว่า 2 ล้านล้าน token ทำให้สามารถเข้าใจและตอบคำถามภาษาไทยได้ลึกซึ้งและครอบคลุม

Official website: https://openthaigpt.aieat.or.th



OpenThaiGPT Model on Hugging Face

https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-13b-chat-gguf


Demo on Local PC



Local Windows 10 PC + RTX2060 NVIDIA 6GB GPU

OpenThaiGPT model GGUF 4bit ขนาด 7.43 GB แต่สามารถ Run บน การ์ดจอ RTX 2060 ที่มี GPU RAM แค่ 6 GB ก็ได้ด้วย ซึ่ง llama-cpp-python library + GGUF model สามารถ ใช้ RAM ร่วมกันระหว่าง System RAM กับ GPU RAM ได้

หมดปัญหา GPU RAM ไม่พอ เมื่อรับ LLM ด้วย GGUF mode


Install Python Library

llama-cpp-python

$env:CMAKE_ARGS = "-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS"
pip install llama-cpp-python


llama-index

pip install llama-index


Colab Code from OpenThaiGPT


https://colab.research.google.com/drive/1dKNjLhOl1alBezcPdLihwqEOwJhcNAum


Run Code on VScode







Adun Nantakaew อดุลย์ นันทะแก้ว
LINE : adunnan


ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

Llama3 Typhoon v1.5 (scb10x) LLM

รูปภาพ
Llama3 Typhoon v1.5 (scb10x) LLM   Typhoon-1.5 models come in 8B and 72B sizes These models are built on the 8B Llama3 and 72B Qwen base models,  8B weights released under the Meta Llama 3 Community License ; 72B weights released under the Tongyi Qianwen License Performance To gain insight into Typhoon’s performance, we evaluated it using multiple-choice exam: Language & Knowledge Capabilities: We assessed Typhoon on multiple-choice question answering datasets, including ThaiExam , M3Exam , and MMLU . The ThaiExam dataset was sourced from standard examinations in Thailand, including ONET, TGAT, TPAT, and A-Level. M3Exam is a benchmark for Southeast Asian countries, including Thailand. MMLU is a standard benchmark for language models in English. Typhoon-1.5X is an eXperimental model designed for application use cases, featuring improved capabilities in Retrieval-Augmented Generation (RAG) , constrained generation , and reasoning in order to achieve competitive performa...
อ่านเพิ่มเติม

Eval Llama v3.1 8B ,70B Model with Thai Language

รูปภาพ
Eval Llama v3.1 8B ,70B  ด้วย ข้อสอบภาษาไทย   เทียบกับ llama3-typhoon ทดสอบ การใช้งาน llama v3.1 ที่ว่า support ภาษาไทย จะทำข้อสอบ ภาษาไทยได้ดีแค่ไหน มาดูกัน ข้อสอบ • 04_investment_consult • 05_facebook_beleble_th_200 • 06_xcopa_th_200 • 07_xnli2.0_th_200 • 08_onet_m3_thai • 09_onet_m3_social • 10_onet_m3_math • 11_onet_m3_science • 12_onet_m3_english • 13_onet_m6_thai • 14_onet_m6_math • 15_onet_m6_social • 16_onet_m6_science • 17_onet_m6_english Code ทดสอบ มาจาก  OpenThaiGPT - Thai Exams Eval https://github.com/OpenThaiGPT/openthaigpt_eval การทดสอบด้วยการทำข้อสอบแบบ Multiple Choice ภาษาไทย ทดสอบบนชุดข้อสอบที่ไม่เคยเห็นมาก่อน ทดสอบแบบ Zero-shot Learning, โค้ดการทดสอบและเนื้อหาข้อสอบสามารถทำตามได้ที่นี่ ข้อมูลของ ข้อสอบ https://docs.google.com/spreadsheets/d/1ZtP5Jkx0IvCWNPQhMKitZszGnLKqvEDEf0OKdmQiXjA/edit#gid=1181424412 ผลการทดสอบ ผลการทดสอบ Average Code การทดสอบ code การ plot Graph Adun Nantakaew อดุลย์ นันทะแก้ว LINE : adunnan Facebook : https://www.facebook.co...
อ่านเพิ่มเติม

LLAMA-CPP-PYTHON on RTX4060 GPU

รูปภาพ
LLAMA-CPP-PYTHON on NVIDIA RTX4060 GPU We try to use llama-cpp-python library with many OS. Windows 11 Ubuntu 22.04 and Colab ( ubuntu 22.04 also ) Llama-cpp-python library with RTX4060 GPU on Windows11 Install NVDIA GPU Driver. we use driver version 537.24 then check nvidia-smi command for check your GPU. Install CUDA Toolkit.    https://developer.nvidia.com/cuda-downloads we use CUDA 12.1 version make sure your cuda is work fine with nvcc command. We use Python 3.11.7 check python and pip with command line. Install Pytorch  https://pytorch.org/get-started/locally/ check pip list and check cuda available on your GPU with python shell. if false it cannot use with NVIDIA GPU. find your problem.  Install llama-cpp-python  https://pypi.org/project/llama-cpp-python/ with CUDA 12.1 use this command. on Jul 2,2024 version 0.2.81 but we use only 0.2.75 it's work fine. ( 0.2.81 not test on Windows11 yet )  pip install llama-cpp-python \ --extra-index-url htt...
อ่านเพิ่มเติม