OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit


OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit

ทดสอบ การใช้งาน Model แบบ GPTQ แบบ 4 bit

GPTQ-for-LLaMA

4 bits quantization of LLaMA using GPTQ

GPTQ is SOTA one-shot weight quantization method

This code is based on GPTQ

There is a pytorch branch that allows you to use groupsize and act-order together.
















Original Model ( FP16 )

https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf

GPTQ 4 bit Model

https://huggingface.co/Adun/openthaigpt-1.0.0-7b-chat-beta-gptq-4bit


Demo Code

Text generation web UI

A Gradio web UI for Large Language Models.















Setting Parameters





















Test on 

Hardware

  • CPU : Intel i9-7900 3.3GHz
  • GPU : NVIDIA RTX-2060 6GB
Software OS  : Ubuntu 20.04.6 LTS



Youtube Demo

ChatBot

Q&A

Run Demo code

 


 Reference

GPTQ-for-LLaMa https://github.com/amphancm/GPTQ-for-LLaMa

OpenThaiGPT https://openthaigpt.aieat.or.th/


ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

Demo OpenThaiGPT 0.1.0-beta on Colab

รูปภาพ
ทดสอบ OpenThaiGPT  ซึ่งเป็น LLM GPT-3 ภาษาไทย  เอาไปทำ chatGPT ภาษาไทย ใช้เองได้ ทำ chatGPT ตอบคำถาม ข้อมูลของหน่วยงาน และธุรกิจ ของตัวเองได้ more info   https://aiotplatform.blogspot.com/2023/07/openthaigpt.html มาโชว์ผลการทดสอบกันก่อนเลย ดีกว่า ขั้นตอนการทดสอบ • Colab Code จาก OpenThaiGPT   https://openthaigpt.aieat.or.th/ https://colab.research.google.com/drive/1nZ6Vc2U6rOezsMxarGJY7oDw8RG5E4r_?usp=sharing#scrollTo=lsOjziA3Dppt • GPU on Colab ใช้ NVIDIA T4 15 GB ( เป็นตัวเล็กสุดของ GPU บน Google Colab ) • Base Model และ LoRA Weights Base Model : Facebook LLaMA 7 B-parameter https://huggingface.co/decapoda-research/llama-7b-hf Weight (Lora Adapter)   : openthaigpt-0.1.0-beta   https://huggingface.co/kobkrit/openthaigpt-0.1.0-beta Run Model ใช้ GPU RAM ประมาณ 14 GB ( น่าจะเป็น model FP16 : half precision ) ทดลอง ใช้เป็น 8 bit Model GPU RAM ใช้น้อยลงเป็น ที่ 9 GB LLaMA 8 bit Model from META ( Facebook ) About LLaMA Meta have released LLaMA, an LLM comprising 4 foundation models w
อ่านเพิ่มเติม

Demo OpenThaiGPT 1.0.0-beta on Colab

รูปภาพ
Demo OpenThaiGPT 1.0.0-beta on Colab Colab code on official Website https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo ถ้าใช้  model ตาม original colab code ที่ OpenThaiGPT Website  Model นี้จะใช้ RAM ถึง 22.6 GB เพราะเป็น model FP32 และ ต้อง Run เป็น  NVIDIA A100 GPU ไม่สามารถ run บน NVIDIA T4 GPU ที่มี ram แค่ 16GB ได้ ดังนั้น จึงต้อง convert model เป็น FP16    Convert Model to FP16 ผมได้ convert model OpenThaiGPT เป็น แบบ FP16 เพื่อสามารถ run บน NVIDIA T4 GPU ได้ ( และ เอา Base Model + LoRa adaptor แล้ว ที่ code เลยไม่ต้องมี lora_weights อีก) แล้ว upload ที่ Hugging face ตามนี้ https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf และ แก้ไข code ตามนี้ ก็สามารถ run บน NVIDIA T4 ได้ ถ้าใช้ mode 8 bit ก็จะใช้ RAM ประมาณ 8 GB Run Demo  Run Demo with Gradio สรุป การใช้ RAM แต่ละ  Quantization Model  Reference OpenThaiGPT https://openthaigpt.aieat.or.th/ Colab Code  https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo Facebook LLaMA 7B
อ่านเพิ่มเติม