Demo OpenThaiGPT 1.0.0-beta on Colab









Demo OpenThaiGPT 1.0.0-beta on Colab

Colab code on official Website

https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo






ถ้าใช้  model ตาม original colab code ที่ OpenThaiGPT Website 
Model นี้จะใช้ RAM ถึง 22.6 GB เพราะเป็น model FP32 และ ต้อง Run เป็น  NVIDIA A100 GPU ไม่สามารถ run บน NVIDIA T4 GPU ที่มี ram แค่ 16GB ได้
ดังนั้น จึงต้อง convert model เป็น FP16 
 

Convert Model to FP16

ผมได้ convert model OpenThaiGPT เป็น แบบ FP16 เพื่อสามารถ run บน NVIDIA T4 GPU ได้
( และ เอา Base Model + LoRa adaptor แล้ว ที่ code เลยไม่ต้องมี lora_weights อีก)

แล้ว upload ที่ Hugging face ตามนี้


และ แก้ไข code ตามนี้ ก็สามารถ run บน NVIDIA T4 ได้































ถ้าใช้ mode 8 bit ก็จะใช้ RAM ประมาณ 8 GB
































Run Demo 























Run Demo with Gradio





สรุป การใช้ RAM แต่ละ  Quantization Model 







ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

Demo OpenThaiGPT 0.1.0-beta on Colab

รูปภาพ
ทดสอบ OpenThaiGPT  ซึ่งเป็น LLM GPT-3 ภาษาไทย  เอาไปทำ chatGPT ภาษาไทย ใช้เองได้ ทำ chatGPT ตอบคำถาม ข้อมูลของหน่วยงาน และธุรกิจ ของตัวเองได้ more info   https://aiotplatform.blogspot.com/2023/07/openthaigpt.html มาโชว์ผลการทดสอบกันก่อนเลย ดีกว่า ขั้นตอนการทดสอบ • Colab Code จาก OpenThaiGPT   https://openthaigpt.aieat.or.th/ https://colab.research.google.com/drive/1nZ6Vc2U6rOezsMxarGJY7oDw8RG5E4r_?usp=sharing#scrollTo=lsOjziA3Dppt • GPU on Colab ใช้ NVIDIA T4 15 GB ( เป็นตัวเล็กสุดของ GPU บน Google Colab ) • Base Model และ LoRA Weights Base Model : Facebook LLaMA 7 B-parameter https://huggingface.co/decapoda-research/llama-7b-hf Weight (Lora Adapter)   : openthaigpt-0.1.0-beta   https://huggingface.co/kobkrit/openthaigpt-0.1.0-beta Run Model ใช้ GPU RAM ประมาณ 14 GB ( น่าจะเป็น model FP16 : half precision ) ทดลอง ใช้เป็น 8 bit Model GPU RAM ใช้น้อยลงเป็น ที่ 9 GB LLaMA 8 bit Model from META ( Facebook ) About LLaMA Meta have released LLaMA, an LLM comprising 4 foundation models w
อ่านเพิ่มเติม

OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit

รูปภาพ
OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit ทดสอบ การใช้งาน Model แบบ GPTQ แบบ 4 bit GPTQ-for-LLaMA 4 bits quantization of  LLaMA  using  GPTQ GPTQ is SOTA one-shot weight quantization method This code is based on  GPTQ There is a  pytorch branch  that allows you to use  groupsize  and  act-order  together. Original Model ( FP16 ) https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf GPTQ 4 bit Model https://huggingface.co/Adun/openthaigpt-1.0.0-7b-chat-beta-gptq-4bit Demo Code Text generation web UI A Gradio web UI for Large Language Models. Setting Parameters Test on  Hardware CPU : Intel i9-7900 3.3GHz GPU : NVIDIA RTX-2060 6GB Software OS  : Ubuntu 20.04.6 LTS Youtube Demo ChatBot Q&A Run Demo code    Reference GPTQ-for-LLaMa  https://github.com/amphancm/GPTQ-for-LLaMa OpenThaiGPT  https://openthaigpt.aieat.or.th/
อ่านเพิ่มเติม