AI and IoT Platforms

OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit ทดสอบ การใช้งาน Model แบบ GPTQ แบบ 4 bit GPTQ-for-LLaMA 4 bits quantization of  LLaMA  using  GPTQ GPTQ is SOTA one-shot weight quantization method This code is based on  GPTQ There is a  pytorch branch  that allows you to use  groupsize  and  act-order  together. Original Model ( FP16 ) https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf GPTQ 4 bit Model https://huggingface.co/Adun/openthaigpt-1.0.0-7b-chat-beta-gptq-4bit Demo Code Text generation web UI A Gradio web UI for Large Language Models. Setting Parameters Test on  Hardware CPU : Intel i9-7900 3.3GHz GPU : NVIDIA RTX-2060 6GB Software OS  : Ubuntu 20.04.6 LTS Youtube Demo ChatBot Q&A Run Demo code    Reference GPTQ-for-LLaMa  https://github.com/amphancm/GPTQ-for-LLaMa OpenThaiGPT  https://openthaigpt.aieat.or.th/

Demo OpenThaiGPT 1.0.0-beta on Colab Colab code on official Website https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo ถ้าใช้  model ตาม original colab code ที่ OpenThaiGPT Website  Model นี้จะใช้ RAM ถึง 22.6 GB เพราะเป็น model FP32 และ ต้อง Run เป็น  NVIDIA A100 GPU ไม่สามารถ run บน NVIDIA T4 GPU ที่มี ram แค่ 16GB ได้ ดังนั้น จึงต้อง convert model เป็น FP16    Convert Model to FP16 ผมได้ convert model OpenThaiGPT เป็น แบบ FP16 เพื่อสามารถ run บน NVIDIA T4 GPU ได้ ( และ เอา Base Model + LoRa adaptor แล้ว ที่ code เลยไม่ต้องมี lora_weights อีก) แล้ว upload ที่ Hugging face ตามนี้ https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf และ แก้ไข code ตามนี้ ก็สามารถ run บน NVIDIA T4 ได้ ถ้าใช้ mode 8 bit ก็จะใช้ RAM ประมาณ 8 GB Run Demo  Run Demo with Gradio สรุป การใช้ RAM แต่ละ  Quantization Model  Reference OpenThaiGPT https://openthaigpt.aieat.or.th/ Colab Code  https://colab.research.google.com/drive/1NkmAJH...

ทดสอบ OpenThaiGPT  ซึ่งเป็น LLM GPT-3 ภาษาไทย  เอาไปทำ chatGPT ภาษาไทย ใช้เองได้ ทำ chatGPT ตอบคำถาม ข้อมูลของหน่วยงาน และธุรกิจ ของตัวเองได้ more info   https://aiotplatform.blogspot.com/2023/07/openthaigpt.html มาโชว์ผลการทดสอบกันก่อนเลย ดีกว่า ขั้นตอนการทดสอบ • Colab Code จาก OpenThaiGPT   https://openthaigpt.aieat.or.th/ https://colab.research.google.com/drive/1nZ6Vc2U6rOezsMxarGJY7oDw8RG5E4r_?usp=sharing#scrollTo=lsOjziA3Dppt • GPU on Colab ใช้ NVIDIA T4 15 GB ( เป็นตัวเล็กสุดของ GPU บน Google Colab ) • Base Model และ LoRA Weights Base Model : Facebook LLaMA 7 B-parameter https://huggingface.co/decapoda-research/llama-7b-hf Weight (Lora Adapter)   : openthaigpt-0.1.0-beta   https://huggingface.co/kobkrit/openthaigpt-0.1.0-beta Run Model ใช้ GPU RAM ประมาณ 14 GB ( น่าจะเป็น model FP16 : half precision ) ทดลอง ใช้เป็น 8 bit Model GPU RAM ใช้น้อยลงเป็น ที่ 9 GB LLaMA 8 bit Model from META ( Facebook ) About LLaMA Meta have released LLaMA, ...

Finetune OpenThaiGPT 0.0.1 ( GPT-2 ) on Colab คือทำ Thai ChatGPT เพื่อตอบคำถาม ของธุรกิจหรือหน่วยงาน ของตัวเอง ตาม Colab code ของ OpenThaiGPT version 0.0.1 ซึ่งเป็น GPT-2 ( 1.2 G parameters ประมาณ 500 MB. ) Colab Code https://colab.research.google.com/.../1MA1FHwknrs6mVstOHc... Developer: Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th) • ตัว Pretrained ใช้ GPT2-base-thai pretrained_name = "flax-community/gpt2-base-thai" Model Info GPT2LMHeadModel ( (transformer): GPT2Model ( (wte): Embedding(50268, 768) (wpe): Embedding(1024, 768) (drop): Dropout(p=0.0, inplace=False) (h): ModuleList( (0-11): 12 x GPT2Block ( (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True) (attn): GPT2Attention( (c_attn): Conv1D() (c_proj): Conv1D() (attn_dropout): Dropout(p=0.0, inplace=False) (resid_dropout): Dropout(p=0.0, inplace=False) ) (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True) (mlp): GPT2MLP( (c_fc): Conv1D() (c_proj): Conv1D() (act): NewGELUActivation() (dropout): Dropou...