OpenThaiGPT 1.0.0 70B Demo on Colab

OpenThaiGPT 1.0.0 70B Demo on Colab

OpenThaiGPT 7b, 13b, 70b Version 1.0.0 is an advanced 7, 13, 70-billion-parameter Thai language chat model based on LLaMA v2 released on April 8, 2024. It has been specifically fine-tuned for Thai instructions and enhanced by incorporating over 10,000 of the most commonly used Thai words into the large language model's (LLM) dictionary, significantly boosting its response speed.

Highlights

  • Leading-edge Thai language LLM, setting new benchmarks by achieving the highest average scores across several Thai language exams when compared to all other open-source Thai LLMs.

  • The First 70b Thai opensource LLM, achieving the higher Thai exams than OpenAI GPT 3.5, Google Gemini, and Claude 3 Haiku.

  • Support for extended conversations across multiple turns.

  • Support the use case of Retrieval Augmented Generation (RAG) for enriched response generation.

  • Generation speeds increased by tenfold, thanks to the addition of 10,000 frequently used Thai words to the model's dictionary.

  • Pretrained upon a foundation of more than 65 billion Thai language words and meticulously fine-tuned with over 1 million Thai instruction examples.

  • Capable of understanding and processing input contexts of up to 4096 Thai words, allowing for detailed and complex instructions.


OpenThaiGPT เวอร์ชัน 1.0.0 เป็นโมเดลแชทภาษาไทยขนาดใหญ่ขนาด 7, 13 และ 70 พันล้านพารามิเตอร์ ซึ่งพัฒนาต่อยอดจาก Facebook LLaMA v2 ให้มีความสามารถในการเข้าใจและเขียนภาษาไทยได้ เปิดโค้ดและโมเดลอย่างเสรี (Opensource) ให้ทุกคนสามารถนำไปพัฒนาต่อยอดหรือแม้กระทั่งการทำการค้าได้ (Apache 2.0 License) เพื่อเป็น Infrastructure พื้นฐานด้านปัญญาประดิษฐ์สำหรับคนไทยทุกคน

จุดเด่น

  • โมเดลภาษาไทย LLM แบบเปิดที่ทันสมัยที่สุด, ทำคะแนนสอบภาษาไทยได้เฉลี่ยสูงสุดเมื่อเทียบกับโมเดลภาษาไทยแบบเปิดอื่นๆ

  • เป็นโมเดลเปิดภาษาไทยที่มีขนาดใหญ่ถึง 70 พันล้านพารามิเตอร์โมเดลแรกของโลก

  • รองรับการสนทนาโต้ตอบหลายครั้งแบบต่อเนื่อง (Multi-turn Conversation)

  • โมเดลมีความสามารถในการค้นหาข้อมูลและสกัดคำตอบบน Prompt ที่มีความยาวได้อย่างมีประสิทธิภาพ (เหมาะสมกับการ RAG เป็นอย่างมาก)

  • ความเร็วในการตอบคำถามรวดเร็ว ด้วยการเพิ่มคำภาษาไทยที่พบบ่อยมากถึง 10,000 คำลงในพจนานุกรมของโมเดล

  • เรียนรู้บนข้อมูลภาษาไทย (Pretraining) กว่า 65 พันล้านคำ มีการกำจัดข้อมูลภาษาไทยซ้ำซ้อนที่ใช้ในเรียนรู้ (Deduplicated Dataset) และปรับจูนให้ตอบคำถามทั่วไปภาษาไทย (Finetuning) บนมากกว่า 1 ล้านตัวอย่าง

  • สามารถเข้าใจและประมวลผล บริบทของข้อมูลภาษาไทยได้ถึง 4096 คำ, ช่วยให้สามารถให้คำแนะนำที่ละเอียดและซับซ้อนได้

Download Models from Huggingface

7b - https://huggingface.co/openthaigpt/openthaigpt-1.0.0-7b-chat 7b (GGUF) - https://huggingface.co/openthaigpt/openthaigpt-1.0.0-7b-chat-gguf 13b - https://huggingface.co/openthaigpt/openthaigpt-1.0.0-13b-chat 70b - https://huggingface.co/openthaigpt/openthaigpt-1.0.0-70b-chat


OpenThaiGPT 1.0.0
https://openthaigpt.aieat.or.th/openthaigpt-1.0.0-less-than-8-apr-2024-greater-than

Colab Code Demo











Use NVIDIA Tesla A100 40GB

CUDA 12.2














OpenThaiGPT 1.0.0 70B GGML 4 bits ( 41.5 GB )

llama-cpp-python













Inference Model














Colab Code


NVIDIA A100 vs L4

If Colab doesn't provide NVIDIA A100 GPUs, then we can use NVIDIA L4 GPUs as an alternative.





NVIDIA L4 vs. A100 GPUs: Choosing the Right Option for Your AI Needs
https://www.e2enetworks.com/blog/nvidia-l4-vs-a100-gpus-choosing-the-right-option-for-your-ai-needs


Edit Some Code for NVIDIA L4 24GB.



Adun Nantakaew อดุลย์ นันทะแก้ว
LINE : adunnan

ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit

รูปภาพ
OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit ทดสอบ การใช้งาน Model แบบ GPTQ แบบ 4 bit GPTQ-for-LLaMA 4 bits quantization of  LLaMA  using  GPTQ GPTQ is SOTA one-shot weight quantization method This code is based on  GPTQ There is a  pytorch branch  that allows you to use  groupsize  and  act-order  together. Original Model ( FP16 ) https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf GPTQ 4 bit Model https://huggingface.co/Adun/openthaigpt-1.0.0-7b-chat-beta-gptq-4bit Demo Code Text generation web UI A Gradio web UI for Large Language Models. Setting Parameters Test on  Hardware CPU : Intel i9-7900 3.3GHz GPU : NVIDIA RTX-2060 6GB Software OS  : Ubuntu 20.04.6 LTS Youtube Demo ChatBot Q&A Run Demo code    Reference GPTQ-for-LLaMa  https://github.com/amphancm/GPTQ-for-LLaMa OpenThaiGPT  https://openthaigpt.aieat.or.th/
อ่านเพิ่มเติม

Demo OpenThaiGPT 1.0.0-beta on Colab

รูปภาพ
Demo OpenThaiGPT 1.0.0-beta on Colab Colab code on official Website https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo ถ้าใช้  model ตาม original colab code ที่ OpenThaiGPT Website  Model นี้จะใช้ RAM ถึง 22.6 GB เพราะเป็น model FP32 และ ต้อง Run เป็น  NVIDIA A100 GPU ไม่สามารถ run บน NVIDIA T4 GPU ที่มี ram แค่ 16GB ได้ ดังนั้น จึงต้อง convert model เป็น FP16    Convert Model to FP16 ผมได้ convert model OpenThaiGPT เป็น แบบ FP16 เพื่อสามารถ run บน NVIDIA T4 GPU ได้ ( และ เอา Base Model + LoRa adaptor แล้ว ที่ code เลยไม่ต้องมี lora_weights อีก) แล้ว upload ที่ Hugging face ตามนี้ https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf และ แก้ไข code ตามนี้ ก็สามารถ run บน NVIDIA T4 ได้ ถ้าใช้ mode 8 bit ก็จะใช้ RAM ประมาณ 8 GB Run Demo  Run Demo with Gradio สรุป การใช้ RAM แต่ละ  Quantization Model  Reference OpenThaiGPT https://openthaigpt.aieat.or.th/ Colab Code  https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo Facebook LLaMA 7B
อ่านเพิ่มเติม