Demo OpenThaiGPT 0.1.0-beta on Colab

ทดสอบ OpenThaiGPT 

ซึ่งเป็น LLM GPT-3 ภาษาไทย 

เอาไปทำ chatGPT ภาษาไทย ใช้เองได้

ทำ chatGPT ตอบคำถาม ข้อมูลของหน่วยงาน และธุรกิจ ของตัวเองได้

มาโชว์ผลการทดสอบกันก่อนเลย ดีกว่า








ขั้นตอนการทดสอบ



Colab Code จาก OpenThaiGPT https://openthaigpt.aieat.or.th/




GPU on Colab

ใช้ NVIDIA T4 15 GB ( เป็นตัวเล็กสุดของ GPU บน Google Colab )


Base Model และ LoRA Weights

Base Model : Facebook LLaMA 7 B-parameter https://huggingface.co/decapoda-research/llama-7b-hf

Weight (Lora Adapter) : openthaigpt-0.1.0-beta  https://huggingface.co/kobkrit/openthaigpt-0.1.0-beta


Run Model ใช้ GPU RAM ประมาณ 14 GB ( น่าจะเป็น model FP16 : half precision )




ทดลอง ใช้เป็น 8 bit Model GPU RAM ใช้น้อยลงเป็น ที่ 9 GB




LLaMA 8 bit Model from META ( Facebook )

About LLaMA

Meta have released LLaMA, an LLM comprising 4 foundation models with 7B to 65B parameters, claiming that it outperforms many benchmark models on various tasks. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla70B and PaLM-540B.


LLaMA isn’t like ChatGPT or Bing; it’s not a system that anyone can talk to. Rather, it’s a research tool that Meta says it’s sharing in the hope of “democratizing access in this important, fast-changing field.” In other words: to help experts tease out the problems of AI language models, from bias and toxicity to their tendency to simply make up information.










ตอนที่ 1 OpenThaiGPT Colab demo Part1 Run Prompt ( ดูผลการทดสอบกันเลย )

ตอนที่ 2 OpenThaiGPT Colab demo Part2 Get Started ( การเริ่มต้นใช้งาน )


ตอนที่ 3 OpenThaiGPT Colab demo Part3 model 8 bit for reduce GPU RAM



Reference


Colab Code 


Facebook LLaMA 7B

openthaigpt-0.1.0-beta LoRA weight

Meta has a new machine learning language model to remind you it does AI too
https://www.theverge.com/2023/2/24/23613512/meta-llama-ai-research-large-language-model




Adun Nantakaew อดุลย์ นันทะแก้ว 081-6452400
LINE : adunnan




ความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

Llama3 Typhoon v1.5 (scb10x) LLM

Eval Llama v3.1 8B ,70B Model with Thai Language

LLAMA-CPP-PYTHON on RTX4060 GPU