Finetune OpenThaiGPT 0.0.1 ( GPT-2 ) on Colab

Finetune OpenThaiGPT 0.0.1 ( GPT-2 ) on Colab

คือทำ
Thai ChatGPT เพื่อตอบคำถาม ของธุรกิจหรือหน่วยงาน ของตัวเอง

ตาม Colab code ของ OpenThaiGPT version 0.0.1 ซึ่งเป็น GPT-2
( 1.2 G parameters ประมาณ 500 MB. )

Colab Code
Developer: Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

• ตัว Pretrained ใช้ GPT2-base-thai
pretrained_name = "flax-community/gpt2-base-thai"

Model Info


GPT2LMHeadModel(

(transformer): GPT2Model

( (wte): Embedding(50268, 768)

(wpe): Embedding(1024, 768)

(drop): Dropout(p=0.0, inplace=False)

(h): ModuleList( (0-11): 12 x GPT2Block

( (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)

(attn): GPT2Attention( (c_attn): Conv1D()

(c_proj): Conv1D()

(attn_dropout): Dropout(p=0.0, inplace=False)

(resid_dropout): Dropout(p=0.0, inplace=False) )

(ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)

(mlp): GPT2MLP( (c_fc): Conv1D()

(c_proj): Conv1D() (act): NewGELUActivation()

(dropout): Dropout(p=0.0, inplace=False) ) ) )

(ln_f): LayerNorm((768,), eps=1e-05, elementwise_affine=True) )

(lm_head): Linear(in_features=768, out_features=50268, bias=False) )









































• Dataset จาก Web Pantip
298,678 QA Pairs getting from 70,000 Pantip กระทู้
































• GPU on Colab
ต้องใช้ NVIDIA A100 40GB เพราะการ Train. Model ใช้อย่างน้อย 30 GB


• Train 1 Epoch ประมาณ 4 นาที
( ใช้ dataset แค่ 10,000 records จาก 298,678 )
( และใช้ FP16 mixed precision training )

TrainOutput(global_step=750,
training_loss=1.7032803548177082,
metrics={'train_runtime': 244.3432,
'train_samples_per_second': 36.833,
'train_steps_per_second': 3.069,
'total_flos': 4703256576000000.0,
'train_loss': 1.7032803548177082,
'epoch': 1.0})






















ผลการทดสอบ

เนื่องจาก Answer เอามาจาก Comments ซึ่งมีคำตอบบ้าง คำบ่นบ้าง


บทความนี้ ไม่ได้เป็นผู้ก่อตั้งโครงการ 
เห็นว่าเป็น โครงการที่ดี สร้างเทคโนโลยี AI ภาษาไทย เพื่อให้คนไทย ได้ใช้พัฒนากัน

Adun Nantakaew อดุลย์ นันทะแก้ว 081-6452400
LINE : adunnan




ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

Llama3 Typhoon v1.5 (scb10x) LLM

รูปภาพ
Llama3 Typhoon v1.5 (scb10x) LLM   Typhoon-1.5 models come in 8B and 72B sizes These models are built on the 8B Llama3 and 72B Qwen base models,  8B weights released under the Meta Llama 3 Community License ; 72B weights released under the Tongyi Qianwen License Performance To gain insight into Typhoon’s performance, we evaluated it using multiple-choice exam: Language & Knowledge Capabilities: We assessed Typhoon on multiple-choice question answering datasets, including ThaiExam , M3Exam , and MMLU . The ThaiExam dataset was sourced from standard examinations in Thailand, including ONET, TGAT, TPAT, and A-Level. M3Exam is a benchmark for Southeast Asian countries, including Thailand. MMLU is a standard benchmark for language models in English. Typhoon-1.5X is an eXperimental model designed for application use cases, featuring improved capabilities in Retrieval-Augmented Generation (RAG) , constrained generation , and reasoning in order to achieve competitive performa...
อ่านเพิ่มเติม

Eval Llama v3.1 8B ,70B Model with Thai Language

รูปภาพ
Eval Llama v3.1 8B ,70B  ด้วย ข้อสอบภาษาไทย   เทียบกับ llama3-typhoon ทดสอบ การใช้งาน llama v3.1 ที่ว่า support ภาษาไทย จะทำข้อสอบ ภาษาไทยได้ดีแค่ไหน มาดูกัน ข้อสอบ • 04_investment_consult • 05_facebook_beleble_th_200 • 06_xcopa_th_200 • 07_xnli2.0_th_200 • 08_onet_m3_thai • 09_onet_m3_social • 10_onet_m3_math • 11_onet_m3_science • 12_onet_m3_english • 13_onet_m6_thai • 14_onet_m6_math • 15_onet_m6_social • 16_onet_m6_science • 17_onet_m6_english Code ทดสอบ มาจาก  OpenThaiGPT - Thai Exams Eval https://github.com/OpenThaiGPT/openthaigpt_eval การทดสอบด้วยการทำข้อสอบแบบ Multiple Choice ภาษาไทย ทดสอบบนชุดข้อสอบที่ไม่เคยเห็นมาก่อน ทดสอบแบบ Zero-shot Learning, โค้ดการทดสอบและเนื้อหาข้อสอบสามารถทำตามได้ที่นี่ ข้อมูลของ ข้อสอบ https://docs.google.com/spreadsheets/d/1ZtP5Jkx0IvCWNPQhMKitZszGnLKqvEDEf0OKdmQiXjA/edit#gid=1181424412 ผลการทดสอบ ผลการทดสอบ Average Code การทดสอบ code การ plot Graph Adun Nantakaew อดุลย์ นันทะแก้ว LINE : adunnan Facebook : https://www.facebook.co...
อ่านเพิ่มเติม

LLAMA-CPP-PYTHON on RTX4060 GPU

รูปภาพ
LLAMA-CPP-PYTHON on NVIDIA RTX4060 GPU We try to use llama-cpp-python library with many OS. Windows 11 Ubuntu 22.04 and Colab ( ubuntu 22.04 also ) Llama-cpp-python library with RTX4060 GPU on Windows11 Install NVDIA GPU Driver. we use driver version 537.24 then check nvidia-smi command for check your GPU. Install CUDA Toolkit.    https://developer.nvidia.com/cuda-downloads we use CUDA 12.1 version make sure your cuda is work fine with nvcc command. We use Python 3.11.7 check python and pip with command line. Install Pytorch  https://pytorch.org/get-started/locally/ check pip list and check cuda available on your GPU with python shell. if false it cannot use with NVIDIA GPU. find your problem.  Install llama-cpp-python  https://pypi.org/project/llama-cpp-python/ with CUDA 12.1 use this command. on Jul 2,2024 version 0.2.81 but we use only 0.2.75 it's work fine. ( 0.2.81 not test on Windows11 yet )  pip install llama-cpp-python \ --extra-index-url htt...
อ่านเพิ่มเติม