OpenThaiGPT Demo on Colab

OpenThaiGPT Demo on Colab

ทดลองใช้งาน OpenThaiGPT 0.1.0-beta บน Colab


openThaiGPT

https://openthaigpt.aieat.or.th/

Web Demo https://demo.openthaigpt.aieat.or.th/ Github https://github.com/OpenThaiGPT/openthaigpt/tree/main

เทคโนโลยีทางภาษาไทย แบบ ChatGPT (Large Language Model) พัฒนาเพื่อคนไทยทุกคน

OpenThaiGPT มุ่งเน้นพัฒนาระบบ Chatbot ภาษาไทย ให้มีความสามารถเทียบเท่า ChatGPT อีกทั้งยังสามารถเชื่อมต่อกับระบบภายนอกและสามารถดึงข้อมูลได้อย่างยืดหยุ่น สามารถขยายและปรับแต่งได้อย่างง่ายดาย และพัฒนาขึ้นเป็น ซอฟต์แวร์โอเพนซอร์ส ฟรี สำหรับทุกคน เวอร์ชั่น 1.0.0 ซึ่งมีแผนเปิดตัวในเดือนมิถุนายน 2566 มีการใช้ Large Language Model ขนาด 10 พันล้านพารามิเตอร์ ในการพรีเทรน ได้แก่ โมเดล LLAMA ดร.ปรัชญา บุญขวัญ หัวหน้าทีมวิจัยเทคโนโลยีภาษาธรรมชาติและความหมาย กลุ่มวิจัยปัญญาประดิษฐ์ เนคเทค สวทช. ผู้ดูแลการพัฒนา เวอร์ชั่น 1.0.0 อธิบายเพิ่มเติมเพื่อให้เข้าใจได้ง่ายขึ้นว่า Language Model คือ โปรแกรมทายคำ เกิดจากการที่เราให้ข้อมูล เหมือนให้มันอ่านหนังสือมาก ๆ มันจะเรียนรู้สำนวน วลี ไวยากรณ์ของภาษา ตอบคำถามเราได้ใกล้เคียงมนุษย์ ส่วนคำว่า Parameter เปรียบเทียบง่าย ๆ คือ จำนวนเส้นประสาทในสมอง อย่างเช่น Open Thai GPT เวอร์ชัน 1.0.0 มีเส้นประสาทในสมอง 3 พันล้านเส้น ใช้ภาษาได้เหมือนเด็ก ป.6 ในอนาคตก็จะมีการเพิ่มจำนวนเส้นประสาทมากขึ้นไปอีก ก็จะพูดได้เก่งขึ้น ไปเป็นเด็ก ม.3 จนกลายเป็น ม.6 ซึ่งการจะสอนหรือ Pretrain เด็กจนพูดได้ จะต้องมีข้อมูลมากมาย และเมื่อเด็กพูดเก่ง ก็ต้องมาสู่การปรับให้มีพฤติกรรมที่เหมาะสม พูดจาไพเราะ นั่นคือ ขั้นตอนการ Finetuning Thai SC มี Super computer เครื่องใหม่ที่ชื่อว่า LANTA ซึ่งติดตั้งเสร็จเมื่อปลายปี 2565 เครื่องนี้มี GPU ทั้งหมด 704 การ์ด NVIDIA A100 40 GB องค์กรที่ร่วมสนับสนุน (Sponsors) สมาคมผู้ประกอบการปัญญาประดิษฐ์ประเทศไทย (AIEAT) สมาคมปัญญาประดิษฐ์ประเทศไทย (AIAT) และทีมงานจากองค์กรดังต่อไปนี้ ศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ (เนคเทค) มหาวิทยาลัยมหิดล Microsoft Thailand บริษัท ไอแอพพ์เทคโนโลยี จำกัด Botnoi Consulting Co., Ltd. SABLE Co., Ltd. Ananda development โรงเรียนวิทยาศาสตร์จุฬาภรณราชวิทยาลัย ชลบุรี บจ. เคเคส บริษัท แสตนด์อัพโค้ด จำกัด Agoda Metapeace Interface Systech TMS Tech หลักการและเหตุผล ความสามารถของ ChatGPT เป็นการหลักฐานประจักษ์ของความสามารถของ Large Language Model ที่สามารถช่วยให้ชีวิตมนุษย์ทำงานได้ง่ายขึ้นอย่างมาก แต่อย่างไรก็ดี เรามองว่าความสามารถของ Large Language Model นั้นเป็นไปได้มากกว่า หาก Model อย่าง ChatGPT นั่นสามารถ Open Source และเปิดให้ทุกคนใช้ได้โดยเสรี ฟรี ไม่มีข้อผูกมัด และเปิดให้ทุกคนสามารถนำไปใช้ นำไปปรับปรุงต่อ (Finetuning) เพื่อสร้างการใช้งานหรือ Service ใหม่ๆจากการใช้ปัญญาประดิษฐ์ ย่อมเกิดประโยชน์มหาศาล และแน่นอนหมายถึงการก้าวกระโดดทางเศรษฐกิจจากการปฏิวัติของปัญญาประดิษฐ์ หากทีมงาน OpenThaiGPT เลยเล็งเห็นความสำคัญและรวมกลุ่มกัน ช่วยกัน พัฒนา ChatGPT ที่เป็น Opensource โดยเริ่มต้นจากภาษาไทย และจะขยายไปในภาษาอื่นๆในอนาคต การสร้าง LLM ที่มีความสามารถได้อย่าง ChatGPT นั้น ต้องมีการลงทุนอย่างมหาศาล ทั้งจำนวนผู้เชี่ยวชาญ จำนวน Dataset และปริมาณ GPU ที่ใช้ประมวลผลจำนวนมหาศาล และไม่สามารถเกิดได้จากความพยายามของคนกลุ่มใดกลุ่มหนึ่ง แต่หากว่าเราสามารถรวมแรงรวมใจกัน บริหารจัดการและกระจายงานให้ดี ให้เป้าหมายภารกิจของทุกๆทีมตรงกัน และช่วยกันสร้างขึ้นมา เราก็จะได้ใช้ประโยชน์ OpenThaiGPT ที่มีเป็น LLM ด้านภาษาไทยที่เปิด เป็น ซอฟต์แวร์โอเพนซอร์ส ฟรี ให้ทุกคนนำไปใช้งานได้ อย่างเสรี และฟรี สำหรับทุกๆคน openThaiGPT https://openthaigpt.aieat.or.th/

บทความนี้ ไม่ได้เป็นผู้ก่อตั้งโครงการ 
เห็นว่าเป็น โครงการที่ดี สร้างเทคโนโลยี AI ภาษาไทย เพื่อให้คนไทย ได้ใช้พัฒนากัน

Adun Nantakaew อดุลย์ นันทะแก้ว 081-6452400
LINE : adunnan


ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit

รูปภาพ
OpenThaiGPT 1.0.0 7B beta GPTQ 4 bit ทดสอบ การใช้งาน Model แบบ GPTQ แบบ 4 bit GPTQ-for-LLaMA 4 bits quantization of  LLaMA  using  GPTQ GPTQ is SOTA one-shot weight quantization method This code is based on  GPTQ There is a  pytorch branch  that allows you to use  groupsize  and  act-order  together. Original Model ( FP16 ) https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf GPTQ 4 bit Model https://huggingface.co/Adun/openthaigpt-1.0.0-7b-chat-beta-gptq-4bit Demo Code Text generation web UI A Gradio web UI for Large Language Models. Setting Parameters Test on  Hardware CPU : Intel i9-7900 3.3GHz GPU : NVIDIA RTX-2060 6GB Software OS  : Ubuntu 20.04.6 LTS Youtube Demo ChatBot Q&A Run Demo code    Reference GPTQ-for-LLaMa  https://github.com/amphancm/GPTQ-for-LLaMa OpenThaiGPT  https://openthaigpt.aieat.or.th/
อ่านเพิ่มเติม

OpenThaiGPT 1.0.0 70B Demo on Colab

รูปภาพ
OpenThaiGPT 1.0.0 70B Demo on Colab OpenThaiGPT 7b, 13b, 70b Version 1.0.0 is an advanced 7, 13, 70-billion-parameter Thai language chat model based on LLaMA v2 released on April 8, 2024. It has been specifically fine-tuned for Thai instructions and enhanced by incorporating over 10,000 of the most commonly used Thai words into the large language model's (LLM) dictionary, significantly boosting its response speed. Highlights Leading-edge Thai language LLM , setting new benchmarks by achieving the highest average scores across several Thai language exams when compared to all other open-source Thai LLMs. The First 70b Thai opensource LLM , achieving the higher Thai exams than OpenAI GPT 3.5, Google Gemini, and Claude 3 Haiku. Support for extended conversations across multiple turns. Support the use case of Retrieval Augmented Generation (RAG) for enriched response generation. Generation speeds increased by tenfold , thanks to the addition of 10,000 frequently used Thai words to th
อ่านเพิ่มเติม

Demo OpenThaiGPT 1.0.0-beta on Colab

รูปภาพ
Demo OpenThaiGPT 1.0.0-beta on Colab Colab code on official Website https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo ถ้าใช้  model ตาม original colab code ที่ OpenThaiGPT Website  Model นี้จะใช้ RAM ถึง 22.6 GB เพราะเป็น model FP32 และ ต้อง Run เป็น  NVIDIA A100 GPU ไม่สามารถ run บน NVIDIA T4 GPU ที่มี ram แค่ 16GB ได้ ดังนั้น จึงต้อง convert model เป็น FP16    Convert Model to FP16 ผมได้ convert model OpenThaiGPT เป็น แบบ FP16 เพื่อสามารถ run บน NVIDIA T4 GPU ได้ ( และ เอา Base Model + LoRa adaptor แล้ว ที่ code เลยไม่ต้องมี lora_weights อีก) แล้ว upload ที่ Hugging face ตามนี้ https://huggingface.co/Adun/openthaigpt-1.0.0-beta-7b-ckpt-hf และ แก้ไข code ตามนี้ ก็สามารถ run บน NVIDIA T4 ได้ ถ้าใช้ mode 8 bit ก็จะใช้ RAM ประมาณ 8 GB Run Demo  Run Demo with Gradio สรุป การใช้ RAM แต่ละ  Quantization Model  Reference OpenThaiGPT https://openthaigpt.aieat.or.th/ Colab Code  https://colab.research.google.com/drive/1NkmAJHItpqu34Tur9wCFc97A6JzKR8xo Facebook LLaMA 7B
อ่านเพิ่มเติม