AI and IoT Platforms

OpenThaiGPT Demo on NVIDIA Jetson OpenThaiGPT  เป็นแชทบอทภาษาไทยที่ พัฒนาโดยทีมนักวิจัยจาก AIEAT, AIAT, NECTEC, NSTDA, ThaiSC และ Pantip.com ซึ่ง เทรนบนข้อมูลมากกว่า 2 ล้านล้าน token ทำให้สามารถเข้าใจและตอบคำถามภาษาไทยได้ลึกซึ้งและครอบคลุม Official website:  https://openthaigpt.aieat.or.th ทดสอบ บน NVIDIA Jetson Xavier NX OpenThaiGPT Model on Hugging Face OpenThaiGPT 13B GGUF 16 , 8 , 4 bit https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-13b-chat-gguf OpenThaiGPT 7B GGUF 4 bit https://huggingface.co/SiraH/openthaigpt-1.0.0-beta-7b-chat-gguf-q4_0 ผลการทดลอง Run OpenThaiGPT บน NVIDIA Jetson Run Docker ด้วย Jetson-Containers  https://github.com/dusty-nv/jetson-containers packages/llm/text-generation-webui จะเป็น NVIDIA Jetson  L4T Version 35.3.1 , Jetpack 5.1.1 , CUDA 11.4.315 Load LLM Model แบบ OpenThaiGPT-13B GGUF 4 bit ผลการตอบคำถาม ใช้เวลา 1500483.46 ms ประมาณ 25 นาที ( นานมาก แต่ก็ตอบ นะ )  แบบ OpenThaiGPT-7B GGUF 4 bit ผลการตอบคำถาม ใช้เวลา 622.09 seconds ประมาณ 10 นา

OpenThaiGPT + Text Generation WebUI OpenThaiGPT  เป็นแชทบอทภาษาไทยที่ พัฒนาโดยทีมนักวิจัยจาก AIEAT, AIAT, NECTEC, NSTDA, ThaiSC และ Pantip.com ซึ่ง เทรนบนข้อมูลมากกว่า 2 ล้านล้าน token ทำให้สามารถเข้าใจและตอบคำถามภาษาไทยได้ลึกซึ้งและครอบคลุม Official website:  https://openthaigpt.aieat.or.th Text-Generation-WebUI A Gradio web UI for Large Language Models. Features 3 interface modes: default (two columns), notebook, and chat Multiple model backends:  transformers ,  llama.cpp ,  ExLlama ,  ExLlamaV2 ,  AutoGPTQ ,  GPTQ-for-LLaMa ,  CTransformers Dropdown menu for quickly switching between different models LoRA: load and unload LoRAs on the fly, train a new LoRA using QLoRA Precise instruction templates for chat mode, including Llama-2-chat, Alpaca, Vicuna, WizardLM, StableLM, and many others 4-bit, 8-bit, and CPU inference through the transformers library Use llama.cpp models with transformers samplers ( llamacpp_HF  loader) Multimodal pipelines, including LLaVA and MiniGPT-4 Extensions

OpenThaiGPT 13B GGUF Demo on Local PC + RTX2060 6GB NVIDIA GPU OpenThaiGPT  เป็นแชทบอทภาษาไทยที่ พัฒนาโดยทีมนักวิจัยจาก AIEAT, AIAT, NECTEC, NSTDA, ThaiSC และ Pantip.com ซึ่ง เทรนบนข้อมูลมากกว่า 2 ล้านล้าน token ทำให้สามารถเข้าใจและตอบคำถามภาษาไทยได้ลึกซึ้งและครอบคลุม Official website:  https://openthaigpt.aieat.or.th OpenThaiGPT Model on Hugging Face https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-13b-chat-gguf Demo on Local PC Local Windows 10 PC + RTX2060 NVIDIA 6GB GPU OpenThaiGPT model GGUF 4bit ขนาด 7.43 GB แต่สามารถ Run บน การ์ดจอ RTX 2060 ที่มี GPU RAM แค่ 6 GB ก็ได้ด้วย ซึ่ง llama-cpp-python library + GGUF model สามารถ ใช้ RAM ร่วมกันระหว่าง System RAM กับ GPU RAM ได้ หมดปัญหา GPU RAM ไม่พอ เมื่อรับ LLM ด้วย GGUF mode Install Python Library llama-cpp-python $env:CMAKE_ARGS = "-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python llama-index pip install llama-index Colab Code from OpenThaiGPT https://colab.research.google.com/drive/1dKN

OpenThaiGPT 13b demo on Colab OpenThaiGPT  เป็นแชทบอทภาษาไทยที่ พัฒนาโดยทีมนักวิจัยจาก AIEAT, AIAT, NECTEC, NSTDA, ThaiSC และ Pantip.com ซึ่ง เทรนบนข้อมูลมากกว่า 2 ล้านล้าน token ทำให้สามารถเข้าใจและตอบคำถามภาษาไทยได้ลึกซึ้งและครอบคลุม Official website:  https://openthaigpt.aieat.or.th Model on HuggingFace https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-13b-chat-gguf Colab GPU •   NVIDIA  T4 GPU on Colab  ใช้ 4bit model จะใช้ GPU RAM ประมาณ 8 GB. Inference Time •   Result : การตอบคำถาม เร็วมาก   ( 2 - 6 sec ) Colab Code from OpenThaiGPT https://colab.research.google.com/drive/1dKNjLhOl1alBezcPdLihwqEOwJhcNAum ทดสอบ 8 bit GGUF Model ทดสอบ 4 bit GGUF Model ระหว่าง 8 bit และ 4 bit คำถามเดียวกัน แต่อาจจะตอบ ต่างกันบ้างเล็กน้อย Adun Nantakaew อดุลย์ นันทะแก้ว LINE : adunnan FaceBook : https://www.facebook.com/softpowergroup Youtube : https://www.youtube.com/channel/UCw3VVy4wOsb8a0a1YYqJAPg Web Blog : https://aiotplatform.blogspot.com/ Website : https://softpower.tech