Llama3 Typhoon v1.5 (scb10x) LLM

Llama3 Typhoon v1.5 (scb10x) LLM 

Typhoon-1.5 models come in 8B and 72B sizes

These models are built on the 8B Llama3 and 72B Qwen base models, 8B weights released under the Meta Llama 3 Community License; 72B weights released under the Tongyi Qianwen License

Performance

To gain insight into Typhoon’s performance, we evaluated it using multiple-choice exam:

Language & Knowledge Capabilities: We assessed Typhoon on multiple-choice question answering datasets, including ThaiExam, M3Exam, and MMLU. The ThaiExam dataset was sourced from standard examinations in Thailand, including ONET, TGAT, TPAT, and A-Level. M3Exam is a benchmark for Southeast Asian countries, including Thailand. MMLU is a standard benchmark for language models in English.



Typhoon-1.5X is an eXperimental model designed for application use cases, featuring improved capabilities in Retrieval-Augmented Generation (RAG), constrained generation, and reasoning in order to achieve competitive performance in instruction following and better human alignment in Thai.


Llama3-Typhoon v1.5x 70B 4bit GGUF Demo on Colab



https://huggingface.co/Adun
Download for Hugging Face

https://huggingface.co/Adun/llama-3-typhoon-v1.5x-70b-instruct-gguf



Use NVIDIA A100 40GB GPU on Colab

This 70B model has 81 layers and size 42.5GB. But NVIDIA A100 GPU has only 40GB RAM.
So, We cannot load all 81 layers. Then We set model_kwargs={"n_gpu_layers": 70}.









Inference Model





Install llama-cpp-python




https://opentyphoon.ai/

Typhoon API

Access the Typhoon Instruction Tuned model through our new API service.
Available for free during our open beta.
https://opentyphoon.ai/


Reference

Typhoon 1.5 Release https://blog.opentyphoon.ai/typhoon-1-5-release-a9364cb8e8d7

SCB10x ( Hugging Face )  https://huggingface.co/scb10x


https://huggingface.co/Adun

Adun Nantakaew อดุลย์ นันทะแก้ว

LINE : adunnan


ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

Eval Llama v3.1 8B ,70B Model with Thai Language

รูปภาพ
Eval Llama v3.1 8B ,70B  ด้วย ข้อสอบภาษาไทย   เทียบกับ llama3-typhoon ทดสอบ การใช้งาน llama v3.1 ที่ว่า support ภาษาไทย จะทำข้อสอบ ภาษาไทยได้ดีแค่ไหน มาดูกัน ข้อสอบ • 04_investment_consult • 05_facebook_beleble_th_200 • 06_xcopa_th_200 • 07_xnli2.0_th_200 • 08_onet_m3_thai • 09_onet_m3_social • 10_onet_m3_math • 11_onet_m3_science • 12_onet_m3_english • 13_onet_m6_thai • 14_onet_m6_math • 15_onet_m6_social • 16_onet_m6_science • 17_onet_m6_english Code ทดสอบ มาจาก  OpenThaiGPT - Thai Exams Eval https://github.com/OpenThaiGPT/openthaigpt_eval การทดสอบด้วยการทำข้อสอบแบบ Multiple Choice ภาษาไทย ทดสอบบนชุดข้อสอบที่ไม่เคยเห็นมาก่อน ทดสอบแบบ Zero-shot Learning, โค้ดการทดสอบและเนื้อหาข้อสอบสามารถทำตามได้ที่นี่ ข้อมูลของ ข้อสอบ https://docs.google.com/spreadsheets/d/1ZtP5Jkx0IvCWNPQhMKitZszGnLKqvEDEf0OKdmQiXjA/edit#gid=1181424412 ผลการทดสอบ ผลการทดสอบ Average Code การทดสอบ code การ plot Graph Adun Nantakaew อดุลย์ นันทะแก้ว LINE : adunnan Facebook : https://www.facebook.com/softpowergroup Y
อ่านเพิ่มเติม

LLAMA-CPP-PYTHON on RTX4060 GPU

รูปภาพ
LLAMA-CPP-PYTHON on NVIDIA RTX4060 GPU We try to use llama-cpp-python library with many OS. Windows 11 Ubuntu 22.04 and Colab ( ubuntu 22.04 also ) Llama-cpp-python library with RTX4060 GPU on Windows11 Install NVDIA GPU Driver. we use driver version 537.24 then check nvidia-smi command for check your GPU. Install CUDA Toolkit.    https://developer.nvidia.com/cuda-downloads we use CUDA 12.1 version make sure your cuda is work fine with nvcc command. We use Python 3.11.7 check python and pip with command line. Install Pytorch  https://pytorch.org/get-started/locally/ check pip list and check cuda available on your GPU with python shell. if false it cannot use with NVIDIA GPU. find your problem.  Install llama-cpp-python  https://pypi.org/project/llama-cpp-python/ with CUDA 12.1 use this command. on Jul 2,2024 version 0.2.81 but we use only 0.2.75 it's work fine. ( 0.2.81 not test on Windows11 yet )  pip install llama-cpp-python \ --extra-index-url https://abetlen.github.io/ll
อ่านเพิ่มเติม