Tìm kiếm trang web

Cách chạy các mô hình Nemotron 3 không trọng số trên GPU Droplet

Giới thiệu

NVIDIA đã công bố các bổ sung mới nhất cho dòng mô hình Nemotron của họ, Nemotron 3. Có ba mô hình riêng biệt trong gia đình Nemotron 3 được ra mắt, bao gồm Nano, Super và Ultra, với lần lượt 30, 49 và 253 tỷ tham số, có một ngữ cảnh lên đến 1 triệu token. Nano được phát hành vào tháng 12 năm 2025, còn Super và Ultra dự kiến sẽ ra mắt muộn hơn vào năm 2026. Chúng được phát hành theo giấy phép mô hình mở của NVIDIA, cho phép sử dụng thương mại và chỉnh sửa, đồng thời bạn có quyền sở hữu và kiểm soát hoàn toàn các kết quả đầu ra được tạo ra. Cả trọng số lẫn dữ liệu huấn luyện đều mở và có sẵn trên Hugging Face. Hướng dẫn này sẽ thảo luận về các mô hình này và cách triển khai Nano hiện có trên một GPU Droplet của Linux-Console.net.

Điểm chính

  • NVIDIA đã công bố Nemotron 3, một bổ sung mới cho dòng mô hình Nemotron của họ. Nemotron 3 bao gồm ba mô hình mới, Nano (30B), Super (49B) và Ultra (253B).
  • Tính đến tháng 1 năm 2026, mẫu nhỏ nhất, Nano, là mẫu duy nhất hiện đang có sẵn để sử dụng. Super và Ultra dự kiến sẽ được ra mắt vào cuối năm 2026.
  • Tất cả các mô hình đều có trọng lượng mở, cho phép truy cập tự do để sử dụng thương mại và chỉnh sửa. Kiến trúc của các mô hình áp dụng những cải tiến hiệu quả mới nhằm tăng thông lượng của mô hình.

Tổng quan về mô hình

Các mô hình Nemotron 3 sử dụng kiến trúc lai Mamba-Transformer Mixture of Experts nhằm tăng tốc độ sinh token, hay còn được gọi là throughput. Điều này có nghĩa là các mô hình có ít tầng self-attention hơn và thay vào đó sử dụng các tầng Mamba-2 (mô hình không gian trạng thái) và các tầng Mixture-of-Experts (MoE) vốn ít tốn tài nguyên tính toán và nhanh hơn, đặc biệt đối với các chuỗi đầu vào dài hơn. Điều này cho phép các mô hình Nemotron 3 xử lý văn bản dài nhanh hơn trong khi sử dụng ít bộ nhớ và tài nguyên hơn. Một số tầng attention được giữ lại khi cần thiết để đảm bảo độ chính xác cao nhất có thể.

NVIDIA mô tả mỗi trong ba mô hình như được tối ưu hóa cho các nền tảng khác nhau. Nano mang lại hiệu quả chi phí cho các nhiệm vụ tác nhân mục tiêu mà không làm giảm độ chính xác. Super cung cấp độ chính xác cao cho suy luận đa tác nhân. Ultra tối đa hóa độ chính xác trong suy luận.

Nano là nhỏ nhất trong ba loại và có thể so sánh với Qwen3-30B và GPT-OSS-20B về hiệu suất. Đây là loại duy nhất trong ba loại có sẵn tính đến tháng 1 năm 2026.

Nano có thể được sử dụng cho cả các tác vụ suy luận và không suy luận với tùy chọn tắt khả năng suy luận thông qua một cờ trong mẫu trò chuyện. Các phản hồi sẽ kém chính xác hơn nếu khả năng suy luận bị tắt trong cấu hình.

Nano là một kiến trúc lai Hỗn hợp-Chuyên gia (Mixture-of-Experts - MoE) bao gồm 23 lớp Mamba-2 và MoE và sáu lớp attention, với mỗi lớp MoE bao gồm 128 chuyên gia cộng thêm một chuyên gia chia sẻ. Năm chuyên gia được kích hoạt cho mỗi token, làm cho 3,5 tỷ trong tổng số 30 tỷ tham số được hoạt động.

Super và Ultra đều sử dụng LatentMoE và các lớp Dự đoán Nhiều Token (MTP) giúp tăng tốc độ tạo văn bản hơn nữa. MTP là khả năng dự đoán nhiều token cùng lúc trong một lần chuyển tiếp duy nhất thay vì chỉ dự đoán một token. LatentMoE là một phương pháp mới để phân bổ các chuyên gia, nén kích thước dữ liệu đầu vào mà mỗi chuyên gia cần xử lý nhằm giảm lượng tính toán cho mỗi token. Họ sử dụng những tiết kiệm hiệu quả này để tăng số lượng chuyên gia có thể sử dụng cho mỗi token.

Trong báo cáo trắng của NVIDIA về việc phát hành, họ mô tả Super được tối ưu hóa cho các khối lượng công việc như tự động hóa yêu cầu IT, nơi các tác nhân hợp tác xử lý khối lượng công việc lớn. Ultra là lựa chọn để sử dụng khi độ chính xác và hiệu suất lý luận là quan trọng hàng đầu.

Bước 1 — Tạo một Droplet GPU

Để triển khai Nemotron 3 Nano trên một GPU Droplet của Linux-Console.net, trước tiên, hãy đăng nhập vào tài khoản Linux-Console.net của bạn và tạo một GPU Droplet.

Chọn AI/ML-Ready làm hình ảnh của bạn và chọn NVIDIA H100. Thêm hoặc chọn một Khóa SSH, và tạo Droplet của Linux-Console.net.

Bước 2 — Kết nối với GPU Droplet của bạn

Khi Droplet Linux-Console.net được tạo, bạn SSH (Secure Shell) vào máy chủ của mình. Vào dòng lệnh và nhập lệnh sau, thay thế giá trị giữ chỗ your_server_ip được đánh dấu bằng địa chỉ IPv4 công khai của instance của bạn. Bạn có thể tìm thấy IP trong phần Chi tiết kết nối của Bảng điều khiển GPU Instance của bạn.

ssh root@your_server_ip

Bạn có thể nhận được một tin nhắn có nội dung:

The authenticity of host 'your_server_ip (your_server_ip)' can't be established.....Are you sure you want to continue connecting (yes/no/[fingerprint])?

Nếu bạn đồng ý, bạn có thể gõ yes và nhấn ENTER.

Bước 3 — Cài đặt Python và vLLM

Tiếp theo, xác minh rằng bạn vẫn đang ở trong phiên bản Linux, và cài đặt Python.

sudo apt install python3 python3-pip

Nó có thể thông báo cho bạn rằng sẽ sử dụng thêm dung lượng và hỏi bạn có muốn tiếp tục không. Nếu có, hãy nhập Y và nhấn ENTER.

Nếu bạn nhận được thông báo “Daemons sử dụng thư viện lỗi thời” hỏi bạn muốn khởi động lại dịch vụ nào, bạn có thể nhấn ENTER.

Sau khi Python đã được cài đặt xong, hãy cài đặt vLLM.

pip install vllm

Gói này có thể mất một chút thời gian để cài đặt. Sau khi cài xong, hãy tải bộ phân tích cú pháp tùy chỉnh từ Hugging Face.

wget https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/resolve/main/nano_v3_reasoning_parser.py

Bộ phân tích cú pháp tùy chỉnh giải thích các đánh dấu lý luận và gọi công cụ của Nemotron-3 Nano v3 để vLLM có thể phục vụ phản hồi chính xác và định tuyến các cuộc gọi công cụ.

Bước 4 — Phục vụ Mẫu Nemotron

Chỉ định chính xác mô hình nào bạn muốn sử dụng bằng ID của mô hình từ Hugging Face.

vllm serve --model nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
 --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

max-num-seqs là số lượng tối đa các đầu ra có thể được xử lý đồng thời. Trong ví dụ này, bạn có thể xử lý tối đa tám yêu cầu một đầu ra cùng một lúc.

tensor-parallel-size là số lượng GPU mà bạn đang phân phối mô hình thông qua song song tensor. Một tương đương với một GPU duy nhất. max-model-len là tổng số token tối đa cho mỗi yêu cầu. trust-remote-code là cần thiết cho mẫu chat tùy chỉnh và logic phân tích của Nemotron.

Cuối cùng, các tham số reasoning-parser-plugin và reasoning-parser tải và chọn trình phân tích suy luận tùy chỉnh.

Khi mô hình đã được tải và phục vụ trên phiên bản của bạn với vLLM, bạn có thể thực hiện các lệnh suy luận tới endpoint bằng Python tại máy của bạn hoặc từ một máy chủ khác. Tạo một file Python có tên example_vllm_request.py và chạy đoạn mã sau. Thay your_server_ip bằng địa chỉ IP của GPU Droplet của bạn.

import requests

url = "http://your_server_ip:8000/v1/completions"
data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000
}

response = requests.post(url, json=data)
message = response.json()['choices'][0]['message']['content']
print(message)

Bạn sẽ thấy kết quả tương tự như sau:

The capital of France is **Paris**.

Nếu bạn in toàn bộ đối tượng response.json(), bạn có thể xem các token lý luận. Nếu bạn muốn chạy mà không bật lý luận, bạn có thể thêm tham số chat_template_kwargs vào đối tượng dữ liệu ở trên.

data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000,
    "chat_template_kwargs": {"enable_thinking": False},
}

Câu hỏi thường gặp

Yêu cầu phần cứng và bộ nhớ GPU cần thiết để chạy Nemotron 3 Nano cục bộ là gì?

Nemotron 3 Nano có thể chạy trên các GPU có ít nhất 60 GB VRAM với độ chính xác BF16, chẳng hạn như A100 80 GB hoặc H100. Phiên bản được lượng tử hóa có thể cho phép nó chạy trên các GPU có bộ nhớ ít hơn.

Tôi có thể tinh chỉnh Nemotron 3 Nano trên dữ liệu của riêng mình không, và những điều khoản cấp phép liên quan là gì?

Vâng, các mô hình Nemotron 3 được phát hành theo giấy phép mô hình mở của NVIDIA, cho phép sử dụng thương mại, chỉnh sửa và tinh chỉnh. Bạn vẫn giữ toàn quyền sở hữu bất kỳ kết quả nào được tạo ra và có thể tinh chỉnh mô hình trên các bộ dữ liệu tùy chỉnh cho các trường hợp sử dụng cụ thể của mình.

Điểm khác biệt giữa kiến trúc Mixture-of-Experts (MoE) và các mô hình transformer truyền thống về chi phí suy luận là gì?

Kiến trúc MoE chỉ kích hoạt năm trong số 128 chuyên gia cho mỗi token (3,5 tỷ trong 30 tỷ tham số), làm cho việc suy luận hiệu quả hơn nhiều so với các mô hình đặc truyền thống.

NVIDIA đã phát hành các LLM khác trong quá khứ chưa?

Đúng, NVIDIA đã phát hành một lượng lớn các mô hình và tập dữ liệu mở, bao gồm các phiên bản mô hình Nemotron khác, Megatron, các mô hình ASR và nhiều hơn nữa.

Kết luận

Dòng Nemotron 3 là một mô hình mở tương đối hiệu quả và năng suất với khả năng suy luận nhanh và kết quả chính xác. Phiên bản nhỏ nhất, Nano, hiện đã có sẵn từ tháng 1 năm 2026, và hai phiên bản lớn hơn sẽ được ra mắt trong những tháng tới.

Trong hướng dẫn này, bạn đã triển khai Nemotron 3 Nano trên một GPU Droplet của Linux-Console.net. Tiếp theo, bạn có thể xây dựng một quy trình làm việc sử dụng nó cho bất kỳ ứng dụng nhạy cảm về dữ liệu nào yêu cầu mức độ bảo mật và kiểm soát cao.

Cảm ơn bạn đã học cùng cộng đồng Linux-Console.net.