Small Language Models: Tại sao SLM là tương lai của AI Agent?

Small Language Models là gì và tại sao chúng quan trọng với AI Agent?

Small Language Models là nền tảng lý tưởng cho AI Agent nhờ kích thước gọn (dưới 10 tỷ tham số), chạy trực tiếp trên thiết bị người dùng, phản hồi tức thì và bảo toàn dữ liệu nội bộ mà không cần Cloud.

Nếu bạn đang theo dõi xu hướng AI, chắc chắn đã nghe đến khái niệm AI Agent - những "nhân viên AI" tự lập kế hoạch, gọi công cụ và thực thi tác vụ mà không cần con người can thiệp từng bước. Câu hỏi đặt ra là: mô hình ngôn ngữ nào phù hợp nhất để làm "bộ não" cho những agent này?

Câu trả lời ngày càng rõ ràng: Small Language Models (SLM). Không phải những gã khổng lồ như GPT-4 hay Claude 3.5.

Theo định nghĩa thực tế trong nghiên cứu của NVIDIA Research (arXiv:2506.02153v2), SLM là các mô hình có thể chạy trực tiếp trên thiết bị điện tử phổ thông của người dùng - laptop, iPhone, MacBook - với độ trễ đủ thấp để phục vụ tác vụ agentic của một người dùng, không cần kết nối Internet, không phụ thuộc API bên thứ ba. Tính đến năm 2025, các mô hình dưới 10 tỷ tham số được xem là SLM theo định nghĩa này.

SLM khác LLM ở điểm gì?

Vì sao AI Agent không cần "bộ não" quá lớn?

Hãy nghĩ theo cách này: thuê một chuyên gia MBA chỉ để trực điện thoại đặt bàn nhà hàng là lãng phí. AI Agent cũng vậy - phần lớn tác vụ của chúng mang tính lặp lại, phạm vi hẹp và không cần đến năng lực suy luận tổng quát của một LLM hàng trăm tỷ tham số.

Nghiên cứu của NVIDIA khẳng định: "Sự thống trị của LLM trong thiết kế AI Agent vừa quá mức cần thiết, vừa không phù hợp với yêu cầu chức năng thực tế của phần lớn use case agentic." SLM không chỉ đủ dùng - chúng thường là lựa chọn tốt hơn cho các hệ thống agent mô-đun và có khả năng mở rộng.

Tại sao NVIDIA tuyên bố SLM là tương lai của Agentic AI?

Tháng 9/2025, nhóm nghiên cứu NVIDIA công bố luận điểm ba tầng: SLM đủ mạnh về năng lực, phù hợp hơn về vận hành và tiết kiệm hơn về kinh tế - đủ cơ sở để kết luận đây là tương lai của Agentic AI.

Đây không phải tuyên bố marketing. Bài báo khoa học "Small Language Models are the Future of Agentic AI" (NVIDIA Research, arXiv:2506.02153v2) đặt ra ba luận điểm giá trị cốt lõi:

• V1: SLM đủ mạnh về năng lực để xử lý các tác vụ ngôn ngữ trong hệ thống agentic
• V2: SLM phù hợp hơn LLM về mặt vận hành trong môi trường AI Agent
• V3: SLM tiết kiệm hơn LLM trong phần lớn các lần gọi mô hình trong hệ thống agentic

Luận điểm này được củng cố bởi bối cảnh thị trường rất thực tế: theo khảo sát của Cloudera (4/2025), hơn 50% doanh nghiệp IT lớn đang tích cực sử dụng AI Agent, trong đó 21% mới triển khai chỉ trong năm vừa qua. Thị trường Agentic AI được định giá 5,2 tỷ USD cuối năm 2024 và dự kiến tăng lên gần 200 tỷ USD vào năm 2034. Với quy mô đó, chi phí inference là yếu tố sống còn - và SLM là câu trả lời.

Ba rào cản khiến SLM chưa được áp dụng rộng rãi (dù đủ điều kiện)

Nghiên cứu của NVIDIA cũng thẳng thắn thừa nhận tại sao SLM chưa chiếm ưu thế dù có đủ lý do:

• B1 - Quán tính đầu tư hạ tầng: Ngành đã đổ ước tính 57 tỷ USD vào hạ tầng Cloud phục vụ LLM API. Khoản đầu tư khổng lồ này tạo ra quán tính khó phá vỡ
• B2 - Benchmark sai mục tiêu: Phần lớn nghiên cứu SLM vẫn dùng benchmark tổng quát giống LLM, thay vì đo hiệu năng agentic thực tế - nơi SLM thường vượt trội
• B3 - Thiếu nhận thức thị trường: SLM không nhận được sự chú ý truyền thông như LLM, dù phù hợp hơn nhiều cho triển khai công nghiệp

SLM đã đủ mạnh chưa? Bằng chứng từ các mô hình thực tế

SLM hiện đại đã đạt hiệu năng ngang hoặc vượt LLM trên nhiều tác vụ agentic quan trọng như gọi công cụ, tạo code và tuân theo chỉ thị - với chi phí tính toán thấp hơn nhiều lần.

Đây là những con số thực tế từ nghiên cứu NVIDIA, không phải ước tính:

Các SLM đã vượt qua LLM trong thực chiến

• Microsoft Phi-2 (2,7 tỷ tham số): Đạt điểm commonsense reasoning và code generation ngang mô hình 30 tỷ tham số, chạy nhanh hơn ~15 lần
• Microsoft Phi-3 small (7 tỷ tham số): Sánh ngang mô hình lên đến 70 tỷ tham số cùng thế hệ về language understanding và commonsense reasoning
• NVIDIA Hymba-1.5B: Throughput token nhanh hơn 3,5 lần so với transformer cùng kích thước; vượt qua mô hình 13 tỷ tham số về instruction following
• NVIDIA Nemotron-H (2/4,8/9 tỷ): Sánh ngang mô hình 30 tỷ tham số về instruction following và code generation, với chi phí FLOPs thấp hơn một bậc độ lớn
• DeepSeek-R1-Distill-Qwen-7B (7 tỷ): Vượt qua Claude-3.5-Sonnet và GPT-4o về commonsense reasoning
• Salesforce xLAM-2-8B (8 tỷ): Đạt hiệu năng state-of-the-art về tool calling, vượt cả GPT-4o và Claude 3.5
• DeepMind RETRO-7.5B: Hiệu năng tương đương GPT-3 (175 tỷ) khi dùng ít hơn 25 lần tham số
• HuggingFace SmolLM2 (125 triệu - 1,7 tỷ): Tool calling và instruction following ngang mô hình 14 tỷ tham số đương thời, sánh ngang mô hình 70 tỷ của 2 năm trước

Kết luận từ NVIDIA Research: "Với các kỹ thuật huấn luyện, prompting và augmentation hiện đại, năng lực - chứ không phải số lượng tham số - mới là ràng buộc thực sự."

4 lợi thế chiến lược khiến SLM vượt trội LLM trong hệ thống Agent

SLM mang lại 4 lợi thế cốt lõi cho AI Agent: chi phí thấp hơn 10-30 lần, độ trễ gần bằng 0, chủ quyền dữ liệu tuyệt đối và khả năng chuẩn hóa đầu ra chính xác - đây là những yếu tố quyết định ROI thực tế của dự án.

Lợi thế 1: Kinh tế - tiết kiệm 10-30 lần chi phí

Theo dữ liệu từ nghiên cứu NVIDIA, phục vụ một SLM 7 tỷ tham số rẻ hơn 10-30 lần so với LLM 70-175 tỷ tham số về độ trễ, tiêu thụ năng lượng và FLOPs. Khi AI Agent thực hiện hàng triệu tác vụ tự động, chênh lệch này là yếu tố quyết định liệu dự án có ROI dương hay không sau 12 tháng vận hành.

Lợi thế 2: Tốc độ - phản hồi tức thì, không hàng đợi API

LLM qua API có độ trễ do mạng, hàng đợi xử lý và giới hạn rate limit. SLM chạy trực tiếp trên phần cứng thiết bị - loại bỏ hoàn toàn độ trễ mạng - điều kiện bắt buộc với các agent phải ra quyết định theo thời gian thực. NVIDIA Dynamo (2025) là hệ thống inference mới nhất được thiết kế riêng để hỗ trợ SLM low-latency trên cả cloud lẫn edge deployment.

Lợi thế 3: Chủ quyền dữ liệu - không gì rời khỏi thiết bị

Đây là lý do các CISO (Giám đốc Bảo mật) thích SLM. Ứng dụng y tế Sunny là ví dụ điển hình: công cụ theo dõi tổn thương da chạy hoàn toàn trên iPhone - dữ liệu bệnh nhân không bao giờ rời khỏi thiết bị, đáp ứng tiêu chuẩn GDPR khắt khe nhất. Nghiên cứu NVIDIA khẳng định: đây là yếu tố tiên quyết để CISO phê duyệt triển khai AI quy mô lớn trong ngành y tế, tài chính và pháp lý.

Lợi thế 4: Chuẩn hóa đầu ra - không còn "over-safety"

Trong môi trường agentic, tác vụ của agent thường xuyên tương tác với code qua tool calling hoặc trả về output được parse bởi code. SLM dễ fine-tune để xuất đúng định dạng JSON/YAML mà workflow yêu cầu, không gặp hiện tượng "over-safety" hay phản hồi sai format thường thấy ở LLM lớn được huấn luyện quá thận trọng.

Bao nhiêu phần trăm tác vụ LLM có thể thay bằng SLM? Dữ liệu từ case study thực tế

Nghiên cứu NVIDIA ước tính 40-70% lần gọi LLM trong các hệ thống agent phổ biến có thể thay thế bằng SLM chuyên biệt mà không làm giảm hiệu năng tổng thể.

Nhóm nghiên cứu đã phân tích ba agent mã nguồn mở phổ biến:

Các tác vụ thích hợp nhất để thay thế bằng SLM: tạo code boilerplate, phân tích cú pháp lệnh đơn giản, sinh nội dung theo template, tương tác GUI lặp lại. Các tác vụ vẫn cần LLM: lập luận kiến trúc phức tạp, duy trì context đa bước dài, xử lý lỗi không có cấu trúc.

SLM + LLM + RAG: kiến trúc tối ưu cho hệ thống Agent thực tế

Quan điểm cực đoan "SLM thay thế hoàn toàn LLM" không phản ánh đúng thực tế. Mô hình lai mới là hướng đi được nhiều doanh nghiệp lựa chọn: SLM xử lý tác vụ thường gặp, LLM chỉ được gọi khi cần suy luận sâu hoặc tri thức tổng quát.

Kiến trúc thực tế thường trông như sau:

[Yêu cầu đầu vào]
       ↓
[Intelligent Router] → xác định độ phức tạp
       ↓                        ↓
[SLM chuyên biệt]       [LLM cho suy luận sâu]
(80-90% tác vụ)         (10-20% tác vụ phức tạp)
       ↓
[RAG - truy xuất dữ liệu nội bộ]
       ↓
[Đầu ra chính xác, có kiểm chứng]

Lộ trình chuyển đổi từ LLM sang SLM theo NVIDIA (6 bước)

Nghiên cứu NVIDIA đề xuất một thuật toán chuyển đổi cụ thể để migrate hệ thống agent từ LLM sang SLM:

Bước 1 - Thu thập dữ liệu sử dụng: Gắn logger vào tất cả lần gọi agent (không phải HCI), ghi lại input prompt, output, nội dung tool call và latency.

Bước 2 - Lọc và chuẩn bị dữ liệu: Loại bỏ PII/PHI, ẩn danh hóa dữ liệu nhạy cảm. Quy tắc thực tế: 10.000-100.000 ví dụ là đủ để fine-tune SLM chuyên biệt.

Bước 3 - Phân cụm tác vụ (Task Clustering): Dùng kỹ thuật clustering không giám sát trên các prompt đã thu thập để xác định các pattern tác vụ lặp lại (phân loại intent, trích xuất dữ liệu, tóm tắt, tạo code...).

Bước 4 - Chọn SLM phù hợp: Dựa trên khả năng instruction following, context window, license và footprint triển khai của từng mô hình.

Bước 5 - Fine-tune chuyên biệt: Dùng PEFT (LoRA, QLoRA) để giảm chi phí. Trong một số trường hợp, áp dụng Knowledge Distillation - SLM học theo output của LLM trên tập dữ liệu tác vụ cụ thể.

Bước 6 - Lặp và cải tiến: Retrain định kỳ với dữ liệu mới, tạo vòng cải tiến liên tục.

Lưu ý quan trọng từ NVIDIA Research: "Tài sản thực sự của doanh nghiệp không phải là mô hình - mà là Custom Dataset, tập dữ liệu chuyên biệt được tích lũy qua vận hành. Đây mới là lợi thế cạnh tranh dài hạn."

Small Language Models có phù hợp với doanh nghiệp Việt Nam không?

SLM phù hợp với doanh nghiệp Việt Nam vì chi phí thấp, dễ triển khai on-premises (mô hình CNTT trong đó doanh nghiệp tự cài đặt, vận hành và quản lý phần mềm, phần cứng trên máy chủ riêng tại cơ sở của mình) và có thể tinh chỉnh trên dữ liệu tiếng Việt nội bộ mà không cần gửi thông tin nhạy cảm ra ngoài.

Với bối cảnh doanh nghiệp Việt Nam, SLM mang ba lợi ích thiết thực:

• Không phụ thuộc USD: Chi phí inference theo tháng giảm mạnh khi không dùng API của OpenAI hay Anthropic
• Dữ liệu nội bộ an toàn: Thông tin khách hàng, quy trình nội bộ không bao giờ rời khỏi hệ thống
• Dễ tinh chỉnh tiếng Việt: SLM có thể được fine-tune trên dữ liệu tiếng Việt chuyên ngành (y tế, pháp lý, tài chính...) với chi phí và thời gian hợp lý hơn nhiều so với LLM

Các ngành có thể ứng dụng ngay

• Chăm sóc khách hàng: Agent tự động xử lý 80-90% câu hỏi thường gặp bằng SLM, escalate lên LLM hoặc nhân viên thật khi cần
• Tài chính - ngân hàng: Phân tích rủi ro, phân loại giao dịch với dữ liệu hoàn toàn on-premises
• Y tế: Hỗ trợ nhập liệu hồ sơ bệnh nhân, phân tích triệu chứng sơ bộ mà không vi phạm quyền riêng tư
• Logistics: Tối ưu lịch trình, xử lý đơn hàng tự động theo thời gian thực

Small Language Models - không phải "LLM thu nhỏ" mà là hướng đi mới

Nhìn lại toàn bộ, Small Language Models không đơn giản là LLM bị cắt bớt. Chúng đại diện cho một tư duy thiết kế khác: thay vì xây một "siêu mô hình" làm mọi thứ, hãy kết hợp nhiều "chuyên gia nhỏ" trong cùng một hệ thống - mỗi SLM đảm nhận một nhiệm vụ hẹp, làm tốt và làm nhanh.

Nghiên cứu của NVIDIA khép lại bằng một thông điệp rõ ràng: "Ngay cả một sự chuyển dịch một phần từ LLM sang SLM cũng sẽ có tác động vận hành và kinh tế đáng kể lên toàn ngành AI Agent." Đây không phải xu hướng tương lai xa - đây là lộ trình đang được triển khai ngay hôm nay.

Lời khuyên chiến lược từ Vinalink Academy: Đừng chạy theo số lượng tham số. Hãy tập trung vào tính tự chủ dữ liệu và hiệu quả kinh tế thực tế. Mô hình tinh gọn - dữ liệu tinh hoa - Small Language Models là tương lai của AI Agent.