Context Window là gì? Giới hạn ký ức AI và Claude

Context window là gì?

Context window (cửa sổ ngữ cảnh) là toàn bộ lượng văn bản mà một mô hình AI có thể tham chiếu khi tạo ra câu trả lời, tính cả chính câu trả lời đó. Đây là bộ nhớ làm việc tạm thời, không phải kho tri thức đã học.

Anthropic mô tả context window đúng theo hướng này trong tài liệu kỹ thuật: nó khác hoàn toàn với kho dữ liệu khổng lồ mà mô hình đã được huấn luyện, và đóng vai trò như "working memory" của mô hình.

Cách dễ hình dung nhất: context window giống RAM của máy tính, còn dữ liệu huấn luyện giống ổ cứng. RAM chỉ giữ được thứ bạn đang mở. Tắt máy là mất. Ổ cứng thì luôn ở đó nhưng bạn phải chủ động mở file lên mới dùng được.

Nói theo kiểu đời thường hơn: bạn đang họp với một đồng nghiệp cực giỏi nhưng không mang sổ. Anh ta nhớ hết những gì bạn vừa nói trong cuộc họp này. Bước ra khỏi phòng là quên sạch. Đó chính xác là cách context window vận hành.

Vì sao context window được đo bằng token, không phải từ?

Token là đơn vị nhỏ nhất mà mô hình xử lý văn bản, thường tương đương khoảng 3-4 ký tự tiếng Anh. Tiếng Việt có dấu nên thường tốn nhiều token hơn tiếng Anh cho cùng một lượng nội dung [CẦN KIỂM CHỨNG: tỷ lệ token tiếng Việt chính xác, nên đo bằng token counting API trước khi trích dẫn con số cụ thể].

Điều quan trọng là mọi thứ đều tiêu chung một ngân sách token. Theo tài liệu Anthropic, mọi thành phần trong request đều tính vào context window: system prompt, từng tin nhắn trong hội thoại (gồm cả tool result, ảnh, tài liệu) và định nghĩa tool. Phần Claude sinh ra trong lượt đó, kể cả extended thinking, cũng tính vào.

Context window khác gì với memory và training data?

Ba khái niệm này hay bị gộp làm một, nhưng chúng hoạt động khác nhau:

Context window hoạt động như thế nào trong một hội thoại?

Mỗi lượt trao đổi được cộng dồn vào context window. Lịch sử hội thoại cũ được giữ nguyên vẹn, cộng thêm tin nhắn mới và phần trả lời AI đang sinh ra.

Tài liệu Anthropic mô tả cơ chế này là "progressive token accumulation": hội thoại càng đi xa, mỗi tin nhắn của bạn và mỗi câu trả lời của model đều tích lũy thêm vào cửa sổ.

Hệ quả rất thực tế. Tin nhắn thứ 40 của bạn đắt hơn tin nhắn thứ nhất, vì mô hình phải đọc lại toàn bộ 39 lượt trước đó để trả lời. Đây là lý do hội thoại dài chạy chậm hơn, tốn nhiều token hơn và dễ trôi ngữ cảnh hơn.

Khi input vượt quá giới hạn, API trả về lỗi 400 kèm thông báo prompt quá dài. Trên giao diện chat, cơ chế xử lý mềm hơn: theo trung tâm hỗ trợ Claude, với người dùng đã bật code execution, Claude tự động tóm tắt các tin nhắn cũ khi hội thoại tiến gần giới hạn để cuộc trò chuyện tiếp tục liền mạch.

Context window Claude lớn đến mức nào?

Các model Claude mới nhất có context window 1 triệu token trên Claude API. Những model còn lại, gồm Claude Sonnet 4.5 và Haiku 4.5, dừng ở mức 200.000 token.

Số liệu dưới đây lấy trực tiếp từ trang tài liệu Context windows của Anthropic, cập nhật tại thời điểm viết bài:

Ba chi tiết đáng nhớ. Thứ nhất, mọi model có cửa sổ 1 triệu token đều sinh được tối đa 128.000 token output trong một request. Thứ hai, request long-context được tính theo giá tiêu chuẩn, không phụ phí. Thứ ba, một request chứa được tối đa 600 ảnh hoặc trang PDF, giảm còn 100 với model 200k token.

Trên bản Claude dùng qua trình duyệt và app, con số hơi khác. Trung tâm hỗ trợ Claude ghi rằng ở các gói trả phí, model mới nhất hỗ trợ tới 1 triệu token, những model khác ở mức 500K hoặc 200K. Một phần cửa sổ luôn được giữ lại cho câu trả lời, nên độ dài hội thoại thực tế nhỏ hơn con số tối đa một chút.

Giới hạn ký ức AI đến từ đâu?

Giới hạn ký ức AI không chỉ nằm ở dung lượng cửa sổ. Ngay cả khi chưa đầy, độ chính xác và khả năng ghi nhớ vẫn suy giảm khi số token tăng lên.

Anthropic gọi hiện tượng này là context rot. Tài liệu chính thức nói thẳng: cửa sổ lớn hơn cho phép xử lý prompt dài và phức tạp hơn, nhưng nhiều context không tự động đồng nghĩa với tốt hơn, vì độ chính xác cùng khả năng recall đều giảm khi token nhiều lên.

Đây là điểm mà rất nhiều người dùng hiểu nhầm. Họ thấy "1 triệu token" rồi nhồi cả kho tài liệu vào một chat, sau đó ngạc nhiên khi AI trả lời chung chung. Nhồi 900K token vào cửa sổ 1M không khác gì đưa cho một người 1.500 trang tài liệu rồi hỏi một chi tiết ở trang 738. Về lý thuyết thì được. Về thực tế thì đừng.

Bốn nguyên nhân phổ biến khiến AI có vẻ như đang quên:

• Cửa sổ đầy: nội dung cũ bị đẩy ra để nhường chỗ cho nội dung mới.
• Context rot: thông tin vẫn nằm trong cửa sổ nhưng model khó truy xuất chính xác khi ngữ cảnh quá dày.
• Tóm tắt tự động: hội thoại dài được nén lại, một số chi tiết cụ thể biến mất trong bản tóm tắt.
• Đại từ mơ hồ: bạn viết "sửa cái đó đi", model không biết "cái đó" là cái nào trong 30 lượt vừa rồi.

Làm sao để AI không quên ngữ cảnh giữa chừng?

Cách hiệu quả nhất là chủ động quản lý context thay vì trông chờ model tự xoay xở: một chat cho một nhiệm vụ, đặt thông tin quan trọng ở đầu và cuối prompt, tóm tắt định kỳ.

Áp dụng nguyên tắc một chat, một nhiệm vụ

Đừng gộp phân tích hợp đồng, soạn email đàm phán và tính dòng tiền vào cùng một hội thoại. Mỗi nhiệm vụ mở một chat riêng, dán lại phần context cần thiết từ chat cũ. Cửa sổ sạch cho câu trả lời sắc hơn.

Đặt thông tin quan trọng ở đầu hoặc cuối prompt

Với prompt dài, hãy để tài liệu chính ở phần đầu, thông tin nền ở giữa, câu hỏi cụ thể ở cuối. Cách sắp xếp này giúp chỉ dẫn của bạn nằm ở vị trí model chú ý mạnh nhất, thay vì chìm giữa hàng chục nghìn token.

Dùng XML tag để phân vùng tài liệu

Khi gửi nhiều nguồn cùng lúc, bọc từng nguồn trong tag riêng để model không nhầm lẫn dữ liệu:

<document name="HopDong_2026.pdf">
  ...nội dung hợp đồng...
</document>

<instruction>
  Dựa trên điều khoản thanh toán ở trên, phân tích rủi ro cho bên thuê.
</instruction>

Tóm tắt và mở phiên mới sau 10-15 lượt

Khi hội thoại bắt đầu dài, yêu cầu AI tóm tắt theo cấu trúc: mục tiêu ban đầu, quyết định đã chốt, ràng buộc quan trọng, câu hỏi còn mở, bước tiếp theo. Copy bản tóm tắt đó, mở chat mới, dán vào làm tin nhắn đầu tiên.

Dùng Projects làm bộ nhớ ngoài

Với dự án lặp lại nhiều lần, đưa brief, brand voice, template và tài liệu tham chiếu vào Project thay vì dán lại mỗi phiên. Chat chỉ giữ phần chỉ dẫn riêng cho từng nhiệm vụ. Cách này giữ cửa sổ gọn mà vẫn có đủ ngữ cảnh nền.

Tránh đại từ không rõ đối tượng

Thay vì viết "sửa lỗi đó", hãy viết "sửa lỗi căn lề flexbox ở component Button đã nêu phía trên". Một câu dài hơn vài từ nhưng tiết kiệm cho bạn hai lượt hỏi đi hỏi lại.

Context window lớn hơn có luôn tốt hơn không?

Không. Context window lớn mở rộng khả năng xử lý tài liệu dài, nhưng chất lượng phụ thuộc vào việc bạn chọn lọc nội dung đưa vào chứ không phải đưa vào bao nhiêu.

Tài liệu Anthropic viết rõ: việc chọn lọc thứ nằm trong context quan trọng ngang với việc có bao nhiêu chỗ trống. Đây là tư duy nền của cái gọi là context engineering.

Trong thực tế làm nội dung và automation tại Vinalink, chúng tôi thấy pattern lặp lại: người mới thường nhồi tối đa, người có kinh nghiệm thường lọc trước khi gửi. Kết quả của nhóm thứ hai ổn định hơn hẳn, dù dùng cùng một model.

Vài nguyên tắc lọc đáng áp dụng ngay:

• Chỉ gửi phần tài liệu liên quan tới câu hỏi, không gửi cả bộ.
• Với code, gửi diff thay vì cả file 500 dòng khi chỉ sửa 3 dòng.
• Loại bỏ log, metadata, phần lặp lại trước khi dán vào prompt.
• Tài liệu quá lớn thì chia chunk theo ranh giới tự nhiên là chương hoặc section, kèm tóm tắt tổng thể ở đầu mỗi chunk.

Câu hỏi thường gặp về context window

Context window là gì nói ngắn gọn nhất?

Context window là toàn bộ lượng văn bản mà AI có thể tham chiếu khi tạo câu trả lời, tính cả câu trả lời đó. Nó là bộ nhớ làm việc tạm thời của model trong một phiên, khác với kho dữ liệu huấn luyện.

1 triệu token tương đương bao nhiêu trang tài liệu?

Một token tương đương khoảng 3-4 ký tự tiếng Anh, nên 1 triệu token vào khoảng vài nghìn trang A4. Con số quy đổi thay đổi theo ngôn ngữ và định dạng, vì vậy nên dùng token counting API để đo chính xác trước khi ước lượng chi phí.

Context window Claude hiện là bao nhiêu?

Theo tài liệu Anthropic, Claude Opus 5, Opus 4.8, Opus 4.7, Opus 4.6, Sonnet 5, Sonnet 4.6, Fable 5 và Mythos 5 có cửa sổ 1 triệu token trên Claude API. Các model khác, gồm Sonnet 4.5 và Haiku 4.5, có cửa sổ 200.000 token.

Vì sao AI quên thông tin dù hội thoại chưa quá dài?

Nguyên nhân thường là context rot: khi số token tăng, độ chính xác và khả năng recall của model giảm dù thông tin vẫn nằm trong cửa sổ. Đại từ mơ hồ trong câu hỏi cũng khiến model hiểu sai điều bạn đang nhắc tới.

Extended thinking có tính vào context window không?

Có. Tài liệu Anthropic ghi rõ mọi token input và output, gồm cả token thinking, đều tính vào giới hạn context window. Token thinking nằm trong tham số max_tokens và được tính phí như output token.

Làm sao biết hội thoại sắp chạm giới hạn?

Trên API, mỗi response đều báo mức tiêu thụ ở trường usage, và bạn có thể ước lượng trước bằng token counting API. Trên giao diện chat, dấu hiệu thường thấy là AI lặp lại câu hỏi cũ, bỏ qua ràng buộc đã chốt hoặc trả lời chung chung hơn bình thường.

Nên dùng Projects hay dán lại context mỗi phiên?

Với thông tin nền lặp lại nhiều lần như brand voice, template hay tài liệu tham chiếu, nên đưa vào Projects. Với chỉ dẫn riêng cho từng nhiệm vụ, nên giữ trong chat. Cách chia này giúp cửa sổ gọn mà vẫn đủ ngữ cảnh.

Bắt đầu từ đâu nếu bạn muốn làm chủ context

Hiểu context window là bước đầu. Bước tiếp theo khó hơn: biết đưa gì vào, bỏ gì ra, khi nào reset, khi nào dùng Project và khi nào cần một agent riêng cho từng nhiệm vụ. Đó là kỹ năng luyện bằng dự án thật, không phải bằng đọc tài liệu.

Nếu bạn muốn học phần này một cách hệ thống, khóa Claude AI Mastery của Vinalink Academy dành trọn buổi đầu tiên cho bộ khung Context - Prompt - Memory - Output, sau đó đi tiếp sang cá nhân hóa Claude bằng Project và Skill, xây trợ lý AI cho Content, Marketing và Sales. Chương trình 6 buổi, thực hành trực tiếp trên công việc thật của học viên.

Bạn có thể xem lộ trình chi tiết tại khóa học Claude AI Mastery.

Bài viết được thực hiện bởi Vinalink Academy - đơn vị đào tạo Digital Marketing và AI với hơn 15.000 học viên từ năm 2011.