Nguyên lý hoạt động
Hệ thống áp dụng thuật toán cửa sổ trượt (Sliding Window): lấy một đoạn có độ dài `Chunk Size` (theo ký tự hoặc từ), sau đó lùi lại một khoảng `Chunk Overlap` trước khi tạo đoạn tiếp theo. Kỹ thuật này giúp bảo toàn nguyên vẹn ngữ cảnh liền mạch giữa các ranh giới đoạn khi nạp vào vector database.
Hướng dẫn từng bước
Dán tài liệu văn bản dài cần nạp vào mô hình AI vào ô nhập liệu.
Chọn đơn vị phân chia: Theo số ký tự (Characters) hoặc theo số từ (Words).
Thiết lập kích thước đoạn (Chunk size, ví dụ: 500) và độ chồng lấp (Chunk overlap, ví dụ: 50).
Xem bảng tổng hợp tất cả các chunks: số thứ tự, độ dài ký tự, ước tính số Token và nội dung từng đoạn trích.
Sao chép toàn bộ danh sách định dạng JSON hoặc bảng để nạp vào pipeline RAG.
Tính năng nổi bật & Hiệu năng
- Hỗ trợ chia đoạn theo cả ký tự và số từ với độ trượt chồng lấp mượt mà
- Tích hợp thuật toán ước tính số lượng Token (Token estimation) cho các mô hình GPT/Gemini
- Cung cấp bảng xem trước trực quan từng chunk kèm chỉ số bắt đầu và kết thúc
- Xuất dữ liệu một chạm sang định dạng JSON mảng hoặc tệp văn bản
Phương pháp tính, Công thức & Tiêu chuẩn
Each chunk starts size − overlap units after the last one.
Ví dụ minh họa & Trường hợp biên
156 words
60 with 10 overlap
3 chunks
Lưu ý về giới hạn & Độ chính xác
- • Token counts are estimates.
- • Sentence boundaries are not respected.
Xử lý trực tiếp trên trình duyệt & Bảo mật
Các trang chuyển đổi thông thường tải tài liệu, mã nguồn hoặc video của bạn lên máy chủ từ xa. Phân Đoạn Văn Bản Cho RAG & AI (Text Chunker for RAG) chạy hoàn toàn ngay trong tab trình duyệt của bạn:
Nội dung và tệp của bạn được tính toán ngay tại máy, không gửi lên bất kỳ máy chủ xử lý nào.
Microdeck không ghi lại hay lưu trữ tệp và văn bản bạn dán vào công cụ.
Kết quả làm việc chỉ nằm trong bộ nhớ tab hiện tại và tự giải phóng khi bạn đặt lại hoặc đóng tab.
Câu hỏi thường gặp (FAQ)
Tại sao cần phải có khoảng chồng lấp (Chunk Overlap) khi làm RAG?
Nếu cắt cụt văn bản thành các đoạn rời rạc, câu văn hoặc ý tưởng ở vị trí ranh giới cắt sẽ bị đứt quãng. Khoảng chồng lấp giữ lại phần ngữ cảnh cuối của đoạn trước cho đoạn sau, giúp quá trình tìm kiếm ngữ nghĩa (Semantic search) không bị mất thông tin quan trọng.
Khám phá công cụ liên quan
Tính Độ Tương Đồng Cosine (Cosine Similarity Calculator)
Tính độ tương đồng Cosine, khoảng cách Cosine, tích vô hướng và khoảng cách Euclid giữa 2 vector
Xóa Định Dạng Markdown (Markdown Stripper & Cleaner)
Chuyển văn bản Markdown thành văn bản thuần túy sạch sẽ, loại bỏ định dạng
Phân Tích Mật Độ Từ Khóa SEO (Keyword Density Analyzer)
Đếm tần suất xuất hiện và kiểm tra mật độ từ khóa đơn, cụm 2 từ và 3 từ trong bài viết