Microdeck.tools 100% Trên trình duyệt

Phân Đoạn Văn Bản Cho RAG & AI (Text Chunker for RAG)

New

Công cụ phân đoạn văn bản (Text Chunking) chuyên dụng cho các hệ thống RAG (Retrieval-Augmented Generation) và mô hình ngôn ngữ lớn (LLM): chia nhỏ tài liệu theo số lượng từ hoặc ký tự, tùy chỉnh khoảng chồng lấp (Chunk Overlap), ước tính số lượng Token và xuất bảng danh sách đoạn trích kèm xem trước trực quan.

100% Trên trình duyệt Không tải lên máy chủ Kết quả tức thì

Công cụ này có giúp bạn tiết kiệm thời gian không? Chung tay giữ Microdeck miễn phí và ổn định. Hoàn toàn tự nguyện · Từ $3.

Nguyên lý hoạt động

Hệ thống áp dụng thuật toán cửa sổ trượt (Sliding Window): lấy một đoạn có độ dài `Chunk Size` (theo ký tự hoặc từ), sau đó lùi lại một khoảng `Chunk Overlap` trước khi tạo đoạn tiếp theo. Kỹ thuật này giúp bảo toàn nguyên vẹn ngữ cảnh liền mạch giữa các ranh giới đoạn khi nạp vào vector database.

Hướng dẫn từng bước

1

Dán tài liệu văn bản dài cần nạp vào mô hình AI vào ô nhập liệu.

2

Chọn đơn vị phân chia: Theo số ký tự (Characters) hoặc theo số từ (Words).

3

Thiết lập kích thước đoạn (Chunk size, ví dụ: 500) và độ chồng lấp (Chunk overlap, ví dụ: 50).

4

Xem bảng tổng hợp tất cả các chunks: số thứ tự, độ dài ký tự, ước tính số Token và nội dung từng đoạn trích.

5

Sao chép toàn bộ danh sách định dạng JSON hoặc bảng để nạp vào pipeline RAG.

Tính năng nổi bật & Hiệu năng

  • Hỗ trợ chia đoạn theo cả ký tự và số từ với độ trượt chồng lấp mượt mà
  • Tích hợp thuật toán ước tính số lượng Token (Token estimation) cho các mô hình GPT/Gemini
  • Cung cấp bảng xem trước trực quan từng chunk kèm chỉ số bắt đầu và kết thúc
  • Xuất dữ liệu một chạm sang định dạng JSON mảng hoặc tệp văn bản

Phương pháp tính, Công thức & Tiêu chuẩn

Each chunk starts size − overlap units after the last one.

Ví dụ minh họa & Trường hợp biên

156 words

Đầu vào
60 with 10 overlap
Kết quả
3 chunks

Lưu ý về giới hạn & Độ chính xác

  • • Token counts are estimates.
  • • Sentence boundaries are not respected.

Xử lý trực tiếp trên trình duyệt & Bảo mật

Các trang chuyển đổi thông thường tải tài liệu, mã nguồn hoặc video của bạn lên máy chủ từ xa. Phân Đoạn Văn Bản Cho RAG & AI (Text Chunker for RAG) chạy hoàn toàn ngay trong tab trình duyệt của bạn:

Xử lý ngay tại tab này

Nội dung và tệp của bạn được tính toán ngay tại máy, không gửi lên bất kỳ máy chủ xử lý nào.

Không lưu nhật ký dữ liệu

Microdeck không ghi lại hay lưu trữ tệp và văn bản bạn dán vào công cụ.

Bộ nhớ tạm của trình duyệt

Kết quả làm việc chỉ nằm trong bộ nhớ tab hiện tại và tự giải phóng khi bạn đặt lại hoặc đóng tab.

Câu hỏi thường gặp (FAQ)

Tại sao cần phải có khoảng chồng lấp (Chunk Overlap) khi làm RAG?

Nếu cắt cụt văn bản thành các đoạn rời rạc, câu văn hoặc ý tưởng ở vị trí ranh giới cắt sẽ bị đứt quãng. Khoảng chồng lấp giữ lại phần ngữ cảnh cuối của đoạn trước cho đoạn sau, giúp quá trình tìm kiếm ngữ nghĩa (Semantic search) không bị mất thông tin quan trọng.

Khám phá công cụ liên quan

Ủng hộ Microdeck

Hoàn toàn tự nguyện · Từ $3 · Không cần tài khoản

Chọn mức ủng hộ (USD):Đã chọn:$5

Mức ủng hộ tối thiểu là $3 USD.

Hoàn toàn tự nguyện · Từ $3 · Thanh toán qua Gumroad.