Nasıl çalışır?
Bir belgeyi daha kısa parçalara ayırarak arama dizinine hazırlayın. Sözcük veya karakter birimini seçin, parça boyutunu ve komşu parçalar arasındaki örtüşmeyi girin. Örtüşme, sınırdaki bağlamın iki parçada da kalmasını sağlar. Parçaların başlangıç konumlarını inceleyerek birkaç örneğin nasıl kesildiğini kontrol edin. Dizin sağlayıcısının belirli bir token sınırı varsa son parçaları o sağlayıcının sayacıyla ayrıca ölçün. Sözcük kipinde çok uzun tek bir sözcük, karakter temelli bölmeye göre farklı konumlar üretir.
Nasıl kullanılır?
Kaynak metni yapıştırın.
Kelimeleri veya karakterleri seçin ve parça boyutunu ayarlayın.
Parça boyutundan daha küçük bir üst üste girin.
Başlangıç pozisyonlarını gözden geçirin ve parçaları kopyalayın.
Öne çıkan özellikler
- Kelime veya karakter tabanlı boyutlandırma
- Ayarlanabilir üst üste binme
- Pozisyonları ve metin önizlemelerini başlat
- Tahmini token sayısı
Yöntem ve formüller
Her parça, önceki başlangıca parça boyutu eksi örtüşme kadar ilerlenerek alınır. Örtüşme, parça boyutundan küçük olmalıdır.
Kullanım alanları
- Yardım makalelerini gömmeden önce üst üste gelen ayarları test edin
- Metin için karakter pencerelerini az yerle karşılaştırın
- Bir geri alma deneyi için birkaç parça boyutunu önizle
Uygulamalı örnekler
Bir karakter örtüşen iki parça
Metin ABCDE, birim karakter, parça boyutu 3 ve örtüşme 1.
ABC ve CDE parçaları 1. ve 3. konumlardan başlar.
İki parça da C harfini içerir.
Sınırlamalar
- • Sabit boyutlu parçalar bir cümleyi veya paragrafı bölebilir.
- • Token tahmini karakter sayısını kullanır. Hedef modelin sayımı farklı olabilir.
Dosyalarınız ve gizliliğiniz
RAG metin bölümleyici aracına verdiğiniz dosyalar ve bilgiler cihazınızda işlenir.
Tarayıcınız dosyaları bir işlem sunucusuna göndermeden işler.
Microdeck araca girdiğiniz metinleri ve dosyaları kaydetmez. Sayfanın yüklenmesi için internet bağlantısı kullanılır.
Sekmeyi kapatmadan önce saklamak istediğiniz sonuçları indirin veya kopyalayın. Bazı araçlar taslakları tarayıcınıza kaydeder.
Sık sorulan sorular
Üst üste binen parça boyutu eşit olabilir mi?
Üst üste binme, her yeni parçanın ilerlemesi için daha küçük olmalıdır.
Boşluksuz metin için hangi birimi kullanmalıyım?
Karakter modu, az yer olduğunda kontrol edebileceğiniz bir uzunluk sağlar.
Token sayısı kesin mi?
Tahmin, token başına ortalama dört karakter varsayar. Gerçek sayıyı hedef modelin sayacıyla doğrulayın.
İlgili araçları keşfedin
Kosinüs benzerliği hesaplayıcı
İki vektör girerek kosinüs benzerliğini, kosinüs uzaklığını, aralarındaki açıyı ve Öklid uzaklığını ücretsiz olarak tarayıcınızda hesaplayın
Markdown biçimini kaldırma
Markdown işaretlerini kaldırıp okunur metni bırakın.
Anahtar kelime yoğunluğu ölçer
Metindeki kelimeleri ve ardışık ifadeleri sayın