Serbest Metin İade Yorumlarını LLM ile Kümelemek

Her iade portalında bir açılır menü ve bir yorum kutusu var. Açılır menü, sıklıkla yanlış olan temiz veri üretiyor; çünkü müşteriler ilk makul seçeneği işaretliyor. Yorum kutusu ise sıklıkla doğru olan dağınık veri üretiyor; çünkü insanlar gerçekte ne olduğunu anlatıyor. Çoğu mağaza açılır menüyü analiz edip kutuyu görmezden geliyor.

Dil modelleri ikinci kaynağı ilk kez ele alınabilir kılıyor; ama yalnızca modelden bir yapı yerine bir cevap isteme cazibesine direnirseniz.

Açılır Menüler Neden Yalan Söylüyor

Neden kodları sürtünme altında seçiliyor. Müşteri bir etiket ve para iadesi istiyor, taksonomi çalışması değil. Altı seçenek verildiğinde, açıkça yanlış olmayan ve en üste yakın olanı seçiyor; bu da listenizin başında duran hangi genel kategori varsa onu sistematik biçimde şişiriyor.

Yanındaki yorum çoğu zaman epey farklı bir şey söylüyor: "yanlış beden" değil, "bel tamdı ama paça çok uzundu". Bu bir beden sorunu değil uzunluk sorunu ve tamamen farklı bir çözüme işaret ediyor. Bu ayrım hiçbir açılır menüden sağ çıkmıyor ve iyi bir iade nedeni taksonomisinin yakalamaya çalıştığı ayrıntı tam olarak bu.

Sonuç Değil Yapı İsteyin

Dil modellerinde buradaki arıza biçimi, "iadeler neden arttı?" diye sorup gelen anlatıyı kabul etmek. Modeller akıcı ve ince kanıttan kendinden emin bir açıklama üretiyorlar. Güvenilir kalıp, modeli sınıflandırıcı ve çıkarıcı olarak kullanmak, sayımı ise SQL'de kendiniz yapmak.

Somut olarak: modele sabit bir etiket kümesi artı açık bir "hiçbir etikete uymuyor" seçeneği verin, her yoruma güven skoruyla tek etiket atamasını isteyin ve etiketi gerekçelendiren metin parçasını alıntılamasını şart koşun. Kontrol o alıntı. Bir insanın on dakikada elli satırı örnekleyip etiketlerin metne mi dayandığını yoksa uydurulmuş mu olduğunu anında görmesini sağlıyor.

Taksonominin Belirmesine İzin Verin, Sonra Dondurun

Birkaç bin yorumluk bir örneklemde açık kümelemeyle başlayın ki müşterilerin gerçekte neden söz ettiğini keşfedin. Kümeleri okuyun. Sabit bir etiket kümesine çevirin. Sonra o sabit kümeye karşı sınıflandırmaya geçin; çünkü her koşuda değişen bir taksonomi, zaman içinde karşılaştıramayacağınız trendler üretiyor.

Kalıcı bir "sınıflandırılamadı" kovası ayırın ve payını izleyin. Büyüdüğünde katalogda ya da pazarda yeni bir şey oluyor demek ve bu büyüme, gelişmekte olan bir sorunun elinizdeki en erken sinyali oluyor. Bu, iade neden kodu kaymasındaki erken uyarı mantığının koda değil metne uygulanmış hâli.

• Modeli etiketlemek ve çıkarmak için kullanın; toplulaştırmayı veri ambarınızda yapın.
• Atanan her etiket için alıntılanmış bir gerekçe parçası isteyin.
• Açık bir sınıflandırılamadı kovası tutun ve büyümesinde alarm kurun.
• Trend raporlamaya başlamadan önce etiket kümesini dondurun.
• Her koşuda rastgele örnek denetleyin; bir kez ölçtüğünüz doğruluğa asla güvenmeyin.

Güven skorunu da tek başına bir filtre olarak kullanmayın. Modeller düşük kanıtla yüksek güven bildirebiliyor; skor, insan denetiminde hangi satırlara önce bakacağınızı sıralamak için faydalı ama otomatik kabul eşiği olarak güvenilir değil. Alıntı zorunluluğu bu boşluğu kapatan asıl mekanizma.

Etiketi hangi cümleye dayandırdığını size gösteremeyen bir model sınıflandırmıyordur. Belagatle tahmin ediyordur.

Burada Gizlilik İsteğe Bağlı Değil

Serbest metin iade yorumları, ekiplerin beklediğinden çok daha sık kişisel veri içeriyor. Müşteriler isim, telefon, adres yazıyor; bir şeyin neden olmadığını açıklarken sağlık bilgisi veriyor ve ara sıra adı geçen bir çalışan hakkında şikâyet ediyor. Bu metni harici bir modele göndermek, GDPR gibi çerçevelerde gerçek yükümlülükler doğuran bir işleme kararı.

Pratik önlemler basit: işlemeden önce bariz tanımlayıcıları temizleyin, veri işleme sözleşmesi olan ve verinizle eğitim yapmayan bir sağlayıcı kullanın, ham yorumlarda saklama süresini kısa tutun ve mümkün olduğunda ham metni değil türetilmiş etiketleri saklayın. Bu, mevcut iade verisi gizlilik uyumu kapsamınızın yanında değil tam içinde duruyor.

Etiketleri Eyleme Çevirmek

Sınıflandırma, bir şeyle birleştirilene kadar değersiz. En çok değer üreten birleştirme ürünle olan: SKU bazında gruplanan yorum etiketleri, belirsiz bir kalite endişesini belirli bir kusur kalıbına sahip adlandırılmış bir ürün listesine çeviriyor.

İkinci en değerli birleştirme zamanla. Altı ay boyunca yorumların yüzde ikisi olan bir etiket şimdi tek bir ürün hattında yüzde dokuzsa, bu aynı hafta içinde incelenmeye değer bir sinyal ve genellikle iade oranının kendisi hareket etmeden önce geliyor. Ürün düzeyinde iade oranı analizini zaten koşan mağazalar bu birleştirmeyi neredeyse bedavaya alıyor; çünkü SKU boyutu zaten orada.

Son olarak döngüyü açılır menüye geri kapatın. Yorumlar tutarlı biçimde neden kodlarınızın sunmadığı bir kategoriyi gösteriyorsa onu ekleyin. Serbest metni kazımanın amacı yapılandırılmış veriyi kalıcı olarak değiştirmek değil, yapının neyi kaçırdığını öğrenmek.

Bir de beklenti yönetimi notu: bu çalışma tek seferlik bir proje değil. Katalog değiştikçe, kampanya takvimi döndükçe ve yeni pazarlara açıldıkça yorumların içeriği de değişiyor. Etiket kümesini yılda bir gözden geçirmek, kümenin ilk gün ne kadar iyi tasarlandığından daha belirleyici oluyor.