İade Nedenlerini Sınıflandırmak için Yapay Zekâ Kullanımı

Yapılandırılmış bir iade nedeni taksonomisi size hangi kodların var olmasına izin verildiğini söyler. Ama müşteriye bu ayrımı yaptırmadan belirli bir iadenin bu kodlardan hangisini gerçekte hak ettiğini söylemez. İşte bu ikinci sorun bir sınıflandırma sorunudur ve çoğu ekibin küçümsediği sorun tam olarak budur. İyi tasarlanmış bir açılır menü olsa bile, neden verilerinizin büyük bir kısmı yine de yapılandırılmamış biçimde gelir: bir pazaryeri siparişi geriye tek satırlık bir not senkronize eder, bir alışverişçi isteğe bağlı yorum kutusuna bir cümle yazar, bir destek temsilcisi yırtık bir dikişin fotoğrafını bir talebe yapıştırır. Kendi haline bırakıldığında bu girdilerin her biri analizlerinizin asla göremeyeceği bir veri noktasıdır. Giderek artan biçimde makine öğrenmesi ve büyük dil modelleriyle yapılan sınıflandırma, bu dağınık insan girdisini iyi tasarlanmış bir iade nedeni taksonomisinin barındırmak üzere kurulduğu aynı yapılandırılmış koordinata dönüştürmenin yoludur.

Bir sınıflandırıcının ele alması gereken üç girdi türü

Bir iade nedeni sınıflandırıcısı tek bir işi yapan tek bir model değildir. En az üç çok farklı sinyal türünü alıp hepsini aynı taksonomiye oturtması gereken bir sistemdir. Birincisi temiz görünen ama aslında sessizce gürültülü olan yapılandırılmış açılır menü seçimidir: müşterilerin önemli bir kısmı ilk seçeneği, en genel seçeneği ya da ekranı en hızlı geçiren seçeneği işaretler; bu yüzden yakaladığınız etiket ile iadeyi gerçekte tetikleyen neden çoğu zaman birbirini tutmaz. İkincisi serbest metindir; isteğe bağlı bir yorum alanından ya da kontrolünüzde olmayan kanallardan içeri aktarılır ve müşteri sorunu kendi cümleleriyle anlatır, örneğin 'omuzlardan çok dar durdu, açıkçası renk de fotoğraftakinden daha koyuydu' gibi. Üçüncüsü görsellerdir; bir leke, çatlak bir ekran ya da yanlış ürünün fotoğrafı, hepsinin içinde en net kusur sinyalini taşır ama en az yapıya sahip olandır.

Her girdi türü farklı bir model gerektirir. Serbest metin bir doğal dil sınıflandırma işidir ve büyük dil modellerinin ekonomiyi değiştirdiği yer tam olarak burasıdır: birkaç yıl önce kategori başına binlerce elle etiketlenmiş örneğe ihtiyaç duyan bir model, artık kısa bir talimat ve bir avuç örnekle bir cümleyi sabit bir kod listesine eşleyebiliyor. Fotoğraflar ise bir bilgisayarlı görü işidir ve depo tarafında zaten otomatik iade değerlendirmesini çalıştıran modellerle yakından ilişkilidir. Açılır menüye gelince, işin ironik yanı, en çok güvenden ziyade şüpheyle ele alınmaktan fayda gören girdi de odur.

Yakala, sınıflandır, doğrula: bir model değil, bir hat

Ekiplerin yaptığı hata, ihtiyaçları aslında bir hat olduğu halde bir model aramaya çıkmalarıdır. Sınıflandırma üç aşamanın ortadaki aşamasıdır ve etrafındaki aşamalardan herhangi birini atlamak, umut vaat eden bir doğruluk rakamını üretimde güvenilmez hale getiren şeydir.

1. 1Elinizden geldiğince ham sinyali yakalayın. Serbest metni, görseli, açılır menü seçimini ve SKU, beden, kanal, teslimattan bu yana geçen gün sayısı gibi sipariş bağlamını tek bir kayıt olarak bir arada tutun. Sınıflandırıcı yalnızca gördüğü sinyal kadar iyidir ve sadeleştirilmiş bir 'neden: diğer' kaydı, belirsizliği çözecek tam da o kelimeleri çöpe atar.
2. 2Her zaman taksonominin içine sınıflandırın, asla dışına değil. Modelin işi sabit kod listenizden seçim yapmaktır, yeni bir etiket icat etmek değil. Bu, tek ve en önemli tasarım kısıtıdır ve bir LLM'e sabit bir kümeden seçim yaptırmak yerine serbest biçimli çıktı ürettirirseniz varsayılan olarak ihlal edeceği kural da tam olarak budur.
3. 3Güven skoruna göre yönlendirilen bir insan döngüsüyle doğrulayın. Yüksek güvenli tahminler otomatik olarak uygulanır; düşük güvenli ya da bir tedarikçi ters ibrazını tetikleyebilecek bir kusur gibi yüksek riskli olanlar kısa bir insan inceleme kuyruğuna yönlendirilir. İnsanlar modelin işini yeniden yapmaz; modelin dürüstçe işaretlediği kuyruğu ele alır.

Cazip kestirme yol, dağınık girdileri tamamen atlayıp her müşteriyi katı bir açılır menüden geçirmeye zorlamaktır ve bazı operasyonlar için bu gerçekten doğru karardır. Katı bir açılır menünün çalıştırma maliyeti yoktur, yapısı gereği yapılandırılmış veri üretir ve asla halüsinasyon görmez. Yapamadığı şey, seçenek listesinin öngörmediği nüansı yakalamaktır ve yanlış kutuyu işaretleyen her müşteriyi sessizce yanlış etiketler. Serbest metin alanının arkasına yerleştirilmiş bir LLM sınıflandırıcı bu nüansı yakalar ve yanlış seçimleri telafi eder, ama iade başına bir sentin küsuratından birkaç sente kadar bir çalıştırma maliyeti taşır, ürün karmanız değiştikçe sapabilir ve makul görünen ama yanlış bir kodu insan inceleme katmanını tamamen kaldıramayacağınız kadar sık, kendinden emin biçimde atar. Hiçbiri kesin olarak diğerinden üstün değildir. En güçlü mimari genellikle ikisini birden kullanır: size bir seçim vermekten memnun müşteriler için hızlı, yapılandırılmış bir seçim ve açılır menünün tek başına harcayacağı serbest metin ile fotoğraflardan sinyal kurtarmak için bir LLM.

Ne kadar doğruluk yeterlidir ve bunu nasıl anlarsınız

Doğruluk, her paydaşın sorduğu ve en kolay yanlış yanıtlanan sorudur. Yirmi küsur koddan oluşan bir sınıflandırıcı için tek bir başlık doğruluk rakamı neredeyse anlamsızdır, çünkü model trafiğinizin çoğunu oluşturan üç yüksek hacimli kodda mükemmel, ayrı ayrı ekiplerin gerçekten önemsediği uzun kuyrukta ise zayıf olabilir. Model 'göğüste çok dar' ile 'belde çok dar' kodlarını yarı yarıya karıştırıyorsa, beden ekibi %92'lik genel doğruluktan fayda görmez, çünkü bu iki kod farklı kalıp düzeltmelerine işaret eder. Doğruluğu kod başına ölçün, her kodun aşağı akışta bir karara ne kadar etki ettiğine göre ağırlıklandırın ve yalnızca toplama değil, karışıklık çiftlerine, yani modelin birbirine karıştırdığı belirli kodlara da bakın.

İnsan döngülü katman, kusurlu bir sınıflandırıcıyı devreye almayı güvenli kılan şeydir; güven kalibrasyonu ise bu katmanı uygun maliyetli hale getiren şeydir. İyi kalibre edilmiş bir model %95 emin olduğunu söylediğinde yaklaşık %95 oranında haklıdır; bu da bir eşiğin üzerini otomatik uygulayıp altını incelemeye gönderebileceğiniz ve otomatik uygulanan bantta yaklaşık olarak ne kadar hata oranı kabul ettiğinizi bileceğiniz anlamına gelir. Otomatik uygulanan tahminleri sürekli örnekleyerek denetleyin; her hafta küçük rastgele bir dilim çekip elle kontrol edin, böylece sapma, analizlerinizin çeyreğini bozmadan önce denetim hata oranınızda yavaş bir yükseliş olarak ortaya çıkar. McKinsey gibi yapay zekâ benimsemesini inceleyen danışmanlık şirketleri de farklı alanlarda aynı noktaya dikkat çekiyor: bir modelin operasyonel değeri, zirve doğruluğundan çok, hatalarının etrafına sarılan inceleme sürecinden gelir.

Bir sınıflandırıcının görevi her seferinde haklı çıkmak değildir. Çoğu zaman haklı olmak ve geri kalanı konusunda dürüst olmaktır; böylece bir insan yalnızca işaretlediği iadelere dokunur.

Döngüyü değerlendirme ve analitiğe bağlamak

Sınıflandırma yalnızca ürettiği yapılandırılmış kod gerçekten bir yere aktıysa karşılığını verir. Kimsenin sorgulamadığı bir tabloya düşen neden kodu, pahalı bir gösteriden ibarettir. Karşılığını veren versiyon aynı anda iki hedefi besler: SKU bazında neden hacminin beden, ürün yönetimi ve tedarikçi kararlarını yönlendirdiği analitik katmanı ve 'kusurlu, fermuar' sınıflandırmasının fiziksel birimi doğrudan stoğa geri göndermek yerine kontrol ve yenilemeye yönlendirdiği operasyonel katman. ResReturn'ü tam olarak bu ek yeri etrafında tasarladık: iade anında yapılandırılmış neden yakalama, müşterinin eklediği serbest metin veya fotoğrafların sınıflandırmasıyla yerinden edilmek yerine zenginleştirilir ve hem iade veri çarkını hem de aşağı akıştaki değerlendirme kararını besler. Model bir araçtır; yapılandırılmış, sorgulanabilir koordinat ise asıl amaçtır.

• Açılır menü seçimi, serbest metin, fotoğraf ve sipariş bağlamı dahil her ham sinyali tek bir kayıtta tutun, böylece sınıflandırıcı ve herhangi bir insan denetçi müşterinin size verdiği her şeyi görür.
• Modeli sabit taksonominizden seçim yapmakla sınırlayın; bir LLM'in uydurabileceği serbest biçimli etiketler üretmesine asla izin vermeyin.
• Güvene göre yönlendirin: yüksek güvenli tahminleri otomatik uygulayın, geri kalanını kısa bir insan inceleme kuyruğuna gönderin ve otomatik uygulanan bandı haftalık olarak örnekleyerek denetleyin.
• Doğruluğu kod başına ölçün ve ekiplerinizin dayandığı uzun kuyruk kodlarını gizleyen tek bir harmanlanmış rakam yerine karışıklık çiftlerini izleyin.
• Açılır menüyü mutlak doğru değil, kontrol edilmesi gereken gürültülü bir girdi olarak ele alın, çünkü seçimlerin büyük bir kısmı gerçek neden değil, en hızlı seçenektir.