Metin özetlerini doğrudan çıkarmak için GPT-4'ü kullanmayın! MIT, Columbia vb. yeni bir "yoğunluk zinciri" hatırlatıcısı yayınladı: fiziksel yoğunluk soyut kalitenin anahtarıdır

Orijinal kaynak: Xinzhiyuan

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

ChatGPT'nin piyasaya sürülmesinden sonra metin oluşturma teknolojisi hızla gelişti ve çok sayıda NLP görevi, özellikle standart cevaplardan yoksun "metin özeti" görevi için tamamen aşılma ikilemiyle karşı karşıya kaldı.

Ancak bir özete "makul miktarda bilginin" nasıl dahil edileceği hala çok zordur: iyi bir özet ayrıntılı ve varlık merkezli olmalıdır, varlık yoğun ve anlaşılması zor olmamalıdır.

Bilgi hacmi ile anlaşılırlık arasındaki dengeyi daha iyi anlamak için MIT, Columbia Üniversitesi ve diğer kurumlardan araştırmacılar, soyut metin eklemeden kullanılabilecek yeni bir "Yoğunluk Zinciri" istemi önerdiler. GPT-4 tarafından oluşturulan varlık seyrek özeti yinelemeli olarak optimize edilir ve eksik olan önemli varlıklar yavaş yavaş eklenir.

Kağıt bağlantısı:

Açık kaynak verileri:

Deneysel sonuçlara bakıldığında, CoD tarafından oluşturulan özet, sıradan istemlerle oluşturulan GPT-4 özetinden daha soyut olup, daha fazla füzyon ve daha az öncü yanlılığı göstermektedir.

100 CNN DailyMail makalesi üzerinde bir insan tercihi çalışması yürütüldükten sonra, insanların, insanlar tarafından yazılan özetlerin varlık yoğunluğuna benzer şekilde, daha yoğun varlıklara sahip özet sonuçları seçmeye daha yatkın olduğu bulunabilir.

Araştırmacılar açık kaynaklı 500 açıklamalı COD özeti ve 5.000 açıklamasız soyut veri elde etti.

Metin özetlemeyi yinelemeli olarak iyileştirin

ipucu()

Görevin amacı GPT-4'ü kullanarak "farklı bilgi yoğunluğu seviyelerine" sahip bir dizi özet oluşturmak ve aynı zamanda metnin uzunluğunu da kontrol etmektir.

Araştırmacılar, bir başlangıç özeti oluşturmak ve varlıkları giderek daha yoğun hale getirmek için Yoğunluk Zinciri (CoD, Yoğunluk Zinciri) ipuçlarını önerdiler.

Spesifik olarak, sabit sayıda yineleme turu altında, kaynak metindeki bir dizi benzersiz ve göze çarpan varlık tanımlanır ve metin uzunluğunu artırmadan önceki özetle birleştirilir.

İlk oluşturulan özet, varlık açısından seyrektir ve yalnızca 1-3 başlangıç varlığına odaklanır; kapsanan varlıkların sayısını artırırken aynı metin uzunluğunu korumak için soyutlama, birleştirme ve sıkıştırmanın açıkça teşvik edilmesi gerekir. Önceki özetin içeriği.

Araştırmacılar varlığın türünü belirtmediler ancak Kayıp Varlık'ı basitçe şöyle tanımladılar:

**İlgili: **Ana hikayeyle ilgili;

Belirli: Açıklayıcı ancak kısa (5 veya daha az kelime);

**Roman: **Önceki özetlerde yer almıyor;

**Sadık: **Orijinal metinde mevcuttur;

Her yerde: makalenin herhangi bir yerinde görünebilir.

Veri seçimi açısından araştırmacılar, CoD özetleri oluşturmak için CNN/DailyMail özet test setinden rastgele 100 makale seçtiler.

CoD özet istatistikleri daha sonra insan tarafından yazılan madde işareti stili referans özetleriyle ve GPT-4 tarafından normal istem altında oluşturulan özetlerle karşılaştırıldı; burada istem "Makalenin 70 kelimeden uzun olmayan çok kısa bir özetini yazın" idi. (Makalenin ÇOK kısa bir özetini yazın. 70 kelimeyi geçmeyin).

Beklenen jeton uzunluğu, CoD özetinin jeton uzunluğuyla eşleşecek şekilde ayarlanır.

istatistiksel sonuçlar

Doğrudan istatistiksel göstergeler

Belirteç sayısını saymak için NLTK'yi kullanın, benzersiz varlıkların sayısını ölçmek için Spacy2'yi kullanın ve varlık yoğunluk oranını hesaplamak için kullanın.

CoD ipucu, özetin oluşturulması için beklenen belirteç sayısını büyük ölçüde sınırlamaktadır. İkinci adımdan başlayarak, gereksiz kelimelerin uzun ilk özetten kademeli olarak çıkarıldığı ve bunun sonucunda metin uzunluğunun ortalama 5 belirteç kadar kısaldığı görülebilir ( 72 ila 67).

Varlık yoğunluğu da başlangıçta 0,089'da artar; bu, insan ve GPT-4 sonuçlarından (sırasıyla 0,151 ve 0,122) daha düşüktür ve 5 adımdan sonra yoğunluk 0,167'ye yükselir.

Dolaylı istatistiksel göstergeler

Metnin soyutluğunu ölçmek için çıkarma yoğunluğu (çıkarılan parçaların ortalama uzunluğunun karesi) kullanıldığında, CoD yinelemeleri ilerledikçe metnin artması beklenir.

Konsept füzyon indeksi olarak "kaynak metinle hizalanmış özet cümle sayısı"nı kullanın; burada hizalama algoritması, eklenen ek cümleler artık göreceli ROUGE'yi artırmayana kadar kaynak cümleyi hedef cümleyle hizalamak için "göreceli ROUGE kazancını" kullanır. Füzyonun giderek artması bekleniyor.

İçerik dağılımı (İçerik Dağılımı) göstergesi olarak "özet içeriğin kaynak metindeki konumu"nu kullanan spesifik ölçüm yöntemi, tüm hizalanmış kaynak cümlelerin ortalama sıralamasıdır. CoD özetinin başlangıçta bariz öncü yanlılığı göstermesi beklenir. , ardından yavaş yavaş makalenin ortasından itibaren ilerlemeye başlıyoruz ve sonuç kısmında varlıklar tanıtılıyor.

İstatistiksel sonuçlar da beklenen sonuçların doğruluğunu doğruladı: Yeniden yazma süreciyle birlikte soyutlama giderek arttı, birleştirme oranı arttı ve özet makalenin ortasına ve sonuna entegre edilmeye başlandı.

Ayrıca tüm COD özetleri, elle yazılan ve temel model tarafından oluşturulan özetlerden daha soyuttur.

Deneysel sonuçlar

COD özetlemesinin getirdiği dengeleri daha iyi anlamak için, GPT-4 ile tercihe dayalı bir insan çalışması ve derecelendirmeye dayalı bir değerlendirme gerçekleştirdik.

İnsan Tercihi Değerlendirmesi

Araştırmacılar, yoğunlaşmanın genel insan kitlesi değerlendirmesi üzerindeki etkisini değerlendirmeye odaklandılar.

Spesifik olarak, 100 makale girerek "5 adım*100=toplamda 500 özet" elde edebilirsiniz. Özet sonuçları rastgele dört açıklayıcıya gösterilir ve orijinal metnin Özü, Açıklığı, Özetleri temel alınarak Doğruluk, Amaç açısından değerlendirilir. , Kısa ve Stil.

Oylama sonuçlarına bakılırsa, ikinci CoD adımı en yüksek değerlendirmeyi aldı. Ortalama yoğunluğa ilişkin önceki deneysel sonuçlarla birleştirildiğinde, kabaca, insanların yaklaşık %15 varlık yoğunluğuna sahip metin özetlerini seçme olasılığının daha yüksek olduğu sonucuna varılabilir; GPT-4 tarafından oluşturulan özetten önemli ölçüde daha yüksektir (varlık yoğunluğu 0,122).

Otomatik değerlendirme metrikleri

Son zamanlarda yapılan bazı çalışmalar, GPT-4'ün değerlendirmesinin insan değerlendirme sonuçlarıyla çok yüksek bir korelasyona sahip olduğunu ve hatta bazı açıklama görevlerinde kitle kaynak kullanan çalışanlardan daha iyi performans gösterebileceğini gösterdi.

Manuel değerlendirmeye ek olarak araştırmacılar, CoD özetlerini (1-5) 5 açıdan derecelendirmek için GPT-4'ü kullanmayı önerdiler: bilgilendirici (Bilgilendirici), kalite (Kalite), tutarlılık (Tutarlılık) ve ilişkilendirme (Atfedilebilir) ve genel.

Kullanılan komut şablonu:

Makale: Makale Özet: Özet Lütfen özeti Boyuta göre derecelendirin (1=en kötüden 5=en iyiye). Tanım

Her göstergenin tanımları şunlardır:

Bilgilendirici: Bilgilendirici bir özet, makaledeki önemli bilgileri yakalayabilir ve bunları doğru ve kısa bir şekilde sunabilir. (Bilgilendirici bir özet, makaledeki önemli bilgileri yakalar ve bunları doğru ve öz bir şekilde sunar.)

**Kalite:**Yüksek kaliteli özetler anlaşılırdır. (Kaliteli bir özet anlaşılır ve anlaşılırdır.)

Tutarlılık: Tutarlı bir özet iyi yapılandırılmış ve iyi organize edilmiştir. (Tutarlı bir özet, iyi yapılandırılmış ve iyi organize edilmiş bir özettir.)

Atıf: Özetteki tüm bilgiler tamamen makaleye atfediliyor mu? (Tüm bilgiler burada mı?)

Özet tamamen Makaleye atfedilebilir mi?）

Genel Tercih: İyi bir özet, makalenin ana noktalarını kısa, mantıklı ve tutarlı bir şekilde aktarmalıdır. (İyi bir özet, Makaledeki ana fikirleri kısa, mantıklı ve tutarlı bir şekilde aktarmalıdır.)

Deneysel sonuçlar, yoğunlaştırmanın bilgi içeriğiyle ilişkili olduğunu ancak puanın 4. adımda (4,74) zirve yaptığını; kalite ve tutarlılığın daha hızlı düştüğünü; tüm özetlerin kaynak makaleye atfedildiğinin kabul edildiğini; genel puanların daha yüksek olma eğiliminde olduğunu göstermektedir. Daha yoğun ve daha bilgilendirici özetler için , 4. adım en iyi puanı alır. Ortalama olarak, ilk ve son CoD adımları en az tercih edilenlerdir, ortadaki üç adım ise yakındır (sırasıyla 4,78, 4,77 ve 4,76).

Nitel analiz

Yinelemeli süreç sırasında özetin tutarlılığı/okunabilirliği ile bilgilendiriciliği arasında bir denge vardır.

Yukarıdaki örnekte, biri daha ayrıntılı içerik, diğeri ise daha kaba içerik içeren iki CoD adımı gösterilmektedir.

Ortalama olarak, ara adımların CoD özetleri daha iyi bir denge sağlar, ancak bu dengenin tam olarak nasıl tanımlanacağı ve ölçüleceği henüz çözülmemiştir.

Referanslar: