15B modelinin tek yeteneği GPT3.5'i aştı ve açık kaynaklı SQLCoder kullanıldı

Coder ailesine yeni bir üye eklendi ve açık kaynaklı oldu!

Kod düzenleme hakkında hangi büyük model araçlarını biliyorsunuz?

Twitter kullanıcısı @lvwerra kod ailesi üyelerinin çoğunu sıralamak için aşağıdaki görseli yaptı.

Bu fotoğrafı yayınladıktan sadece iki hafta sonra aileye üç yeni üye katıldı; bunlar DeciCoder, OctoCoder ve son üye SQLCoder.

Bunlar arasında en son üye SQLCoder sadece mükemmel performansa sahip olmakla kalmıyor, aynı zamanda açık kaynaklı!

SQLCoder

SOTA'nın büyük ölçekli bir dil modeli olan SQLCoder, doğal dil sorularını SQL sorgularına dönüştürür. Geliştiricinin açık kaynak değerlendirme çerçevesi olan SQL'de SQLCoder, tüm önemli açık kaynak modellerinden önemli ölçüde daha iyi performans gösterir ve OpenAI'nin GPT-3.5'inden daha iyi performans gösterir.

SQLCoder, 15B parametreli bir LLM'dir ve aynı zamanda StarCoder'ın ince ayarlı bir uygulamasıdır. SQLCoder, artan zorluktaki el yapımı SQL sorgularına göre hassas şekilde ayarlanmıştır. Tek bir veritabanı şeması için ince ayar yapıldığında performansı GPT-4 ile karşılaştırılabilir, hatta daha iyidir.

*proje adresi:

• Demo adresi:
• Model Ağırlığı:

Geçtiğimiz üç ayda SQLCoder tıbbi, finansal ve diğer kuruluşlarda kullanılmaya başlandı. Bu işletmeler genellikle kendi sunucularından çıkmasını istemedikleri hassas verilere sahiptir, bu nedenle, kendi kendine barındırılan bir model kullanmak, Yüksek Lisans'ı kullanabilmelerinin tek yoludur.

yöntem

veri kümesi oluştur

Yazarlar, metinden SQL'e görevlere odaklanan, elle düzenlenmiş bir tamamlama çifti veri kümesi oluşturdular. Veri seti, farklı zorluk derecelerindeki sorularla birlikte 10 farklı modelden oluşturuldu. Ayrıca 7 yeni kalıptan 175 sorudan oluşan bir değerlendirme veri seti oluşturdular.

Yalnızca 1 veya 2 tablo içeren şemalar, sınırlı ilişkiler nedeniyle basit ve anlaşılır sorgulara izin verme eğiliminde olduğundan, hem eğitim hem de değerlendirme veri kümelerinde 4-20 tablo içeren karmaşık şemaların seçilmesini sağladılar.

soru kategorisi

Veri seti oluşturulduktan sonra yazar, veri setindeki her soruyu dört kategoriye ayırmıştır: kolay, orta, zor ve son derece zor. Bu sınıflandırma, Spider veri kümesi tarafından SQL zorluğunu ölçmek için kullanılan kriterlerin uyarlanmasıyla yapılır. Son olarak veri kümesini kolay ve orta, zor ve süper zor olmak üzere iki ayrı alt bölüme ayırdılar.

ince ayar

Yazarlar modele aşağıdaki iki aşamada ince ayar yaptılar.

İlk olarak, StarCoder temel modelinde yalnızca kolay ve orta zorluktaki problemlere ince ayar yapıldı.

İkinci olarak, elde edilen model (defog- easy olarak kodlanmıştır), SQLcoder'ı elde etmek için zor ve süper zor problemlere ince ayar yapılmıştır.

Değerlendirmek

Yazarlar modeli kendi oluşturdukları özel bir veri kümesi üzerinde değerlendirdiler. SQL sorgularının doğruluğunu değerlendirmek oldukça zordur, değerlendirme standardı olarak GPT-4'ü kullanmayı düşündüler ancak birçok sorunla karşılaştılar. Bu arada iki farklı SQL sorgusunun her ikisinin de doğru olabileceğini fark ettiler.

"Toronto'dan gelen son 10 kullanıcı kim?" sorusu için aşağıdaki sorgu formlarının her ikisi de doğrudur.

Bunu göz önünde bulundurarak yazarlar, sorgu doğruluğunu değerlendirmek için özel bir çerçeve oluşturdular. Yalnızca model ağırlıklarını açık kaynak olarak sağlamakla kalmadılar, aynı zamanda değerlendirme çerçevesini ve değerlendirme veri kümesini de açık kaynak olarak kullandılar.

Veri kümesini yayınlamanın amacı, mevcut kıyaslamaları zenginleştirmek ve araştırmacıların ve mühendislerin metinden SQL'e üretken modellerin performansını, özellikle de modelin döndürülen sonuçlardaki sütun yeniden adlandırma, sütun ekleme ve yeniden sıralama gibi zararsız değişikliklere verdiği tepkiyi daha iyi anlamalarına yardımcı olmaktır. sağlamlık.

Değerlendirmeyle ilgili daha fazla ayrıntıyı blog içeriğinde bulabilirsiniz:

verim

Değerlendirme çerçevesinde Defog SQLCoder, GPT-4 dışındaki tüm önemli modellerden daha iyi performans göstermektedir. Özellikle, iki modelin 10 katından daha büyük olan gpt-3.5-turbo ve text-davinci-003'ten daha iyi performans gösteriyor.

Bu sonuçlar genel bir SQL veritabanı içindir ve SQLCoder'ın performansını tek bir veritabanı şemasında yansıtmaz. Tek bir veritabanı şemasında ince ayar yapılırken SQLCoder, daha düşük gecikme süresiyle (A100 80GB'de) OpenAI'nin GPT-4'üne eşit veya daha iyi performans gösterir.

*Oluşturulan her soruyu 5 kategoriye ayırır ve her modelin kategoriye göre doğru yanıtladığı soruların yüzdesini gösterir. *

SQLCoder Donanım Gereksinimleri

SQLCoder, ağırlıklarla birlikte A100 40GB GPU üzerinde test edilmiştir. Ayrıca modelin 8 bit ve 4 bit nicelenmiş sürümlerini, RTX 4090, RTX 3090 ve Apple'ın M2 Pro, M2 Max veya M2 Ultra yongaları gibi 20 GB veya daha fazla belleğe sahip tüketici sınıfı GPU'lara da yükleyebilirsiniz. 20 GB veya daha fazla bellek.

Sonraki iş

Önümüzdeki haftalarda yazar SQLCoder'da aşağıdaki güncellemeleri yapacak:

• Modeli daha fazla insan tarafından toplanan verilerle ve daha geniş bir soru yelpazesiyle eğitin;
• Ödül modelleme ve RLHF kullanılarak modelde daha fazla ince ayar yapılması;
• Sıfırdan veri analizi konusunda uzmanlaşmış bir modeli (SQL + Python) önceden eğitin.