AI modelinde eşitsizlik: Çince eğitimi İngilizce'den iki kat daha pahalı!

Kaynak: ifanr

Yazar: Mo Chongyu

Son zamanlarda, X (eski adıyla Twitter) kullanıcısı @Dylan Patel, Oxford Üniversitesi'nden bir çalışma gösterdi: GPT-4'ün dilini ve diğer yaygın LLM'lerin çoğunu inceleyen çalışma, LLM (Büyük Dil Modeli) çıkarımının maliyetinin çok farklı olduğunu buldu. büyük.

Bunlar arasında İngilizce girdisi çıktısı diğer dillere göre çok daha ucuzdur.Basitleştirilmiş Çince'nin maliyeti İngilizce'nin yaklaşık 2 katı, İspanyolca'nın maliyeti İngilizce'nin 1,5 katı ve Burmese Shan'ın maliyeti İngilizce'nin 15 katıdır. .

İlke, Oxford Üniversitesi tarafından bu yılın Mayıs ayında arXiv'de yayınlanan bir makaleye kadar izlenebilir.

Sözcüksel, doğal dil metnini, dil modeli işleme metninde ilk adım olan belirteç dizisine dönüştürme işlemidir. LLM bilgi işlem gücü maliyetinin hesaplanmasında, daha fazla jeton, bilgi işlem gücünün maliyeti daha yüksek olur.

Üretken yapay zekanın ticarileşme eğilimi altında, bilgi işlem gücünün maliyeti de kullanıcılara aşılanacak kuşkusuz.Mevcut birçok yapay zeka hizmeti, işlenmesi gereken kelime sayısına göre faturalandırılıyor.

Makale, 17 lemmatizasyon yöntemini analiz ettikten sonra, araştırmacıların aynı metnin uzunluğunun farklı dillerde lemma dizilerine dönüştürüldüğünü bulduğunu gösteriyor.Uzunluk tamamen adil.

Örneğin, OpenAI'nin GPT3 belirteç oluşturucusuna göre, "aşkınızı" simgeleştirirseniz, İngilizce'de yalnızca iki belirteç gerekirken, Basitleştirilmiş Çince'de sekiz belirteç gerekir. Basitleştirilmiş Çince metinde yalnızca 4 karakter ve İngilizce metinde 14 karakter olmasına rağmen.

X kullanıcısı @Dylan Patel tarafından sergilenen resimlerden, LLM'nin İngilizce bir cümleyi işlemesi için 17 jeton (jeton) ve LLM'nin Burmalı bir cümleyi işlemesi için 198 jeton (jeton) gerektiği sezgisel olarak da görülebilir. Aynı anlam. Bu, Birmanya dilinin işlenmesinin İngilizceden 11 kat daha pahalı olacağı anlamına gelir.

Pek çok benzer durum var. Aleksandar Petrov'un web sitesinde birçok ilgili simge ve veri var. İlgilenen arkadaşlar, diller arasındaki farkları görmek için "Enter"a tıklamak isteyebilir.

OpenAI'nin resmi web sitesinde, API'nin bir metin parçasını nasıl lemmatize ettiğini ve metindeki toplam belirteç sayısını nasıl gösterdiğini açıklayan benzer bir sayfa da var. Resmi web sitesi ayrıca bir lemmanın İngilizce bir metinde genellikle yaklaşık 4 karaktere ve 100 lemmanın yaklaşık 75 kelimeye karşılık geldiğinden bahseder.

İngilizce sözcük dizilerinin kısa olması sayesinde, İngilizce, üretken yapay zeka ön eğitiminin maliyet etkinliğinde en büyük kazanan, diğer dil kullanıcılarını çok geride bırakarak dolaylı olarak haksız bir durum yaratıyor.

Diğer şeylerin yanı sıra, belirteç dizisi uzunluğundaki bu fark, haksız işleme gecikmesine (bazı dillerin aynı içeriği işlemesi daha fazla zaman alır) ve uzun dizi bağımlılıklarının adil olmayan şekilde modellenmesine (bazı diller yalnızca daha kısa metinleri işleyebilir) yol açabilir.

Basitçe ifade etmek gerekirse, belirli dillerin kullanıcılarının daha yüksek maliyetler ödemesi, daha büyük gecikmelere maruz kalması ve daha düşük performans elde etmesi gerekir, bu nedenle dolaylı olarak İngilizce konuşan kullanıcılara ve aralarında bir AI bölünmesine yol açan dil teknolojisi fırsatlarına adil erişimlerini azaltır. dünyanın dil kullanımının geri kalanı.

Yalnızca çıktı maliyetinden, Basitleştirilmiş Çince'nin maliyeti İngilizce'nin iki katıdır. AI alanının derinlemesine gelişmesiyle birlikte, her zaman "bir adım ötede" olan Basitleştirilmiş Çince, açıkçası dostça değil. Maliyet gibi üst üste binen faktörlerin dengesi altında, İngilizce konuşulmayan ülkeler de kendi ana dil modellerini geliştirmeye çalışmaktadır.

Yapay zekayı keşfeden ilk yerli devlerden biri olarak Çin'i örnek alarak 20 Mart 2023'te Baidu, üretken yapay zeka Wenxin Yiyan'ı resmi olarak piyasaya sürdü.

Ardından, Alibaba'nın Tongyi Qianwen büyük ölçekli modeli ve Huawei'nin Pangu büyük ölçekli modeli gibi mükemmel büyük ölçekli model grupları birbiri ardına ortaya çıktı.

Bunlar arasında Huawei'nin Pangu büyük modelindeki NLP büyük modeli, 110 milyar yoğun parametreye sahip ve 40 TB büyük veri ile eğitilmiş, 100 milyar parametreli sektörün ilk Çin büyük modelidir.

Birleşmiş Milletler Genel Sekreter Yardımcısı Amina Mohamed'in bir keresinde BM Genel Kurulu'nda uyardığı gibi, uluslararası toplum kararlı bir şekilde hareket etmezse dijital uçurum "eşitsizliğin yeni yüzü" haline gelecek.

Aynı şekilde, üretken yapay zekanın hızla gelişmesiyle birlikte, yapay zeka boşluğu muhtemelen dikkate değer yeni bir "eşitsizliğin yeni yüzleri" turu haline gelecektir.

Neyse ki, genellikle "tiksinti duyan" yerli teknoloji devleri şimdiden harekete geçti.