*Editörün notu: Bu makale esas olarak David Aronchick'in Paris'teki 2023 Filecoin Unleashed Konferansı'ndaki konuşmasına dayanmaktadır. David, Expanso'nun CEO'su ve Bacalhau projesinin başlatılmasından sorumlu olan aynı laboratuvar olan Protokol Laboratuvarları'nın eski Veri Hesaplama Başkanıdır. Bu makale, orijinal içerik oluşturucunun bağımsız görüşlerini temsil etmektedir ve yeniden yayımlanması için izin verilmiştir. *
IDC'ye göre 2025 yılına kadar küresel olarak depolanan veri miktarı 175 ZB'yi aşacak. Bu, 175 trilyon 1 GB USB belleğe eşdeğer devasa bir veri miktarıdır. Bu verilerin çoğu 2020 ile 2025 yılları arasında oluşturulmuştur ve beklenen yıllık bileşik büyüme oranı %61'dir.
Günümüzün hızla büyüyen veri dünyası iki büyük zorlukla karşı karşıyadır:
**Verilerin taşınması yavaş ve pahalıdır. **Mevcut bant genişliği ile 175 ZB veriyi indirmeye çalışırsanız bu yaklaşık 1,8 milyar yıl sürecektir.
**Uyum külfetlidir. **Dünya çapında veriyle ilgili yüzlerce düzenleme bulunmaktadır ve bunlar bölgeler arası uyumu neredeyse imkansız hale getirmektedir.
Yetersiz ağ büyümesi ve düzenleyici kısıtlamaların birleşik sonucu, kurum verilerinin yaklaşık %68'inin boşta kalmasıdır. Bu nedenle, Bacalhau ve diğerleri, verileri bilişime taşımak yerine bilişim kaynaklarını veri depolamaya (genel olarak veri üzerinden hesaplama veya "veri bilişimi" olarak adlandırılır) aktarmak özellikle önemlidir. Veri Üzerinde Hesaplama (CoD) Platformları çalışıyor bu konuda zor.
Aşağıdaki bölümlerde kısaca tanıtacağız:
Kuruluşların günümüzde verileri nasıl ele aldığı.
"Veri Hesaplama"ya dayalı alternatif bir çözüm önerin.
Son olarak, dağıtılmış hesaplamanın neden önemli olduğunu varsayalım.
statüko
Şu anda kuruluşların veri işleme zorluklarını ele almanın üç ana yolu vardır ve bunların hiçbiri ideal değildir.
Merkezi bir sistem kullanın
En yaygın yaklaşım, büyük ölçekli veri işleme için merkezi sistemlerin kullanılmasıdır. Merkezi bir API sunucusuna bağlı kümelenmiş sistemlerden oluşan bir ağ oluşturmak için Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray vb. bilgi işlem çerçevelerini birleştiren kuruluşları sıklıkla görüyoruz. Ancak bu sistemler, ağ ihlallerini ve veri hareketliliğini çevreleyen diğer düzenleyici sorunları etkili bir şekilde çözemez.
Bu, veri ihlalleri nedeniyle ajansların milyarlarca dolar idari para cezasına ve cezaya maruz kalmasına kısmen neden oluyor.
Kendiniz oluşturun
Diğer bir yaklaşım ise geliştiricilerin ajansın ihtiyaç duyduğu farkındalık ve sağlamlığa sahip özel koordinasyon sistemleri oluşturmasıdır. Bu yaklaşım yenidir ancak sistemin bakımı ve çalıştırılması için az sayıda insana aşırı güven nedeniyle sıklıkla başarısızlık riskiyle karşı karşıyadır.
Yapacak bir şey yok
Şaşırtıcı bir şekilde kurumlar çoğunlukla verileriyle ilgili hiçbir şey yapmıyor. Örneğin bir şehir, her gün gözetleme videolarından büyük miktarda veri toplayabilir ancak maliyetin yüksek olması nedeniyle bu veriler yalnızca yerel makinede görüntülenebilmektedir, arşivlenemez veya işlenemez.
Gerçek bir dağıtılmış bilgi işlem oluşturun
Veri işlemenin sorunlu noktalarına yönelik iki ana çözüm vardır.
1. Çözüm: Açık kaynaklı bir veri hesaplama platformu üzerine kurulmuştur
Çözüm 1: Açık kaynak veri hesaplama platformu
Geliştiriciler hesaplama için daha önce bahsedilen özel koordinasyon sistemi yerine açık kaynaklı dağıtılmış bir veri platformunu kullanabilirler. Platform açık kaynaklı ve genişletilebilir olduğundan ajansların yalnızca ihtiyaç duydukları bileşenleri oluşturmaları gerekiyor. Bu kurulum, çoklu bulut, çoklu bilgi işlem, veri merkezi olmayan uygulama senaryolarını karşılayabilir ve karmaşık düzenleme ortamlarında gezinebilir. Önemli olan, açık kaynak topluluğuna erişimin artık sistem bakımı için bir veya daha fazla geliştiriciye bağımlı olmamasıdır, bu da arıza olasılığını azaltır.
2. Çözüm: Dağıtılmış veri protokolü üzerine kurulmuştur
Geliştiriciler, Bacalhau ve Lilypad gibi gelişmiş bilgi işlem projelerinin yardımıyla bir adım daha ileri gidebilir ve yalnızca Çözüm Bir'de bahsedilen açık kaynaklı veri platformları üzerinde değil, aynı zamanda Filecoin ağı gibi gerçekten dağıtılmış veri protokolleri üzerinde de sistemler kurabilirler.
Çözüm 2: Dağıtılmış Veri Hesaplama Protokolü
Bu, kurumların kullanıcı sorunlarının daha ayrıntılı bir şekilde nasıl koordine edileceğini ve tanımlanacağını anlayan dağıtılmış protokolleri kullanabileceği ve verilerin üretildiği ve depolandığı yere yakın bilgi işlem alanlarının kilidini açabileceği anlamına gelir. Bir veri merkezinden dağıtılmış bir protokole geçiş, ideal olarak veri bilimcinin deneyiminde yalnızca küçük değişikliklerle yapılabilir.
Dağıtılmış, seçimin en üst düzeye çıkarılması anlamına gelir
Filecoin ağı gibi dağıtılmış bir protokol üzerinde dağıtım yaparak vizyonumuz, kullanıcıların aynı ağ üzerinde farklı bölgelere dağıtılan yüzlerce (veya binlerce) makineye erişebilmesi ve diğer makinelerle aynı protokol kurallarını izleyebilmesidir. Bu aslında veri bilimcilerine bir seçenekler okyanusu açıyor çünkü ağdan şunları isteyebilirler:
Dünyanın herhangi bir yerinden bir veri kümesi seçin.
HIPAA, GDPR veya FISMA olsun her türlü yönetim yapısını takip edin.
Mümkün olan en ucuz fiyata çalıştırın.
Juan Üçgeni | Kod çözme kısaltmaları: FHE (Tam Homomorfik Şifreleme), MPC (Çok Taraflı Hesaplama), TEE (Güvenilir Yürütme Ortamı), ZKP (Sıfır Bilgi Kanıtı)
Seçim maksimizasyonu kavramından bahsetmişken, Protokol Labs kurucusu Juan Benet'in farklı kullanım durumlarının (gelecekte) neden farklı dağıtılmış bilgi işlem ağlarına sahip olacağına ilişkin açıklamasında tanıtılan bir terim olan "Juans üçgeni"nden bahsetmemiz gerekiyor. .
Juan Üçgeni, bilgi işlem ağlarının sıklıkla gizlilik, doğrulanabilirlik ve performans arasında bir denge gerektirdiğini ve geleneksel "herkese uyan tek çözüm" yaklaşımının her kullanım durumuna uygulanmasının zor olduğunu öne sürüyor. Bunun yerine, dağıtılmış protokollerin modüler doğası, farklı dağıtılmış ağların (veya alt ağların) gizlilik, doğrulanabilirlik veya performans gibi farklı kullanıcı ihtiyaçlarını karşılamasını sağlar. Sonuçta önemli olduğunu düşündüğümüz şeylere göre optimizasyon yaparız. O zaman, bu boşlukları dolduracak ve dağıtılmış bilgi işlemi gerçeğe dönüştürecek çok sayıda parti hizmet sağlayıcısı (üçgenin içindeki kutuda gösterilmektedir) olacak.
Özetle veri işleme, alışılmışın dışında çözümler gerektiren karmaşık bir sorundur. Geleneksel merkezi sistemleri açık kaynaklı veri hesaplamayla değiştirmek iyi bir ilk adımdır. Sonuçta, Filecoin ağı gibi dağıtılmış protokoller üzerinde bir bilgi işlem platformu dağıtılarak, bilgi işlem kaynakları, büyük veri ve yapay zeka çağında çok önemli olan, kullanıcıların bireysel ihtiyaçlarına göre serbestçe yapılandırılabilir.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Dağıtılmış veri hesaplamanın önemine ve iş potansiyeline derinlemesine bir bakış
IDC'ye göre 2025 yılına kadar küresel olarak depolanan veri miktarı 175 ZB'yi aşacak. Bu, 175 trilyon 1 GB USB belleğe eşdeğer devasa bir veri miktarıdır. Bu verilerin çoğu 2020 ile 2025 yılları arasında oluşturulmuştur ve beklenen yıllık bileşik büyüme oranı %61'dir.
Günümüzün hızla büyüyen veri dünyası iki büyük zorlukla karşı karşıyadır:
Yetersiz ağ büyümesi ve düzenleyici kısıtlamaların birleşik sonucu, kurum verilerinin yaklaşık %68'inin boşta kalmasıdır. Bu nedenle, Bacalhau ve diğerleri, verileri bilişime taşımak yerine bilişim kaynaklarını veri depolamaya (genel olarak veri üzerinden hesaplama veya "veri bilişimi" olarak adlandırılır) aktarmak özellikle önemlidir. Veri Üzerinde Hesaplama (CoD) Platformları çalışıyor bu konuda zor.
Aşağıdaki bölümlerde kısaca tanıtacağız:
statüko
Şu anda kuruluşların veri işleme zorluklarını ele almanın üç ana yolu vardır ve bunların hiçbiri ideal değildir.
Merkezi bir sistem kullanın
En yaygın yaklaşım, büyük ölçekli veri işleme için merkezi sistemlerin kullanılmasıdır. Merkezi bir API sunucusuna bağlı kümelenmiş sistemlerden oluşan bir ağ oluşturmak için Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray vb. bilgi işlem çerçevelerini birleştiren kuruluşları sıklıkla görüyoruz. Ancak bu sistemler, ağ ihlallerini ve veri hareketliliğini çevreleyen diğer düzenleyici sorunları etkili bir şekilde çözemez.
Bu, veri ihlalleri nedeniyle ajansların milyarlarca dolar idari para cezasına ve cezaya maruz kalmasına kısmen neden oluyor.
Kendiniz oluşturun
Diğer bir yaklaşım ise geliştiricilerin ajansın ihtiyaç duyduğu farkındalık ve sağlamlığa sahip özel koordinasyon sistemleri oluşturmasıdır. Bu yaklaşım yenidir ancak sistemin bakımı ve çalıştırılması için az sayıda insana aşırı güven nedeniyle sıklıkla başarısızlık riskiyle karşı karşıyadır.
Yapacak bir şey yok
Şaşırtıcı bir şekilde kurumlar çoğunlukla verileriyle ilgili hiçbir şey yapmıyor. Örneğin bir şehir, her gün gözetleme videolarından büyük miktarda veri toplayabilir ancak maliyetin yüksek olması nedeniyle bu veriler yalnızca yerel makinede görüntülenebilmektedir, arşivlenemez veya işlenemez.
Gerçek bir dağıtılmış bilgi işlem oluşturun
Veri işlemenin sorunlu noktalarına yönelik iki ana çözüm vardır.
1. Çözüm: Açık kaynaklı bir veri hesaplama platformu üzerine kurulmuştur
Çözüm 1: Açık kaynak veri hesaplama platformu
Geliştiriciler hesaplama için daha önce bahsedilen özel koordinasyon sistemi yerine açık kaynaklı dağıtılmış bir veri platformunu kullanabilirler. Platform açık kaynaklı ve genişletilebilir olduğundan ajansların yalnızca ihtiyaç duydukları bileşenleri oluşturmaları gerekiyor. Bu kurulum, çoklu bulut, çoklu bilgi işlem, veri merkezi olmayan uygulama senaryolarını karşılayabilir ve karmaşık düzenleme ortamlarında gezinebilir. Önemli olan, açık kaynak topluluğuna erişimin artık sistem bakımı için bir veya daha fazla geliştiriciye bağımlı olmamasıdır, bu da arıza olasılığını azaltır.
2. Çözüm: Dağıtılmış veri protokolü üzerine kurulmuştur
Geliştiriciler, Bacalhau ve Lilypad gibi gelişmiş bilgi işlem projelerinin yardımıyla bir adım daha ileri gidebilir ve yalnızca Çözüm Bir'de bahsedilen açık kaynaklı veri platformları üzerinde değil, aynı zamanda Filecoin ağı gibi gerçekten dağıtılmış veri protokolleri üzerinde de sistemler kurabilirler.
Çözüm 2: Dağıtılmış Veri Hesaplama Protokolü
Bu, kurumların kullanıcı sorunlarının daha ayrıntılı bir şekilde nasıl koordine edileceğini ve tanımlanacağını anlayan dağıtılmış protokolleri kullanabileceği ve verilerin üretildiği ve depolandığı yere yakın bilgi işlem alanlarının kilidini açabileceği anlamına gelir. Bir veri merkezinden dağıtılmış bir protokole geçiş, ideal olarak veri bilimcinin deneyiminde yalnızca küçük değişikliklerle yapılabilir.
Dağıtılmış, seçimin en üst düzeye çıkarılması anlamına gelir
Filecoin ağı gibi dağıtılmış bir protokol üzerinde dağıtım yaparak vizyonumuz, kullanıcıların aynı ağ üzerinde farklı bölgelere dağıtılan yüzlerce (veya binlerce) makineye erişebilmesi ve diğer makinelerle aynı protokol kurallarını izleyebilmesidir. Bu aslında veri bilimcilerine bir seçenekler okyanusu açıyor çünkü ağdan şunları isteyebilirler:
Juan Üçgeni | Kod çözme kısaltmaları: FHE (Tam Homomorfik Şifreleme), MPC (Çok Taraflı Hesaplama), TEE (Güvenilir Yürütme Ortamı), ZKP (Sıfır Bilgi Kanıtı)
Seçim maksimizasyonu kavramından bahsetmişken, Protokol Labs kurucusu Juan Benet'in farklı kullanım durumlarının (gelecekte) neden farklı dağıtılmış bilgi işlem ağlarına sahip olacağına ilişkin açıklamasında tanıtılan bir terim olan "Juans üçgeni"nden bahsetmemiz gerekiyor. .
Juan Üçgeni, bilgi işlem ağlarının sıklıkla gizlilik, doğrulanabilirlik ve performans arasında bir denge gerektirdiğini ve geleneksel "herkese uyan tek çözüm" yaklaşımının her kullanım durumuna uygulanmasının zor olduğunu öne sürüyor. Bunun yerine, dağıtılmış protokollerin modüler doğası, farklı dağıtılmış ağların (veya alt ağların) gizlilik, doğrulanabilirlik veya performans gibi farklı kullanıcı ihtiyaçlarını karşılamasını sağlar. Sonuçta önemli olduğunu düşündüğümüz şeylere göre optimizasyon yaparız. O zaman, bu boşlukları dolduracak ve dağıtılmış bilgi işlemi gerçeğe dönüştürecek çok sayıda parti hizmet sağlayıcısı (üçgenin içindeki kutuda gösterilmektedir) olacak.
Özetle veri işleme, alışılmışın dışında çözümler gerektiren karmaşık bir sorundur. Geleneksel merkezi sistemleri açık kaynaklı veri hesaplamayla değiştirmek iyi bir ilk adımdır. Sonuçta, Filecoin ağı gibi dağıtılmış protokoller üzerinde bir bilgi işlem platformu dağıtılarak, bilgi işlem kaynakları, büyük veri ve yapay zeka çağında çok önemli olan, kullanıcıların bireysel ihtiyaçlarına göre serbestçe yapılandırılabilir.