Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Yapay zeka modellerinin güvenliği hem yapay zeka uygulama şirketleri hem de yapay zeka uygulamalarını kullanan kullanıcılar ve müşteriler için çok önemlidir. Yapay zeka şirketleri için, yapay zeka modellerinin güvenliğini korurken, gereksiz iş maliyetlerini artırmadan orijinal verileri ve algoritmaları sızıntıdan koruma yeteneğine de dikkat etmek önemlidir.
HiddenLayer adlı bir şirket, yapay zeka modeli düzeyinde gereksiz karmaşıklık eklemeden veya ham verilere ve algoritmalara erişmeden tak ve çalıştır yapay zeka güvenliği sağlayan kapsamlı bir güvenlik platformu oluşturdu.
Son zamanlarda şirket, M12 ve Moore Strategic Ventures liderliğinde, Booz Allen Ventures, IBM Ventures, Capital One Ventures ve Ten Eleven Ventures'ın (tohum turuna liderlik eden) katılımıyla, yapay zeka güvenliğinde bugüne kadarki en büyük A Serisi finansman turu olan 50 milyon dolarlık bir A Serisi yatırım turu aldı.
HiddenLayer, finans ve siber güvenlik gibi alanlarda birçok Fortune 100 şirketi tarafından kullanılan AI/ML modellerinin korunmasına yardımcı oldu.
Ayrıca Intel ve Databricks ile stratejik ortaklıklar kurarak RSAC'ın En Yenilikçi Girişimi ve SC Media'nın En Umut Verici Erken Aşama Girişimi gibi ödüller aldı. Şirket, geçen yıl işgücünü neredeyse dört katına çıkardı ve bu yılın sonuna kadar işgücünü 50'den 90'a çıkarmayı ve araştırma ve geliştirmeye daha fazla yatırım yapmayı planlıyor.
Yapay zekaya yönelik saldırılarla karşılaştıktan sonra seri girişimciler bir fırsat görüyor
Gartner'a göre, 2022'deki tüm yapay zeka siber saldırılarında beş kuruluştan ikisi yapay zeka gizlilik ihlallerine veya güvenlik olaylarına maruz kaldı ve bu saldırıların dörtte biri kötü niyetliydi.
İngiltere'nin siber güvenlik ajansı Ulusal Siber Güvenlik Merkezi de "saldırganların gizli bilgilere erişmek, rahatsız edici içerik oluşturmak ve" istenmeyen sonuçları tetiklemek için ChatGPT gibi büyük dilli model sohbet robotlarına saldırdığı konusunda uyarıyor. "
HiddenLayer tarafından yaptırılan bir Forrester çalışmasında, insanların yüzde 86'sı kuruluşlarının makine öğrenimi modellerinin güvenliği konusunda "çok endişeli veya endişeli" olduğunu söyledi.
Yanıt veren şirketlerin çoğu, yapay zeka modeli tehditlerine karşı koymak için şu anda manuel süreçlere güvendiklerini ve yanıt verenlerin %80'inin önümüzdeki 12 ay içinde makine öğrenimi modellerinin bütünlüğünü ve güvenliğini yöneten bir çözüme yatırım yapmayı beklediğini söyledi.
Fortune dergisi tarafından yapılan önceki araştırmalara göre, küresel siber güvenlik pazarının 2027 yılına kadar 403 milyar dolara ulaşması ve 2020'den 2027'ye kadar %12,5'lik bir CAGR'de büyümesi bekleniyor.
HiddenLayer, Christopher Sestito (CEO), Tanner Burns (Baş Bilim Adamı) ve James Ballard (CIO) tarafından ortaklaşa kuruldu. BlackBerry tarafından satın alınan bir güvenlik girişimi olan önceki şirketleri Cylance'deydiler. Fikir, bir yapay zeka modeline yapılan siber saldırıdan sonra ortaya çıktı.
HiddenLayer'ın CEO'su ve kurucu ortağı Chris Sestito, "Güvence altına aldığımız makine öğrenimi modelleri doğrudan ürünlerimiz aracılığıyla saldırıya uğradıktan sonra, kurtarma çabasına öncülük ettik ve bunun, ürünlerimizde makine öğrenimi modellerini kullanan herhangi bir kuruluş için büyük bir sorun olacağını fark ettik. İşletmeleri bu önemli tehdit hakkında eğitmek ve saldırılara karşı savunmalarına yardımcı olmak için HiddenLayer'ı oluşturmaya karar verdik. "
Sestito, Cylance'te tehdit araştırmalarını yönetti, Ballard, Cylance'in veri iyileştirme ekibinin başkanıydı ve Burns bir tehdit araştırmacısıydı.
Chris Sestito, pazar fırsatı hakkında şu yorumu yaptı: "Hemen hemen her işletmenin artık yapay zekayı birçok biçimde kullandığını biliyoruz, ancak başka hiçbir teknolojinin güvenlik olmadan bu kadar yaygın bir şekilde benimsenmediğini de biliyoruz. Bu karşılanmamış ihtiyacı karşılayan müşteriler için piyasadaki en sorunsuz güvenlik çözümlerini yaratmaya kararlıyız. "
Teknoloji hakkında yorum yapan Chris Sestito, "Birçok veri bilimcisi, analiz süresini kısaltmak ve testi basitleştirmek için önceden eğitilmiş, açık kaynaklı veya tescilli makine öğrenimi modellerine güveniyor, ardından karmaşık veri kümelerinden içgörüler elde ediyor. Herkese açık, önceden eğitilmiş açık kaynak modellerin kullanılması, kuruluşların genel kullanıma açık modellerle oynanan öğrenme saldırılarını aktarmasına neden olabilir.
Platformumuz, yapay zeka modellerini düşmanca saldırılardan, güvenlik açıklarından ve kötü amaçlı kod enjeksiyonlarından korumak için araçlar sağlar. Dağıtımdan önce modellerin bütünlüğünü test etmek için AI sistemlerinin giriş ve çıkışlarını izler. Tescilli modellerine erişim gerektirmeden, yalnızca modellerin girdilerini ve ürettikleri çıktıların vektörlerini (veya matematiksel temsillerini) gözlemlemek için teknikler kullanır. "
M12'nin Yönetici Ortağı Todd Graham şunları söyledi: "HiddenLayer'ın kurucuları, düşmanca yapay zeka saldırılarıyla ilgili kendi deneyimlerinden ilham alarak, yapay zeka ve makine öğrenimi teknolojilerini kullanan herhangi bir işletme için gerekli olan bir platform oluşturdular.
Bu saldırılarla ilgili ilk elden deneyimleri, vizyonları ve yeni yaklaşımlarıyla birleştiğinde, şirketi bu modellerin güvenliğini sağlamak için başvurulacak çözüm haline getiriyor. Kurucularla yaptığımız ilk toplantıdan itibaren, bunun güvenlik alanında büyük bir fikir olduğunu biliyorduk ve ölçeklenmelerine yardımcı olmak istedik. "
Yapay zeka güvenliğini kapsamlı bir şekilde koruyan bir MLSec platformu oluşturun
HiddenLayer'ın amiral gemisi ürünü olan Makine Öğrenimi Odaklı Sistemlerde Siber Saldırıları Tespit Etme ve Önleme Güvenlik Platformu (MLSec), işletmeleri ve müşterilerini ortaya çıkan saldırı vektörlerinden koruyan sektörün ilk MLDR (Makine Öğrenimi Algılama ve Yanıt) çözümüdür.
MLSec platformu, HiddenLayer MLDR, ModelScanner ve Güvenlik Denetim Raporlaması'ndan oluşur.
HiddenLayer'ın MLSec platformu, güvenlik yöneticilerinin kurumsal ML/AI modellerinin güvenli bir durumda olup olmadığını bir bakışta görmelerini sağlayan basit ama güçlü bir gösterge panosu ile birlikte gelir. Ayrıca, güvenlik sorunlarını ve uyarıları önem derecelerine göre otomatik olarak önceliklendirir ve bir kuruluşun yapması gerekebilecek uyumluluk, denetim ve raporlama için verileri depolar.
MLDR çözümü, bir kullanıcının makine öğrenimi modeline veya hassas eğitim verilerine erişmeden veya bunlar hakkında önceden bilgi sahibi olmadan kötü amaçlı etkinlikleri belirlemek için her dakika milyarlarca model etkileşimini analiz etmek için makine öğrenimi tabanlı bir yaklaşım benimsiyor. Makine öğrenimi modellerine yönelik saldırıları tespit edip bunlara yanıt verebilir, fikri mülkiyeti ve ticari sırları hırsızlık veya kurcalamaya karşı koruyarak kullanıcıların saldırıya uğramamasını sağlar.
HiddenLayer ayrıca, tehdit değerlendirmeleri yapabilen, müşterilerin siber güvenlik ve DevOps personelini eğitebilen ve müşterilerin savunmalarının amaçlandığı gibi çalışmasını sağlamak için "kırmızı ekip" tatbikatları yapabilen çekişmeli makine öğrenimi (AML) uzmanlarından oluşan ekipler için danışmanlık hizmetleri sunar.
HiddenLayer'ın MLSec platformunun koruyabileceği saldırı türleri
Çıkarım/ayıklama: Ayıklama saldırıları, saldırganların eğitim verilerini yeniden oluşturmak, model parametrelerini ayıklamak veya hedefe yaklaşan alternatif bir modeli eğiterek model hırsızlığı gerçekleştirmek için model girdilerini manipüle etmesini, çıktıları analiz etmesini ve karar sınırlarını çıkarmasını içerir.
Eğitim verilerinin ayıklanması: Saldırgan, makine öğrenmesi modelinin parametrelerine erişmeden yalnızca çıkışını gözlemleyerek üye çıkarım saldırısı gerçekleştirebilir. Hedef model hassas bilgiler üzerinde eğitildiğinde, üye çıkarımı güvenlik ve gizlilik endişelerini artırabilir.
Veri zehirleme: Zehirleme, bir saldırgan eğitim kümesine yeni, özel olarak değiştirilmiş veriler enjekte ettiğinde meydana gelir. Bu, yanlış, önyargılı veya kötü niyetli sonuçlar sağlamak için makine öğrenimi modellerini kandırır veya bozar.
Model enjeksiyonu: Model enjeksiyonu, bazı gizli, zararlı veya istenmeyen davranışlar ortaya çıkaran kötü amaçlı bir modül ekleyerek bir makine öğrenimi modelini değiştirmeye dayanan bir tekniktir.
Model ele geçirme: Bu saldırı, mevcut bir PyTorch modeline kötü amaçlı kod enjekte edebilir ve bu da geçerli dizindeki tüm dosyaları uzak bir sunucuya sızdırabilir.
HiddenLayer aşağıdaki özel hizmetleri sağlar
Tehdit Modellemesi: Keşif görüşmeleri ve senaryo tabanlı tartışmalar aracılığıyla genel yapay zeka/makine öğrenimi ortamını ve varlık riskini değerlendirin.
Makine Öğrenimi Risk Değerlendirmesi: Müşterinin yapay zeka operasyonları yaşam döngüsünün ayrıntılı bir analizini yapın ve mevcut yapay zeka/makine öğrenimi yatırımlarının kuruluşa yönelik riskinin yanı sıra iyileştirme için gereken çabaları ve/veya kontrolleri belirlemek için müşterinin en kritik yapay zeka modellerini ayrıntılı olarak inceleyin.
Uzman eğitimi: Veri bilimi ve güvenlik ekiplerinin yapay zekaya yönelik bu saldırılara ve tehditlere karşı koruma kazanmalarına yardımcı olmak için tam günlük eğitim sağlar.
Kırmızı Takım Değerlendirmesi: Çekişmeli Makine Öğrenimi Araştırması (AMLR) ekibi, mevcut savunmaları değerlendirmek ve güvenlik açıklarını yamalamak için bir saldırganın saldırısını simüle edecektir.
AI/ML Model Tarama: Mevcut AI/ML modellerini tehditlere (örn. kötü amaçlı yazılım) ve kurcalamaya karşı test etmek ve doğrulamak için HiddenLayer'ın model bütünlüğü tarayıcısını kullanın.
Makine Öğrenimi Algılama ve Yanıt (MLDR) Uygulama Hizmetleri :*HiddenLayer'ın MLDR ürünlerini AI/ML ortamlarına ustalıkla uygulayın ve entegre edin, veri bilimi ve güvenlik ekiplerine saldırıları önlemek, yanıt sürelerini iyileştirmek ve model etkinliğini en üst düzeye çıkarmak için ihtiyaç duydukları yetenekleri ve görünürlüğü sağlayın.
Ekolojik yapılaşmayı güçlendirmek için devlerle işbirliği
Ürün ve platform oluşturmaya ek olarak, HiddenLayer'ın güçlü iş ortakları da vardır, Databricks'in MLSec platformunu yapay zeka modellerini Databricks veri göllerine dağıtan kurumsal kullanıcılar için kullanılabilir hale getirmek için bir ortaklığı vardır. Bu, veri gölü seviyesinden yapay zekaya güvenlik sağlar.
Intel ile yapılan stratejik iş birliği sayesinde, Intel SGX ve HiddenLayer'ın makine öğrenimi model tarayıcısındaki gizli bilgi işlem, donanım ve yazılımla entegre bir yapay zeka güvenlik çözümü sağlamak için bir araya getirildi.
Bu iki stratejik işbirliği, HiddenLayer'ın tüm ekosistemini daha eksiksiz hale getirdi ve aynı zamanda finans ve devlet alanlarında birçok büyük müşteri elde eden müşterilerin beğenisini kazandı.
Yapay zeka pratik aşamaya girdi ve yapay zeka güvenli girişimcilik fırsatları ortaya çıktı
Yapay zeka güvenliği, özellikle model düzeyinde, zaten kesin bir ihtiyaçtır ve yapay zeka model güvenliği konusunda uzmanlaşmış Protect AI, daha önce Evolution Equity Partners ve Salesforce Ventures liderliğindeki 35 milyon dolarlık A Serisi finansman turu almıştı.
HiddenLayer'ın kurucusu Sestito'ya göre, yapay zeka pazarı büyüdükçe, yapay zeka güvenlik pazarı da eş zamanlı olarak büyüyecek ve Protect AI ve HiddenLayer'ın yanı sıra Robust Intelligence, CalypsoAI, Halcyon ve Troj.ai gibi şirketler de yapay zeka güvenliği alanında çalışıyor.
Örneğin, HiddenLayer'ın ilk yatırımcılarından biri olan Ten Eleven Ventures, yapay zeka yazılımı kullanıcılarının saldırıları önlemesine ve bunlardan hızla kurtulmasına yardımcı olan yapay zeka fidye yazılımı savunma araçlarına odaklanan bir şirket olan Halcyon'dan 20 milyon dolarlık bir tohum turuna da yatırım yaptı.
Bu yapay zeka dalgası, konsept yutturmaca aşamasından gerçek uygulama aşamasına, büyük model girişimciliğinden yapay zeka uygulama girişimciliğine geçerken, yapay zeka güvenliği giderek daha önemli hale geliyor. İster yapay zeka modellerinin güvenliğini sağlamak ister yapay zeka uygulamalarının güvenliğini korumak için olsun, yapay zeka güvenliğinin geliştirilmesi, yapay zekanın ToC tarafında ve kurumsal tarafta penetrasyonunu daha da derinleştirebilir.
Yurtdışında halihazırda çok sayıda yapay zeka güvenlik girişimi var ve Çin pazarında da aynı talep var ve yerel seçkin girişimcilerin bu önemli girişimcilik alanına yönelmesini bekliyoruz.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Yapay zeka güvenliğini tam olarak korumak için HiddenLayer, Seri A finansmanında 50 milyon dolar aldı
Orijinal kaynak: Alpha Commune
Yapay zeka modellerinin güvenliği hem yapay zeka uygulama şirketleri hem de yapay zeka uygulamalarını kullanan kullanıcılar ve müşteriler için çok önemlidir. Yapay zeka şirketleri için, yapay zeka modellerinin güvenliğini korurken, gereksiz iş maliyetlerini artırmadan orijinal verileri ve algoritmaları sızıntıdan koruma yeteneğine de dikkat etmek önemlidir.
HiddenLayer adlı bir şirket, yapay zeka modeli düzeyinde gereksiz karmaşıklık eklemeden veya ham verilere ve algoritmalara erişmeden tak ve çalıştır yapay zeka güvenliği sağlayan kapsamlı bir güvenlik platformu oluşturdu.
Son zamanlarda şirket, M12 ve Moore Strategic Ventures liderliğinde, Booz Allen Ventures, IBM Ventures, Capital One Ventures ve Ten Eleven Ventures'ın (tohum turuna liderlik eden) katılımıyla, yapay zeka güvenliğinde bugüne kadarki en büyük A Serisi finansman turu olan 50 milyon dolarlık bir A Serisi yatırım turu aldı.
HiddenLayer, finans ve siber güvenlik gibi alanlarda birçok Fortune 100 şirketi tarafından kullanılan AI/ML modellerinin korunmasına yardımcı oldu.
Ayrıca Intel ve Databricks ile stratejik ortaklıklar kurarak RSAC'ın En Yenilikçi Girişimi ve SC Media'nın En Umut Verici Erken Aşama Girişimi gibi ödüller aldı. Şirket, geçen yıl işgücünü neredeyse dört katına çıkardı ve bu yılın sonuna kadar işgücünü 50'den 90'a çıkarmayı ve araştırma ve geliştirmeye daha fazla yatırım yapmayı planlıyor.
Yapay zekaya yönelik saldırılarla karşılaştıktan sonra seri girişimciler bir fırsat görüyor
Gartner'a göre, 2022'deki tüm yapay zeka siber saldırılarında beş kuruluştan ikisi yapay zeka gizlilik ihlallerine veya güvenlik olaylarına maruz kaldı ve bu saldırıların dörtte biri kötü niyetliydi.
İngiltere'nin siber güvenlik ajansı Ulusal Siber Güvenlik Merkezi de "saldırganların gizli bilgilere erişmek, rahatsız edici içerik oluşturmak ve" istenmeyen sonuçları tetiklemek için ChatGPT gibi büyük dilli model sohbet robotlarına saldırdığı konusunda uyarıyor. "
HiddenLayer tarafından yaptırılan bir Forrester çalışmasında, insanların yüzde 86'sı kuruluşlarının makine öğrenimi modellerinin güvenliği konusunda "çok endişeli veya endişeli" olduğunu söyledi.
Yanıt veren şirketlerin çoğu, yapay zeka modeli tehditlerine karşı koymak için şu anda manuel süreçlere güvendiklerini ve yanıt verenlerin %80'inin önümüzdeki 12 ay içinde makine öğrenimi modellerinin bütünlüğünü ve güvenliğini yöneten bir çözüme yatırım yapmayı beklediğini söyledi.
Fortune dergisi tarafından yapılan önceki araştırmalara göre, küresel siber güvenlik pazarının 2027 yılına kadar 403 milyar dolara ulaşması ve 2020'den 2027'ye kadar %12,5'lik bir CAGR'de büyümesi bekleniyor.
HiddenLayer'ın CEO'su ve kurucu ortağı Chris Sestito, "Güvence altına aldığımız makine öğrenimi modelleri doğrudan ürünlerimiz aracılığıyla saldırıya uğradıktan sonra, kurtarma çabasına öncülük ettik ve bunun, ürünlerimizde makine öğrenimi modellerini kullanan herhangi bir kuruluş için büyük bir sorun olacağını fark ettik. İşletmeleri bu önemli tehdit hakkında eğitmek ve saldırılara karşı savunmalarına yardımcı olmak için HiddenLayer'ı oluşturmaya karar verdik. "
Sestito, Cylance'te tehdit araştırmalarını yönetti, Ballard, Cylance'in veri iyileştirme ekibinin başkanıydı ve Burns bir tehdit araştırmacısıydı.
Chris Sestito, pazar fırsatı hakkında şu yorumu yaptı: "Hemen hemen her işletmenin artık yapay zekayı birçok biçimde kullandığını biliyoruz, ancak başka hiçbir teknolojinin güvenlik olmadan bu kadar yaygın bir şekilde benimsenmediğini de biliyoruz. Bu karşılanmamış ihtiyacı karşılayan müşteriler için piyasadaki en sorunsuz güvenlik çözümlerini yaratmaya kararlıyız. "
Teknoloji hakkında yorum yapan Chris Sestito, "Birçok veri bilimcisi, analiz süresini kısaltmak ve testi basitleştirmek için önceden eğitilmiş, açık kaynaklı veya tescilli makine öğrenimi modellerine güveniyor, ardından karmaşık veri kümelerinden içgörüler elde ediyor. Herkese açık, önceden eğitilmiş açık kaynak modellerin kullanılması, kuruluşların genel kullanıma açık modellerle oynanan öğrenme saldırılarını aktarmasına neden olabilir.
Platformumuz, yapay zeka modellerini düşmanca saldırılardan, güvenlik açıklarından ve kötü amaçlı kod enjeksiyonlarından korumak için araçlar sağlar. Dağıtımdan önce modellerin bütünlüğünü test etmek için AI sistemlerinin giriş ve çıkışlarını izler. Tescilli modellerine erişim gerektirmeden, yalnızca modellerin girdilerini ve ürettikleri çıktıların vektörlerini (veya matematiksel temsillerini) gözlemlemek için teknikler kullanır. "
M12'nin Yönetici Ortağı Todd Graham şunları söyledi: "HiddenLayer'ın kurucuları, düşmanca yapay zeka saldırılarıyla ilgili kendi deneyimlerinden ilham alarak, yapay zeka ve makine öğrenimi teknolojilerini kullanan herhangi bir işletme için gerekli olan bir platform oluşturdular.
Bu saldırılarla ilgili ilk elden deneyimleri, vizyonları ve yeni yaklaşımlarıyla birleştiğinde, şirketi bu modellerin güvenliğini sağlamak için başvurulacak çözüm haline getiriyor. Kurucularla yaptığımız ilk toplantıdan itibaren, bunun güvenlik alanında büyük bir fikir olduğunu biliyorduk ve ölçeklenmelerine yardımcı olmak istedik. "
Yapay zeka güvenliğini kapsamlı bir şekilde koruyan bir MLSec platformu oluşturun
HiddenLayer'ın amiral gemisi ürünü olan Makine Öğrenimi Odaklı Sistemlerde Siber Saldırıları Tespit Etme ve Önleme Güvenlik Platformu (MLSec), işletmeleri ve müşterilerini ortaya çıkan saldırı vektörlerinden koruyan sektörün ilk MLDR (Makine Öğrenimi Algılama ve Yanıt) çözümüdür.
MLSec platformu, HiddenLayer MLDR, ModelScanner ve Güvenlik Denetim Raporlaması'ndan oluşur.
MLDR çözümü, bir kullanıcının makine öğrenimi modeline veya hassas eğitim verilerine erişmeden veya bunlar hakkında önceden bilgi sahibi olmadan kötü amaçlı etkinlikleri belirlemek için her dakika milyarlarca model etkileşimini analiz etmek için makine öğrenimi tabanlı bir yaklaşım benimsiyor. Makine öğrenimi modellerine yönelik saldırıları tespit edip bunlara yanıt verebilir, fikri mülkiyeti ve ticari sırları hırsızlık veya kurcalamaya karşı koruyarak kullanıcıların saldırıya uğramamasını sağlar.
HiddenLayer ayrıca, tehdit değerlendirmeleri yapabilen, müşterilerin siber güvenlik ve DevOps personelini eğitebilen ve müşterilerin savunmalarının amaçlandığı gibi çalışmasını sağlamak için "kırmızı ekip" tatbikatları yapabilen çekişmeli makine öğrenimi (AML) uzmanlarından oluşan ekipler için danışmanlık hizmetleri sunar.
HiddenLayer'ın MLSec platformunun koruyabileceği saldırı türleri
Çıkarım/ayıklama: Ayıklama saldırıları, saldırganların eğitim verilerini yeniden oluşturmak, model parametrelerini ayıklamak veya hedefe yaklaşan alternatif bir modeli eğiterek model hırsızlığı gerçekleştirmek için model girdilerini manipüle etmesini, çıktıları analiz etmesini ve karar sınırlarını çıkarmasını içerir.
Makine öğrenimi modellerini çalmak: Saldırganlar, pahalı makine öğrenimi çerçevelerinin meyvelerini çalar.
Eğitim verilerinin ayıklanması: Saldırgan, makine öğrenmesi modelinin parametrelerine erişmeden yalnızca çıkışını gözlemleyerek üye çıkarım saldırısı gerçekleştirebilir. Hedef model hassas bilgiler üzerinde eğitildiğinde, üye çıkarımı güvenlik ve gizlilik endişelerini artırabilir.
Veri zehirleme: Zehirleme, bir saldırgan eğitim kümesine yeni, özel olarak değiştirilmiş veriler enjekte ettiğinde meydana gelir. Bu, yanlış, önyargılı veya kötü niyetli sonuçlar sağlamak için makine öğrenimi modellerini kandırır veya bozar.
Model enjeksiyonu: Model enjeksiyonu, bazı gizli, zararlı veya istenmeyen davranışlar ortaya çıkaran kötü amaçlı bir modül ekleyerek bir makine öğrenimi modelini değiştirmeye dayanan bir tekniktir.
Model ele geçirme: Bu saldırı, mevcut bir PyTorch modeline kötü amaçlı kod enjekte edebilir ve bu da geçerli dizindeki tüm dosyaları uzak bir sunucuya sızdırabilir.
HiddenLayer aşağıdaki özel hizmetleri sağlar
Tehdit Modellemesi: Keşif görüşmeleri ve senaryo tabanlı tartışmalar aracılığıyla genel yapay zeka/makine öğrenimi ortamını ve varlık riskini değerlendirin.
Makine Öğrenimi Risk Değerlendirmesi: Müşterinin yapay zeka operasyonları yaşam döngüsünün ayrıntılı bir analizini yapın ve mevcut yapay zeka/makine öğrenimi yatırımlarının kuruluşa yönelik riskinin yanı sıra iyileştirme için gereken çabaları ve/veya kontrolleri belirlemek için müşterinin en kritik yapay zeka modellerini ayrıntılı olarak inceleyin.
Uzman eğitimi: Veri bilimi ve güvenlik ekiplerinin yapay zekaya yönelik bu saldırılara ve tehditlere karşı koruma kazanmalarına yardımcı olmak için tam günlük eğitim sağlar.
Kırmızı Takım Değerlendirmesi: Çekişmeli Makine Öğrenimi Araştırması (AMLR) ekibi, mevcut savunmaları değerlendirmek ve güvenlik açıklarını yamalamak için bir saldırganın saldırısını simüle edecektir.
AI/ML Model Tarama: Mevcut AI/ML modellerini tehditlere (örn. kötü amaçlı yazılım) ve kurcalamaya karşı test etmek ve doğrulamak için HiddenLayer'ın model bütünlüğü tarayıcısını kullanın.
Makine Öğrenimi Algılama ve Yanıt (MLDR) Uygulama Hizmetleri :*HiddenLayer'ın MLDR ürünlerini AI/ML ortamlarına ustalıkla uygulayın ve entegre edin, veri bilimi ve güvenlik ekiplerine saldırıları önlemek, yanıt sürelerini iyileştirmek ve model etkinliğini en üst düzeye çıkarmak için ihtiyaç duydukları yetenekleri ve görünürlüğü sağlayın.
Ekolojik yapılaşmayı güçlendirmek için devlerle işbirliği
Ürün ve platform oluşturmaya ek olarak, HiddenLayer'ın güçlü iş ortakları da vardır, Databricks'in MLSec platformunu yapay zeka modellerini Databricks veri göllerine dağıtan kurumsal kullanıcılar için kullanılabilir hale getirmek için bir ortaklığı vardır. Bu, veri gölü seviyesinden yapay zekaya güvenlik sağlar.
Bu iki stratejik işbirliği, HiddenLayer'ın tüm ekosistemini daha eksiksiz hale getirdi ve aynı zamanda finans ve devlet alanlarında birçok büyük müşteri elde eden müşterilerin beğenisini kazandı.
Yapay zeka pratik aşamaya girdi ve yapay zeka güvenli girişimcilik fırsatları ortaya çıktı
Yapay zeka güvenliği, özellikle model düzeyinde, zaten kesin bir ihtiyaçtır ve yapay zeka model güvenliği konusunda uzmanlaşmış Protect AI, daha önce Evolution Equity Partners ve Salesforce Ventures liderliğindeki 35 milyon dolarlık A Serisi finansman turu almıştı.
HiddenLayer'ın kurucusu Sestito'ya göre, yapay zeka pazarı büyüdükçe, yapay zeka güvenlik pazarı da eş zamanlı olarak büyüyecek ve Protect AI ve HiddenLayer'ın yanı sıra Robust Intelligence, CalypsoAI, Halcyon ve Troj.ai gibi şirketler de yapay zeka güvenliği alanında çalışıyor.
Örneğin, HiddenLayer'ın ilk yatırımcılarından biri olan Ten Eleven Ventures, yapay zeka yazılımı kullanıcılarının saldırıları önlemesine ve bunlardan hızla kurtulmasına yardımcı olan yapay zeka fidye yazılımı savunma araçlarına odaklanan bir şirket olan Halcyon'dan 20 milyon dolarlık bir tohum turuna da yatırım yaptı.
Bu yapay zeka dalgası, konsept yutturmaca aşamasından gerçek uygulama aşamasına, büyük model girişimciliğinden yapay zeka uygulama girişimciliğine geçerken, yapay zeka güvenliği giderek daha önemli hale geliyor. İster yapay zeka modellerinin güvenliğini sağlamak ister yapay zeka uygulamalarının güvenliğini korumak için olsun, yapay zeka güvenliğinin geliştirilmesi, yapay zekanın ToC tarafında ve kurumsal tarafta penetrasyonunu daha da derinleştirebilir.
Yurtdışında halihazırda çok sayıda yapay zeka güvenlik girişimi var ve Çin pazarında da aynı talep var ve yerel seçkin girişimcilerin bu önemli girişimcilik alanına yönelmesini bekliyoruz.