Скріншот документа Microsoft показав, що GPT-3.5 має лише 20 мільярдів параметрів? Коло ШІ було шоковане, а користувачі мережі кричали, що це обурливо!
Сьогодні велике модельне коло було підірвано скріншотом у газеті Microsoft, що відбувається?
Буквально кілька днів тому Microsoft опублікувала статтю про arXiv, в якій запропонувала дрібномасштабну дифузійну модель всього з 75М параметрів - CodeFusion.
З точки зору продуктивності, 75 мільйонів параметрів CodeFusion можна порівняти з сучасною моделлю 350M-175B за показниками точності топ-1.
Адреса:
Робота над цією статтею дуже цікава, але що привертає загальну особливу увагу, так це -
Коли автор порівнює ChatGPT (gpt-3.5-turbo), номінальна кількість параметрів становить лише 20В!
До цього всі здогадуються про кількість параметрів GPT-3,5 становили 175 мільярдів, що еквівалентно скороченню майже в десять разів!
Згідно з одкровеннями цієї статті, користувачі мережі також звернулися до Вікіпедії, щоб оновити введення GPT-3.5 і безпосередньо змінили розмір параметра на 20B.
Як тільки новина з'явилася, вона прямо з'явилася в гарячому пошуку Чжиху, і користувачі мережі вибухнули.
Деякі люди сказали, поспішайте повернутися і дістаньте мою попередню публікацію в блозі про дистиляцію моделі, щоб переглянути та переглянути.
## **Це "улун" чи "факт"? **
Як тільки одкровення користувачів мережі з'явилися, вони миттєво викликали бурхливі дискусії.
Наразі подивитися прийшло понад 680 000 людей.
Старший брат сказав, що кілька авторів статті також використовують Twitter, і, за оцінками, пройде небагато часу, перш ніж вони пояснять це особисто.
З приводу цього загадкового "20В" у користувачів мережі теж різні думки.
Деякі припускають, що це, швидше за все, помилка автора. Наприклад, спочатку це було 120В, або 200В.
У поєднанні з різними оцінками в реальності дійсно існує багато невеликих моделей, які можуть досягти подібних результатів, як ChatGPT, наприклад, Mistral-7B.
Можливо, це теж побічне підтвердження того, що GPT-3.5 дійсно не великий.
Багато користувачів мережі також вважають, що параметри 20В можуть бути точними, і зітхнули:
"Це неймовірно! Ні Falcon-180B, ні Llama2-70B не можуть зрівнятися з моделлю 20B».
Деякі користувачі мережі також вважають, що GPT-3.5-Turbo є доопрацьованою версією GPT-3.5.
І цей "витік" параметрів якраз підтверджує ті чутки про те, що GPT-3.5-Turbo не такий хороший, як старий GPT-3.5.
Однак, згідно з офіційною документацією OpenAI, за винятком text-davinci та code-davinci, які більше не використовуються, всі представники сімейства GPT-3.5 засновані на gpt-3.5-turbo.
## Microsoft випускає CodeFusion
Документ Microsoft, який показав, що GPT3.5 має лише 20B параметрів, хоче представити дифузійну модель для генерації коду.
Дослідники оцінили CodeFusion, модель для завдання генерації коду для природної мови для правил умовного форматування (CF) Bash, Python і Microsoft Excel.
Експерименти показали, що CodeFusion (всього 75М параметрів) за точністю топ-1 можна порівняти з найсучаснішим LLM (параметри 350M-175B), а також має відмінну продуктивність і співвідношення параметрів з точки зору точності топ-3 і топ-5.
Архітектура моделі
CODEFUSION ВИКОРИСТОВУЄТЬСЯ ДЛЯ ЗАВДАНЬ ГЕНЕРАЦІЇ КОДУ, І ЙОГО НАВЧАННЯ ПОДІЛЯЄТЬСЯ НА ДВІ ФАЗИ, ПЕРШИЙ ЕТАП — ЦЕ ПОПЕРЕДНЄ НАВЧАННЯ БЕЗ НАГЛЯДУ, А ДРУГИЙ ЕТАП — ДООПРАЦЮВАННЯ ПІД НАГЛЯДОМ.
НА ПЕРШОМУ ЕТАПІ CODEFUSION ВИКОРИСТОВУЄ ФРАГМЕНТИ КОДУ БЕЗ МІТОК ДЛЯ НАВЧАННЯ ДЕШУМЕРА ТА ДЕКОДЕРА. Він також використовує тренувальний шар вбудовування, L, для вбудовування фрагментів коду в суміжні простори.
НА ДРУГОМУ ЕТАПІ CODEFUSION ВИКОНУЄ КОНТРОЛЬОВАНЕ ТОНКЕ НАЛАШТУВАННЯ, ВИКОРИСТОВУЮЧИ ДАНІ З ПАР ТЕКСТ-КОД. На цьому етапі кодувальник, знешумлювач і декодер налаштовані на краще виконання завдання.
КРІМ ТОГО, CODEFUSION СПИРАЄТЬСЯ НА ПОПЕРЕДНІ ДОСЛІДЖЕННЯ ДИФУЗІЇ ТЕКСТУ, ЩОБ ОБ'ЄДНАТИ ПРИХОВАНЕ ПРЕДСТАВЛЕННЯ D З ДЕКОДЕРА В МОДЕЛЬ. Це необхідно для підвищення продуктивності моделі. Під час процесу навчання, на різних етапах, модель вводить певний шум, а потім обчислює функцію втрат, щоб переконатися, що згенерований фрагмент коду більше відповідає очікуваному стандарту.
ТАКИМ ЧИНОМ, CODEFUSION — ЦЕ НЕВЕЛИКА МОДЕЛЬ, ЯКА ВИКОНУЄ РОБОТУ З ГЕНЕРАЦІЇ КОДУ ТА ПОСТІЙНО ПОКРАЩУЄ СВОЮ ПРОДУКТИВНІСТЬ ЗА ДОПОМОГОЮ ДВОХ ФАЗ НАВЧАННЯ ТА ПОГЛИНАННЯ ШУМУ. Ця модель натхненна вивченням дифузії тексту та покращує функцію втрат, об'єднуючи приховане представлення декодера для кращого створення високоякісних фрагментів коду.
Результати оцінювання
У наведеній нижче таблиці підсумовано продуктивність моделі CODEFUSION і кожної базової моделі в топ-1, топ-3 і топ-5 налаштувань.
У топ-1 продуктивність CODEFUSION порівнянна, а в деяких випадках навіть краща, особливо в завданнях на Python, де лише GPT-3 (175B) працює трохи краще, ніж CODEFUSION (75M). Однак з точки зору топ-3 і топ-5 CODEFUSION значно перевершив всі базові моделі.
У наведеній нижче таблиці наведено середні результати різноманітності CODEFUSION та авторегресійних моделей (включаючи T5, CodeT5, StarCoder, CodeGen та GPT-3) для кожного еталонного завдання, а також розглянуто результати, отримані першими 5 поколіннями кожної моделі.
У ПОРІВНЯННІ З АВТОРЕГРЕСІЙНИМИ МОДЕЛЯМИ, CODEFUSION ГЕНЕРУЄ БІЛЬШ РІЗНОМАНІТНІ РЕЗУЛЬТАТИ І ПРАЦЮЄ КРАЩЕ.
В експерименті з абляцією автори зупинили процес знешумлення та згенерували фрагмент коду поточного стану в діапазоні кроку часу t∈[0, T]. Нормалізація відстані редагування рядка використовується для вимірювання результатів, отриманих для кожного такту часу (з кроком кожні 100 кроків).
ТАКИЙ ПІДХІД ДОПОМАГАЄ УЗАГАЛЬНИТИ ТА ПРОДЕМОНСТРУВАТИ ПОКРОКОВИЙ ПРОГРЕС МОДЕЛІ CODEFUSION, ЯК ПОКАЗАНО НА МАЛЮНКУ НИЖЧЕ.
З огляду на все це, яка саме кількість параметрів у GPT-3.5? Який технічний та інший зв'язок між GPT-4 і GPT-3.5?
GPT-3.5 – це ансамбль невеликих експертних моделей чи універсальна модель? Він дистилюється більшою моделлю чи навчається на більших даних?
Відповіді на ці питання будуть розкриті лише тоді, коли вони будуть по-справжньому відкритими.
Ресурси:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Скріншот документа Microsoft показав, що GPT-3.5 має лише 20 мільярдів параметрів? Коло ШІ було шоковане, а користувачі мережі кричали, що це обурливо!
Першоджерело: Новий Чжиюань
GPT-3.5 має лише 20 мільярдів параметрів?
Сьогодні велике модельне коло було підірвано скріншотом у газеті Microsoft, що відбувається?
Буквально кілька днів тому Microsoft опублікувала статтю про arXiv, в якій запропонувала дрібномасштабну дифузійну модель всього з 75М параметрів - CodeFusion.
З точки зору продуктивності, 75 мільйонів параметрів CodeFusion можна порівняти з сучасною моделлю 350M-175B за показниками точності топ-1.
Робота над цією статтею дуже цікава, але що привертає загальну особливу увагу, так це -
Коли автор порівнює ChatGPT (gpt-3.5-turbo), номінальна кількість параметрів становить лише 20В!
Як тільки новина з'явилася, вона прямо з'явилася в гарячому пошуку Чжиху, і користувачі мережі вибухнули.
Як тільки одкровення користувачів мережі з'явилися, вони миттєво викликали бурхливі дискусії.
Наразі подивитися прийшло понад 680 000 людей.
"Це неймовірно! Ні Falcon-180B, ні Llama2-70B не можуть зрівнятися з моделлю 20B».
І цей "витік" параметрів якраз підтверджує ті чутки про те, що GPT-3.5-Turbo не такий хороший, як старий GPT-3.5.
Документ Microsoft, який показав, що GPT3.5 має лише 20B параметрів, хоче представити дифузійну модель для генерації коду.
Дослідники оцінили CodeFusion, модель для завдання генерації коду для природної мови для правил умовного форматування (CF) Bash, Python і Microsoft Excel.
Експерименти показали, що CodeFusion (всього 75М параметрів) за точністю топ-1 можна порівняти з найсучаснішим LLM (параметри 350M-175B), а також має відмінну продуктивність і співвідношення параметрів з точки зору точності топ-3 і топ-5.
CODEFUSION ВИКОРИСТОВУЄТЬСЯ ДЛЯ ЗАВДАНЬ ГЕНЕРАЦІЇ КОДУ, І ЙОГО НАВЧАННЯ ПОДІЛЯЄТЬСЯ НА ДВІ ФАЗИ, ПЕРШИЙ ЕТАП — ЦЕ ПОПЕРЕДНЄ НАВЧАННЯ БЕЗ НАГЛЯДУ, А ДРУГИЙ ЕТАП — ДООПРАЦЮВАННЯ ПІД НАГЛЯДОМ.
НА ДРУГОМУ ЕТАПІ CODEFUSION ВИКОНУЄ КОНТРОЛЬОВАНЕ ТОНКЕ НАЛАШТУВАННЯ, ВИКОРИСТОВУЮЧИ ДАНІ З ПАР ТЕКСТ-КОД. На цьому етапі кодувальник, знешумлювач і декодер налаштовані на краще виконання завдання.
КРІМ ТОГО, CODEFUSION СПИРАЄТЬСЯ НА ПОПЕРЕДНІ ДОСЛІДЖЕННЯ ДИФУЗІЇ ТЕКСТУ, ЩОБ ОБ'ЄДНАТИ ПРИХОВАНЕ ПРЕДСТАВЛЕННЯ D З ДЕКОДЕРА В МОДЕЛЬ. Це необхідно для підвищення продуктивності моделі. Під час процесу навчання, на різних етапах, модель вводить певний шум, а потім обчислює функцію втрат, щоб переконатися, що згенерований фрагмент коду більше відповідає очікуваному стандарту.
ТАКИМ ЧИНОМ, CODEFUSION — ЦЕ НЕВЕЛИКА МОДЕЛЬ, ЯКА ВИКОНУЄ РОБОТУ З ГЕНЕРАЦІЇ КОДУ ТА ПОСТІЙНО ПОКРАЩУЄ СВОЮ ПРОДУКТИВНІСТЬ ЗА ДОПОМОГОЮ ДВОХ ФАЗ НАВЧАННЯ ТА ПОГЛИНАННЯ ШУМУ. Ця модель натхненна вивченням дифузії тексту та покращує функцію втрат, об'єднуючи приховане представлення декодера для кращого створення високоякісних фрагментів коду.
Результати оцінювання
У наведеній нижче таблиці підсумовано продуктивність моделі CODEFUSION і кожної базової моделі в топ-1, топ-3 і топ-5 налаштувань.
У топ-1 продуктивність CODEFUSION порівнянна, а в деяких випадках навіть краща, особливо в завданнях на Python, де лише GPT-3 (175B) працює трохи краще, ніж CODEFUSION (75M). Однак з точки зору топ-3 і топ-5 CODEFUSION значно перевершив всі базові моделі.
У ПОРІВНЯННІ З АВТОРЕГРЕСІЙНИМИ МОДЕЛЯМИ, CODEFUSION ГЕНЕРУЄ БІЛЬШ РІЗНОМАНІТНІ РЕЗУЛЬТАТИ І ПРАЦЮЄ КРАЩЕ.
ТАКИЙ ПІДХІД ДОПОМАГАЄ УЗАГАЛЬНИТИ ТА ПРОДЕМОНСТРУВАТИ ПОКРОКОВИЙ ПРОГРЕС МОДЕЛІ CODEFUSION, ЯК ПОКАЗАНО НА МАЛЮНКУ НИЖЧЕ.
GPT-3.5 – це ансамбль невеликих експертних моделей чи універсальна модель? Він дистилюється більшою моделлю чи навчається на більших даних?
Відповіді на ці питання будуть розкриті лише тоді, коли вони будуть по-справжньому відкритими.
Ресурси: