Виталик Бутерин: Эксперимент в социальных сетях «Заметки сообщества» сильно зашифрованы

Первоначальный автор: виталик

Составление оригинального текста: Deep Tide TechFlow

Последние два года были, возможно, неспокойными для Twitter (X). В прошлом году Илон Маск приобрел платформу за 44 миллиарда долларов, а затем провел капитальный ремонт компании, пересмотр контента, бизнес-модель и культуру веб-сайта.Эти изменения могут быть больше связаны с мягкой силой Илона Маска, а не с конкретными политическими решениями. Однако на фоне этих спорных шагов новая функция в Твиттере быстро приобретает все большее значение и, по-видимому, пользуется популярностью у всего политического спектра: заметки сообщества.

Заметки сообщества — это инструмент проверки фактов, который иногда прикрепляет к твитам контекстные аннотации, как, например, вышеприведенный от Илона Маска, в качестве инструмента проверки фактов и борьбы с дезинформацией. Первоначально он назывался Birdwatch и впервые был запущен в качестве пилотной программы в январе 2021 года. С тех пор он постепенно расширялся, причем самая быстрая фаза расширения совпала с поглощением Twitter Илоном Маском в прошлом году. Сегодня заметки сообщества — это регулярная функция твитов, которые привлекают много внимания в Твиттере, в том числе посвященные спорным политическим темам. По моему мнению, и исходя из моих бесед со многими людьми из разных политических кругов, эти Заметки информативны и ценны, когда они появляются.

Но что меня больше всего интересует, так это «Заметки сообщества», которые, хотя и не являются «крипто-проектом», вероятно, являются наиболее близким примером «крипто-ценностей», которые мы видели в мейнстримном мире. Заметки сообщества не пишутся и не курируются каким-то централизованно выбранным экспертом; вместо этого любой может писать и голосовать, а какие заметки отображать или не отображать, полностью определяется алгоритмом с открытым исходным кодом. На веб-сайте Twitter есть подробное и всеобъемлющее руководство, описывающее работу алгоритма, и вы можете загрузить данные, содержащие опубликованные примечания и голоса, запустить алгоритм локально и убедиться, что выходные данные соответствуют тому, что отображается на веб-сайте Twitter. Хотя он и не идеален, он удивительно близок к идеалу правдоподобного нейтралитета в довольно спорных ситуациях и в то же время очень полезен.

Как работает алгоритм заметок сообщества?

Любой, у кого есть учетная запись Twitter, соответствующая определенным критериям (в основном: активность более 6 месяцев, отсутствие истории нарушений, подтвержденный номер мобильного телефона), может зарегистрироваться для участия в Заметках сообщества. В настоящее время участники принимаются медленно и случайным образом, но в конечном итоге планируется разрешить всем, кто имеет право присоединиться. После принятия вы можете сначала принять участие в оценивании существующих заметок, и как только ваша оценка станет достаточно хорошей (измеряется путем просмотра того, какая оценка соответствует окончательному результату для этой заметки), вы также можете написать свои собственные заметки.

Когда вы пишете заметки, заметки получают оценку на основе отзывов других участников сообщества заметок. Эти обзоры можно рассматривать как голоса по трем уровням: «полезный», «несколько полезный» и «бесполезный», но обзоры также могут содержать другие ярлыки, которые играют роль в алгоритме. На основании этих отзывов Notes получает оценку. Если оценка Заметок превышает 0,40, то эти Заметки будут отображаться, в противном случае эти Заметки отображаться не будут.

Уникальность алгоритма заключается в том, как рассчитывается оценка. В отличие от упрощенных алгоритмов, которые предназначены для простого вычисления какой-то суммы или среднего значения оценок пользователей и использования их в качестве конечного результата, алгоритм оценки «Заметки сообщества» явно пытается отдать приоритет тем, кто получает положительные оценки от людей с разными точками зрения. То есть, если люди, которые обычно расходятся во мнениях относительно оценок, в конце концов соглашаются с конкретной заметкой, то эта заметка будет иметь высокую оценку.

Давайте более подробно рассмотрим, как это работает. У нас есть набор пользователей и набор заметок; мы можем создать матрицу M, где ячейка Mij представляет, как i-й пользователь оценил j-ю заметку.

Для любой данной заметки большинство пользователей не оценили эту заметку, поэтому большинство записей в матрице будут нулевыми, но это нормально. Цель алгоритма состоит в том, чтобы создать четырехколоночную модель пользователей и Заметок, назначив каждому пользователю две статистики, которые мы можем назвать «Дружелюбие» и «Полярность», и назначив каждой Заметке две статистики, которые мы называем «полезностью» и «полярность». Модель пытается предсказать матрицу как функцию этих значений, используя следующую формулу:

Обратите внимание, что здесь я ввожу терминологию, используемую в статье Birdwatch, а также свою собственную, чтобы обеспечить более интуитивное понимание того, что означают переменные, не вдаваясь в математические понятия:

• μ — это параметр «общественного мнения», который измеряет, насколько высоко пользователи обычно оценивают рейтинги.
• iu — «дружелюбие» пользователя, т. е. насколько вероятно, что пользователь склонен давать высокую оценку.
• in — «полезность» заметки, т. е. насколько вероятно, что заметка будет высоко оценена. Это переменная, которая нас интересует.
• fu или fn — это «полярность» пользователя или Notes, т. е. их положение на доминирующей оси политических крайностей. На практике отрицательная полярность примерно означает «склонение влево», а положительная полярность — «склонение вправо», но обратите внимание, что крайние оси получены из анализа пользовательских данных и данных Notes, а понятия «лево» и «право» не жестко запрограммированы.

Алгоритм использует довольно простую модель машинного обучения (стандартный градиентный спуск), чтобы найти наилучшие значения переменных для предсказания значений матрицы. Полезность, присвоенная конкретному примечанию, является окончательной оценкой для этого примечания. Заметка будет отображаться, если ее полезность не ниже +0,4.

Основная изобретательность здесь заключается в том, что «полярность» поглощает характеристики заметок, из-за чего они нравятся одним пользователям и не нравятся другим пользователям, в то время как «полезность» измеряет только характеристики заметок. Эти особенности приводят к тому, что они нравятся. всеми пользователями. Таким образом, при выборе полезности определяются примечания, которые одобрены в разных племенах, и исключаются примечания, которые приветствуются в одном племени, но не нравятся в другом.

Вышеприведенное описывает только основную часть алгоритма. На самом деле, поверх него добавлено много дополнительных механизмов. К счастью, они описаны в общедоступной документации. Эти механизмы включают следующее:

• Алгоритм запускается несколько раз, каждый раз добавляя к голосованию несколько случайно сгенерированных экстремальных «псевдо-голосов». Это означает, что истинный результат алгоритма для каждой заметки представляет собой диапазон значений, а окончательный результат зависит от «более низкого уровня достоверности», взятого из этого диапазона и сравниваемого с порогом 0,32.
• Если многие пользователи (особенно те, кто придерживается той же полярности, что и Заметки) оценили Заметки как «бесполезные» и присвоили им тот же «ярлык» (например, «аргументативный или предвзятый язык», «исходные Заметки не поддерживаются»), балла, то порог полезности, необходимый для публикации Заметок, увеличивается с 0,4 до 0,5 (это может показаться небольшим, но на практике это очень важно).
• Если примечание принимается, его полезность должна быть ниже порога в 0,01 балла, необходимого для принятия примечания.
• Алгоритмы запускаются чаще с несколькими моделями, иногда повышая оценку Notes с необработанными показателями полезности от 0,3 до 0,4.

В итоге вы получите довольно сложный код Python, состоящий из 6282 строк, разбросанных по 22 файлам. Но все это открыто, и вы можете загрузить заметки и данные о подсчете очков и запустить их самостоятельно, чтобы увидеть, соответствуют ли выходные данные тому, что на самом деле происходит в Твиттере.

Так как же это выглядит на практике?

Вероятно, самое большое различие между этим алгоритмом и методом простого получения среднего балла от голосов людей заключается в концепции того, что я называю значениями «полярности». В документации алгоритма они упоминаются как fu и fn с использованием f в качестве коэффициента, поскольку эти два термина умножают друг друга; более общий термин отчасти связан с тем, что в конечном итоге желательно сделать fu и fn многомерными.

Полярность назначается пользователям и Notes. Связь между идентификатором пользователя и базовой учетной записью Twitter намеренно остается закрытой, но Notes является общедоступной. На самом деле, по крайней мере для английского набора данных, полярность, сгенерированная алгоритмом, очень тесно коррелирует с левым и правым.

Вот несколько примеров Notes с полярностью около -0,8:

Обратите внимание, что я не выбираю вишни здесь; на самом деле это первые три строки в электронной таблице scored_notes.tsv, которые я генерирую при локальном запуске алгоритма, и их оценки полярности (называемые в электронной таблице coreNoteFactor 1) меньше, чем -0,8.

Вот несколько нот с полярностью около +0,8. Как оказалось, многие из них были либо людьми, говорящими о бразильской политике на португальском языке, либо фанатами Tesla, гневно отвергающими критику Tesla, поэтому позвольте мне немного выделить и найти несколько заметок, которые не попадают ни в одну из категорий:

Напоминаем, что «левое и правое деление» никаким образом не запрограммировано в алгоритме, оно обнаруживается вычислительным путем. Это говорит о том, что если вы примените этот алгоритм к другим культурным контекстам, он сможет автоматически обнаружить их основные политические разногласия и навести мосты между ними.

При этом Заметки, получившие наибольшую полезность, выглядят так. На этот раз, поскольку заметки на самом деле появляются в Твиттере, я могу сделать скриншот одного из них:

И другой:

Что касается вторых «Заметок», то они более непосредственно касаются крайне пристрастных политических тем, но это четкие, высококачественные и информативные заметки, которые получают за это высокую оценку. В целом, алгоритм работает, и представляется возможным проверить результат алгоритма, запустив код.

Что я думаю об алгоритме?

Что меня больше всего поразило при анализе этого алгоритма, так это его сложность. Есть «академическая бумажная версия», в которой используется градиентный спуск для нахождения наилучшего соответствия векторному и матричному уравнению с пятью членами, а есть реальная версия, представляющая собой сложную серию алгоритмических исполнений с множеством различных исполнений и множеством произвольных коэффициентов. .

Даже академические бумажные версии скрывают основные сложности. Уравнение, которое он оптимизирует, имеет отрицательную квартику (поскольку в формуле предсказания есть квадратичный член fu*fn, а функция стоимости измеряет квадрат ошибки). В то время как оптимизация квадратного уравнения по любому количеству переменных почти всегда имеет единственное решение, которое вы можете найти с помощью довольно простой линейной алгебры, оптимизация уравнения четвертой степени по многим переменным обычно имеет много решений, поэтому несколько раундов алгоритма градиентного спуска Различные ответы может быть получено. Небольшие входные изменения могут привести к переходу спуска от одного локального минимума к другому, что значительно изменит выходные результаты.

Разница между этим и алгоритмами, которые я помогал разрабатывать, например, квадратичным финансированием, для меня подобна разнице между алгоритмом экономиста и алгоритмом инженера. Алгоритмы эконо пытаясь воспользоваться этим. Алгоритм инженера, с другой стороны, выводится в результате итеративного процесса проб и ошибок, когда мы видим, что работает, а что нет в рабочей среде инженера. Алгоритм инженера прагматичен и выполняет свою работу; алгоритм экономиста не теряет контроль полностью перед лицом неожиданностей.

Или, как выразился уважаемый интернет-философ roon (он же tszzl) в соответствующей ветке:

Конечно, я бы сказал, что аспект «теоретической эстетики» криптовалют необходим для того, чтобы иметь возможность точно различать те протоколы, которые действительно не доверяют, и те, которые хорошо выглядят и хорошо работают на первый взгляд, но на самом деле требуют доверия какому-то централизованному действующему лицу, Или, что еще хуже, это может быть откровенное мошенничество.

Глубокое обучение эффективно в нормальных условиях, но оно имеет неизбежные слабости для различных атак со стороны машинного обучения. Если все сделано правильно, технические ловушки и очень абстрактные лестницы могут противостоять этим атакам. Итак, у меня вопрос: можем ли мы превратить заметки сообщества в нечто большее, чем экономический алгоритм?

Чтобы увидеть на практике, что это означает, давайте рассмотрим алгоритм, который я разработал для аналогичной цели несколько лет назад: попарно ограниченное квадратичное финансирование.

Цель попарно ограниченного квадратичного финансирования состоит в том, чтобы заполнить лазейку в «обычном» квадратичном финансировании, когда даже если два игрока вступают в сговор друг с другом, они могут внести очень большие суммы в фиктивный проект, получить средства, возвращенные им, и получить большие субсидии, которые истощают весь ваш пул денег. В попарно ограниченном квадратичном финансировании мы назначаем конечный бюджет M каждой паре участников. Алгоритм перебирает все возможные пары участников, и если алгоритм решает добавить субсидию к некоторому проекту P, поскольку его поддерживают и участник A, и участник B, то эта субсидия вычитается из бюджета, выделенного на эту пару (A,B) . Следовательно, даже если k участников вступают в сговор, сумма, которую они крадут из механизма, не превышает k *(k-1)*M.

Эта форма алгоритма плохо работает в контексте Заметок сообщества, поскольку каждый пользователь отдает лишь небольшое количество голосов: в среднем общий голос между любыми двумя пользователями равен нулю, поэтому, просто рассматривая каждую пару пользователей по отдельности, алгоритм не имеет возможности узнать полярность пользователей. Цель модели машинного обучения как раз и состоит в том, чтобы попытаться «заполнить» матрицу из очень разреженных исходных данных, которые невозможно напрямую проанализировать таким образом. Но проблема с этим подходом заключается в том, что требуются дополнительные усилия, чтобы избежать очень изменчивых результатов перед лицом небольшого количества плохих голосов.

Могут ли Community Notes действительно противостоять левым и правым?

Мы можем проанализировать, действительно ли алгоритм Community Notes устойчив к крайностям, то есть работает ли он лучше, чем наивный алгоритм голосования. Этот алгоритм голосования уже несколько устойчив к крайностям: пост с 200 лайками и 100 дизлайками будет работать хуже, чем пост всего с 200 лайками. Но разве «Заметки сообщества» работают лучше?

С точки зрения абстрактного алгоритма трудно сказать. Почему поляризующий пост с высоким средним рейтингом не может получить сильную полярность и высокую полезность? Идея состоит в том, что если эти голоса противоречат друг другу, полярность должна «поглотить» функцию, из-за которой пост получил много голосов, но действительно ли это так?

Чтобы проверить это, я запустил свою упрощенную реализацию на 100 раундов. Средний результат таков:

В этом тесте «хорошие» примечания получили оценку +2 от пользователей той же политической принадлежности, +0 от пользователей противоположной политической принадлежности, а «хорошие, но более экстремальные» примечания получили оценку +4 от пользователей той же политической принадлежности. , и -2 у пользователей противоположной фракции. Хотя средний балл одинаков, полярность разная. И на самом деле, средняя полезность «хороших» Notes кажется выше, чем у «хороших, но более экстремальных» Notes.

Наличие алгоритма, более близкого к «алгоритму экономиста», дало бы более четкую историю того, как алгоритм наказывает за крайности.

Насколько все это полезно в ситуации с высокими ставками?

О некоторых из них мы можем узнать, рассмотрев конкретную ситуацию. Около месяца назад Ян Бреммер пожаловался, что твит о китайском правительственном чиновнике добавил очень критическую заметку сообщества?item_id=888" target="_blank" rel="noopener noreferrer">Подробнее? item_id= 888 " target="_blank" rel="noopener noreferrer">Подробнее? item_id= 888" target="_blank" rel="noopener noreferrer">Подробнее? item_id= 888" target="_blank " rel="noopener noreferrer">Подробнее? item_id= 888" target="_blank" rel="noopener noreferrer">Подробнее? item_id= 888" target= "_blank" rel="noopener noreferrer ">Посмотреть еще? item_id= 888" target="_blank" rel="noopener noreferrer">Посмотреть еще? item_id= 888" target="_blank" rel="noopener noreferrer">Посмотреть еще? item _id= 888" target="_blank" rel="noopener noreferrer">Подробнее? item_id= 888" target="_blank" rel="noopener noreferrer">Подробнее? item_id= 888" target ="_blank" rel="noopener noreferrer">Посмотреть больше? item_id= 888" target="_blank" rel="noopener noreferrer">Посмотреть больше, но примечания удалены.

Это сложная задача. Дизайн механизма — это одна вещь в среде сообщества Ethereum, где самая большая жалоба может быть всего лишь в 20 000 долларов, уплаченных крайне влиятельному человеку в Твиттере. Другое дело, когда речь идет о политических и геополитических проблемах, затрагивающих миллионы людей, и каждый склонен разумно исходить из самых худших возможных мотивов. Но взаимодействие с этими средами с высокими ставками необходимо, если разработчики механики хотят оказать значительное влияние на мир.

В случае с Twitter есть очевидная причина подозревать централизованные манипуляции в качестве причины удаления Notes: у Илона Маска много деловых интересов в Китае, поэтому возможно, что Илон Маск вынудил команду Community Notes вмешаться в вывод заметок. алгоритм и удалите эту конкретную заметку.

К счастью, алгоритм имеет открытый исходный код и поддается проверке, так что мы действительно можем добраться до сути! Давай сделаем это. URL исходного твита — это число 1676157337109946369, в конце — идентификатор твита. Мы можем найти этот идентификатор в загружаемых данных и определить конкретную строку в электронной таблице, в которой есть приведенные выше примечания:

Здесь у нас есть идентификатор самого Notes, 1676391378815709184. Затем мы ищем этот идентификатор в файлах scored_notes.tsv и note_status_history.tsv, сгенерированных при запуске алгоритма. Мы получили следующий результат:

Второй столбец в первом выводе — текущий рейтинг Notes. Второй вывод показывает историю Notes: его текущий статус находится в седьмом столбце (NEEDS_MORE_RATINGS), а первый полученный статус, который не был NEEDS_MORE_RATINGS, находится в пятом столбце (NEEDS_MORE_RATINGS ). , В НАСТОЯЩЕЕ ВРЕМЯ_ОЦЕНКА_ПОЛЕЗНО). Таким образом, мы можем видеть, что сам алгоритм сначала показал Notes, а затем удалил их после того, как их рейтинг немного упал — кажется, никакого централизованного вмешательства не происходит.

Мы также можем посмотреть на это с другой стороны, взглянув на само голосование. Мы можем отсканировать файл ratings-00000.tsv, чтобы выделить все рейтинги для этой заметки и посмотреть, сколько из них оцениваются ПОЛЕЗНО и НЕ_ПОЛЕЗНО:

Однако, если вы отсортируете их по отметке времени и посмотрите на первые 50 голосов, вы увидите, что 40 ПОЛЕЗНЫХ голосов и 9 НЕ_ПОЛЕЗНЫХ голосов. Таким образом, мы пришли к одному и тому же выводу: Notes был более положительно оценен своей первоначальной аудиторией и менее положительной - более поздней аудиторией, поэтому его рейтинг сначала был высоким, а со временем снижался и становился все ниже.

К сожалению, трудно объяснить, как именно меняется статус Notes: это не просто вопрос «ранее рейтинг выше 0,40, теперь рейтинг ниже 0,40, поэтому он удален». Вместо этого большое количество ответов NOT_HELPFUL запускает одно из исключительных условий, увеличивая показатель полезности, который необходим Notes, чтобы оставаться выше порогового значения.

Это еще одна прекрасная возможность для обучения, которая преподает нам урок: чтобы сделать заслуживающий доверия нейтральный алгоритм по-настоящему заслуживающим доверия, нужно сделать его простым. Если Заметки переходят от принятия к неприемлемости, должна быть простая и ясная история о том, почему это так.

Конечно, есть еще один совершенно иной способ манипулирования этим голосованием: бригадирование. Кто-то, кто видит заметки, которые он не одобряет, может обратиться к активному сообществу (или, что еще хуже, к легиону поддельных учетных записей), чтобы оценить их НЕ_ПОЛЕЗНО, и, вероятно, не нужно много голосов, чтобы получить заметки от " полезный» до «экстремальный». Требуется дополнительный анализ и работа, чтобы должным образом снизить уязвимость алгоритма к таким скоординированным атакам. Возможным улучшением было бы запретить пользователям голосовать за какие-либо примечания, а вместо этого случайным образом назначать примечания оценщикам, используя рекомендацию алгоритма «для вас», и разрешать оценщикам оценивать только те примечания, к которым они назначены.

Заметки сообщества Недостаточно «смелые»?

Основная критика, которую я вижу в «Заметках сообщества», заключается в том, что они делают недостаточно. Я видел две недавние статьи, упоминающие об этом. Цитирую одну из статей:

У этого процесса есть серьезное ограничение: для того, чтобы Заметки сообщества стали общедоступными, они должны быть общеприняты на основе консенсуса людей во всем политическом спектре.

«У него должен быть идеологический консенсус», — сказал он. «Это означает, что люди слева и справа должны согласиться с тем, что заметка должна быть прикреплена к твиту».

По сути, сказал он, для этого требуется «кросс-идеологическое соглашение об истине, что почти невозможно во все более партийной среде».

Это сложный вопрос, но, в конечном счете, я склонен думать, что лучше, чтобы десять твитов с дезинформацией были опубликованы бесплатно, чем один твит был несправедливо аннотирован. Мы видели годы смелой проверки фактов с точки зрения «на самом деле мы знаем правду, мы знаем, что одна сторона лжет чаще, чем другая». Что случится?

Честно говоря, довольно широко распространено недоверие к самому понятию проверки фактов. Здесь одна из стратегий заключается в том, чтобы сказать: игнорируйте этих критиков, помните, что специалисты по проверке фактов знают факты лучше, чем любая система голосования, и придерживайтесь ее. Но идти ва-банк при таком подходе кажется рискованным. Есть смысл в создании межплеменных институтов, которые хотя бы частично уважаются всеми. Подобно изречению Уильяма Блэкстоуна и судам, я считаю, что поддержание этого уважения требует системы, которая ошибается скорее из-за упущения, чем из-за добровольной ошибки. Поэтому мне кажется целесообразным, чтобы по крайней мере одна крупная организация выбрала этот другой путь и увидела в своем редком межплеменном уважении ценный ресурс.

Еще одна причина, по которой я считаю, что комментарии сообщества могут быть консервативными, заключается в том, что я не думаю, что каждый твит с дезинформацией или даже большинство твитов с дезинформацией должен получать корректирующую заметку. Даже если менее одного процента дезинформированных твитов снабжены аннотациями для предоставления контекста или исправления, заметки сообщества по-прежнему предоставляют чрезвычайно ценную услугу в качестве образовательного инструмента. Цель состоит не в том, чтобы все исправить; скорее, цель состоит в том, чтобы напомнить людям, что существует несколько точек зрения, что некоторые из сообщений, которые кажутся убедительными и привлекательными по отдельности, на самом деле совершенно неверны, и что вы, да, обычно можете делать элементарные вещи. Интернет Поиск, чтобы убедиться, что это неправильно.

Заметки сообщества не могут быть и не должны быть панацеей от всех проблем публичной эпистемологии. Какие бы проблемы он не решал, есть много места для других механизмов, будь то новые гаджеты, такие как рынки предсказаний, или авторитетные организации, нанимающие штатных сотрудников с опытом работы в предметной области, чтобы попытаться заполнить пробелы.

в заключение

Заметки сообщества — это не только увлекательный эксперимент в социальных сетях, но и захватывающий пример зарождающегося типа дизайна механизмов: механизмов, которые сознательно пытаются идентифицировать крайности и склонны способствовать пересечению, а не увековечиванию разделения.

Два других примера в этой категории, о которых я знаю: (i) парный квадратичный механизм финансирования, используемый в Gitcoin Grants, и (ii) Polis, дискуссионный инструмент, который использует алгоритмы кластеризации, чтобы помочь сообществу идентифицировать общие популярные утверждения, охватывающие людей, которые часто имеют разные мнения. Эта область проектирования механизмов является ценной, и я надеюсь, что мы увидим больше академических работ в этой области.

Алгоритмическая прозрачность, которую обеспечивают Заметки сообщества, не является полностью децентрализованной социальной сетью — если вы не согласны с тем, как работает Заметки сообщества, вы не сможете увидеть другой алгоритмический взгляд на один и тот же контент. Но это самое близкое, что гипермасштабируемые приложения получат в ближайшие несколько лет, и мы видим, что это уже обеспечивает большую ценность, как предотвращая централизованное манипулирование, так и гарантируя, что платформы, которые не участвуют в таких манипуляциях, получат то, что они заслуживают. .

Я с нетерпением жду, когда заметки сообщества и многие алгоритмы подобного духа будут развиваться и расти в течение следующего десятилетия.