Đọc sách với mô hình lớn chưa bao giờ nhanh như vậy.
Nguồn hình ảnh: Được tạo bởi Unbounded AI
Các công ty khởi nghiệp mô hình quy mô lớn trong nước đang tạo ra những kỷ lục mới đi đầu trong công nghệ.
Vào ngày 30 tháng 10, Baichuan Intelligence chính thức phát hành mô hình lớn cửa sổ dài Baichuan2-192K, giúp tăng độ dài của cửa sổ ngữ cảnh mô hình ngôn ngữ lớn (LLM) lên **192K mã thông báo **.
Điều này tương đương với việc có quy trình mô hình lớn khoảng 350.000 ký tự Trung Quốc cùng một lúc, dài hơn 14 lần so với GPT-4 (mã thông báo 32K, khoảng 25.000 ký tự) và dài hơn 4,4 lần so với Claude 2.0 (mã thông báo 100K, khoảng 80.000 ký tự).
Nói cách khác, Baichuan2-192K có thể đọc một bản sao của Vấn đề ba cơ thể 2 trong một lần ngồi, khiến nó trở thành mô hình lớn nhất với cửa sổ ngữ cảnh xử lý dài nhất trên thế giới. Ngoài ra, nó cũng vượt trội hơn đáng kể so với các đối thủ cạnh tranh ở nhiều khía cạnh như chất lượng tạo văn bản, hiểu ngữ cảnh và khả năng Hỏi &Đáp.
Một mô hình lớn có thể hiểu các văn bản rất dài tại một thời điểm là gì? Baichuan Intelligent làm một biểu tình đơn giản.
Tải lên một tệp PDF của toàn bộ "Vấn đề ba cơ thể 2: Rừng tối" và mô hình Baichuan là 300.000 từ. Tiếp theo, nếu bạn đặt bất kỳ câu hỏi nào về cuốn tiểu thuyết, mô hình có thể đưa ra câu trả lời ngắn gọn và chính xác.
Đôi khi chúng ta chuyển sang AI để được giúp đỡ, không phải để sử dụng trí tưởng tượng của họ, mà để trích xuất thông tin chính xác. Với Baichuan2-192K, chúng ta có thể nhanh chóng giải mã hàng chục, thậm chí hàng trăm trang giấy tờ hợp đồng, đồng thời để AI nhanh chóng đưa ra một bản tóm tắt ngắn gọn, làm tròn là đọc tốc độ lượng tử:
Vậy điều gì sẽ xảy ra nếu tôi đột nhiên nhận được một bài tập mới và có một loạt các tệp để đọc?
Bạn có thể trực tiếp đóng gói và tải nó lên cùng nhau, và mô hình Baichuan có thể dễ dàng tích hợp năm bài báo thành một.
Khi nội dung mà mô hình lớn có thể hiểu trở nên dài hơn, nó sẽ được áp dụng càng nhiều. Như chúng ta đã biết, khả năng mô hình hóa văn bản dài là điều kiện tiên quyết để áp dụng nhiều kịch bản. Lần này, Baichuan đã dẫn đầu trong ngành.
Từ hàng chục nghìn từ đến hàng trăm nghìn từ, các startup hàng đầu đang đổ xô nắm bắt "cửa sổ dài"
Nếu bạn chú ý đến việc áp dụng các mô hình lớn theo hướng hiểu văn bản, bạn có thể nhận thấy một hiện tượng: lúc đầu, các văn bản được sử dụng để đánh giá khả năng của mô hình có thể là một số báo cáo tài chính và báo cáo kỹ thuật, thường dao động từ hàng chục đến hàng chục trang và số lượng từ thường là hàng chục nghìn từ. Nhưng sau đó, văn bản thử nghiệm dần dần phát triển thành vài giờ biên bản cuộc họp, hoặc hàng trăm ngàn từ tiểu thuyết, và sự cạnh tranh ngày càng trở nên gay gắt và khó khăn hơn.
Đồng thời, các công ty mô hình lớn tuyên bố có thể hiểu được bối cảnh dài hơn đang đạt được sức hút. Ví dụ, một thời gian trước, Anthropic, công ty đứng sau Claude, tuyên bố có thể nhận ra cửa sổ ngữ cảnh mã thông báo 100K, đã nhận được hàng tỷ đô la tài trợ từ Microsoft và Google, đẩy cuộc chạy đua vũ trang mô hình lớn lên một tầm cao mới.
Tại sao các công ty này thách thức các văn bản dài?
Trước hết, từ góc độ ứng dụng, nhiều người lao động sử dụng các mô hình lớn để cải thiện năng suất chắc chắn phải đối phó với các văn bản dài, chẳng hạn như luật sư, nhà phân tích, chuyên gia tư vấn, v.v., và cửa sổ ngữ cảnh càng lớn, phạm vi những việc này có thể làm với các mô hình lớn càng rộng; Thứ hai, từ quan điểm kỹ thuật, cửa sổ càng có thể chứa nhiều thông tin, mô hình càng có thể tham khảo nhiều thông tin khi tạo từ tiếp theo, càng ít có khả năng xảy ra ảo giác và thông tin sẽ càng chính xác, đó là điều kiện cần thiết để thực hiện công nghệ mô hình lớn. Do đó, trong khi cố gắng cải thiện hiệu suất của mô hình, các công ty cũng đang cạnh tranh để xem ai có thể làm cho cửa sổ ngữ cảnh lớn hơn và do đó đưa nó vào nhiều kịch bản ứng dụng hơn.
Như bạn có thể thấy từ một số ví dụ được hiển thị trước đó, Baichuan2-192K vượt trội về cả chất lượng tạo văn bản và hiểu ngữ cảnh. Và, ngoài những kết quả định tính này, chúng ta cũng có thể thấy điều này trong một số dữ liệu đánh giá định lượng.
Baichuan2-192K: File càng dài thì lợi thế càng rõ ràng
Trong việc đánh giá chất lượng tạo văn bản, một số liệu rất quan trọng được gọi là "nhầm lẫn": khi chúng ta lấy các tài liệu chất lượng cao phù hợp với thói quen ngôn ngữ tự nhiên của con người làm bộ thử nghiệm, xác suất mô hình tạo ra phiên bản tiếng Trung của bộ thử nghiệm càng cao, sự nhầm lẫn của mô hình càng nhỏ và mô hình càng tốt.
Bộ thử nghiệm được sử dụng để kiểm tra sự phức tạp của mô hình lớn Baichuan được gọi là PG-19. Bộ dữ liệu này được tạo ra bởi các nhà nghiên cứu của DeepMind và được tạo ra bằng cách sử dụng các tài liệu từ sách Dự án Gutenberg, vì vậy PG-19 có chất lượng sách.
Kết quả kiểm tra được hiển thị trong hình dưới đây. Như bạn có thể thấy, trong giai đoạn đầu (bên trái trục ngang, khi độ dài bối cảnh ngắn hơn), mức độ nhầm lẫn của Baichuan2-192K ở mức thấp. Khi độ dài của bối cảnh tăng lên, lợi thế của nó trở nên rõ ràng hơn và thậm chí sự nhầm lẫn tiếp tục giảm. Điều này cho thấy Baichuan2-192K có khả năng duy trì chất lượng tạo văn bản cấp sách tốt hơn trong bối cảnh dài.
Về khả năng hiểu ngữ cảnh, hiệu suất của Baichuan2-192K cũng rất ấn tượng.
Năng lực này được đánh giá bằng cách sử dụng Long, tiêu chuẩn hiểu văn bản cửa sổ dài có thẩm quyền. Long là danh sách do Đại học California, Berkeley và các trường đại học khác công bố để đánh giá các mô hình cửa sổ dài, chủ yếu đo lường khả năng ghi nhớ và hiểu nội dung của các cửa sổ dài của mô hình, và điểm mô hình càng cao thì càng tốt.
Như bạn có thể thấy từ kết quả đánh giá trong biểu đồ bên dưới, Baichuan2-192K đã có thể duy trì hiệu suất cao nhất quán khi độ dài ngữ cảnh tăng lên, ngay cả sau khi chiều dài cửa sổ vượt quá 100K. Ngược lại, hiệu suất tổng thể của Claude 2 giảm đáng kể sau chiều dài cửa sổ hơn 80K.
Ngoài ra, mô hình đã được thử nghiệm trên Dureader, NarrativeQA, TriviaQA, LSHT và các bộ đánh giá khác về Hỏi & Đáp văn bản dài và tóm tắt bằng tiếng Trung và tiếng Anh. Kết quả cho thấy Baichuan 2-192K cũng hoạt động tốt, vượt trội so với các mô hình khác trong hầu hết các nhiệm vụ đánh giá văn bản dài.
Nói tóm lại, nội dung được xử lý càng lâu, hiệu suất tương đối của mô hình lớn của Baichuan càng tốt.
**192K bối cảnh siêu dài, Bạch Xuyên đã làm như thế nào? **
Có một sự đồng thuận trong ngành công nghiệp AI rằng việc mở rộng cửa sổ ngữ cảnh có thể cải thiện hiệu suất của các mô hình lớn một cách hiệu quả, nhưng cửa sổ ngữ cảnh cực dài có nghĩa là yêu cầu sức mạnh tính toán cao hơn và áp lực bộ nhớ lớn hơn.
Để giảm bớt áp lực này, một số phương pháp thỏa hiệp đã xuất hiện trong ngành, chẳng hạn như làm cho mô hình nhỏ hơn; Hãy để mô hình chủ động từ bỏ văn bản trước đó bằng cách trượt cửa sổ, v.v. và chỉ giữ lại cơ chế chú ý cho đầu vào mới nhất; Bằng cách lấy mẫu xuống ngữ cảnh hoặc RAG (Retrieval Enhanced Generation), cơ chế chú ý chỉ giữ lại một số đầu vào, v.v.
Mặc dù các phương pháp này có thể làm tăng độ dài của cửa sổ ngữ cảnh, nhưng tất cả chúng đều làm hỏng hiệu suất của mô hình ở các mức độ khác nhau. Nói cách khác, họ hy sinh hiệu suất của các khía cạnh khác của mô hình để đổi lấy độ dài của cửa sổ ngữ cảnh, chẳng hạn như mô hình không có khả năng trả lời các câu hỏi phức tạp dựa trên thông tin toàn văn và khó khăn trong việc xem xét câu trả lời trên nhiều văn bản.
Baichaun2-192K ** do Baichuan phát hành lần này đạt được sự cân bằng giữa chiều dài cửa sổ và hiệu suất mô hình thông qua việc tối ưu hóa tối ưu các thuật toán và kỹ thuật, đồng thời đạt được sự cải thiện đồng thời về chiều dài cửa sổ và hiệu suất mô hình **.
Về mặt thuật toán, Baichuan Intelligent đề xuất một sơ đồ ngoại suy để mã hóa vị trí động của RoPE và ALiBi, có thể thực hiện nội suy động mặt nạ chú ý khác nhau của ALiBi \ _mask độ phân giải khác nhau, có thể nâng cao khả năng mô hình hóa của mô hình để dựa vào các chuỗi dài trong khi vẫn đảm bảo độ phân giải.
Về kỹ thuật, trên cơ sở khung đào tạo phân tán tự phát triển, Baichuan Intelligent tích hợp tất cả các công nghệ tối ưu hóa tiên tiến trên thị trường, bao gồm song song tensor, song song luồng, song song trình tự, chức năng tính toán lại và giảm tải, v.v., để tạo ra một bộ giải pháp phân tán song song 4D toàn diện. Giải pháp này có thể tự động tìm ra chiến lược phân tán phù hợp nhất theo tình hình tải cụ thể, giúp giảm đáng kể việc chiếm dụng bộ nhớ trong quá trình suy luận cửa sổ dài.
** Chiến đấu với trận chiến của các mô hình lớn, được nhanh chóng **
Được thành lập vào tháng 4 năm nay, Baichuan Intelligence gần như có thể nói là một startup mô hình quy mô lớn với tốc độ lặp lại công nghệ nhanh nhất trong ngành. Chỉ trong nửa năm kể từ khi thành lập, công ty đã phát hành bốn mô hình thương mại mã nguồn mở và miễn phí, Baichuan-7B / 13B và Baichuan2-7B / 13B, cũng như hai mô hình nguồn đóng, Baichuan-53B và Baichuan2-53B.
Trung bình, một mô hình lớn mới được phát hành mỗi tháng.
Loạt mô hình lớn Baichuan tích hợp các công nghệ hiểu ý định, truy xuất thông tin và học tăng cường, kết hợp với tinh chỉnh có giám sát và căn chỉnh ý định của con người, và thực hiện tốt trong các lĩnh vực trả lời câu hỏi kiến thức và tạo văn bản. Các mô hình lớn này cũng được ưa chuộng trong ngành vì khả năng của chúng: số lượt tải xuống tích lũy của loạt mô hình nguồn mở Baichuan trong các cộng đồng nguồn mở lớn đã vượt quá 6 triệu; Baichuan 2 đi trước Llama 2 về mọi mặt, dẫn đầu sự phát triển của hệ sinh thái nguồn mở của Trung Quốc.
Vào ngày 31 tháng 8, Baichuan Intelligent đã đi đầu trong việc thông qua "Các biện pháp tạm thời để quản lý các dịch vụ trí tuệ nhân tạo phát sinh", và là công ty mô hình quy mô lớn duy nhất được thành lập trong năm nay trong số 8 công ty đầu tiên. Vào ngày 25 tháng 9, Baichuan Intelligent đã mở giao diện API Baichuan, chính thức bước vào lĩnh vực To B và bắt đầu quá trình thương mại hóa.
Có thể nói, từ nghiên cứu phát triển công nghệ đến hạ cánh, tốc độ của Bạch Xuyên đều đủ nhanh.
Baichuan2-192K vừa được phát hành đã chính thức bắt đầu thử nghiệm beta kín và sẽ mở cửa cho các đối tác cốt lõi dưới dạng lệnh gọi API. Baichuan cho biết họ đã đạt được sự hợp tác với các công ty luật và truyền thông tài chính, đồng thời áp dụng các khả năng bối cảnh dài hàng đầu của Baichuan2-192K cho các tình huống cụ thể như truyền thông, tài chính và luật, và sẽ sớm được cung cấp cho người dùng doanh nghiệp dưới dạng các cuộc gọi API và triển khai tư nhân hóa.
Sau khi được mở hoàn toàn dưới dạng API, Baichuan2-192K có thể được tích hợp sâu với một số lượng lớn các kịch bản dọc, đóng vai trò trong công việc, cuộc sống và học tập của mọi người, đồng thời giúp người dùng trong ngành nâng cao hiệu quả đáng kể. Baichuan2-192K có thể xử lý và phân tích hàng trăm trang tài liệu cùng một lúc, đây là một trợ giúp rất lớn cho các tình huống trong thế giới thực như tóm tắt tài liệu dài, xem xét tài liệu dài, viết bài hoặc báo cáo dài và hỗ trợ lập trình phức tạp.
Trước đó, Wang Xiaochuan, người sáng lập và CEO của Baichuan Intelligence, đã tiết lộ rằng trong nửa cuối năm nay, Baichuan sẽ ra mắt một mô hình lớn cấp 100 tỷ và dự kiến sẽ có một triển khai siêu ứng dụng C-end vào năm tới.
Đối mặt với khoảng cách với OpenAI, Wang Xiaochuan thừa nhận rằng thực sự có một khoảng cách giữa chúng ta và OpenAI về mặt lý tưởng, mục tiêu của OpenAI là khám phá trần của trí thông minh, và họ thậm chí hy vọng sẽ thiết kế một công nghệ kết nối 10 triệu GPU với nhau. Tuy nhiên, về mặt ứng dụng, chúng ta đang đi nhanh hơn Hoa Kỳ, và ứng dụng và kinh nghiệm sinh thái tích lũy trong kỷ nguyên Internet có thể khiến chúng ta đi nhanh hơn và xa hơn, vì vậy khái niệm Baichuan để tạo ra một mô hình lớn được gọi là "** Một bước chậm hơn trên lý tưởng, ba bước nhanh hơn trên mặt đất **".
Từ quan điểm này, Baichuan2-192K là một phần mở rộng của khái niệm này và cửa sổ bối cảnh dài nhất thế giới chắc chắn sẽ đẩy nhanh quá trình công nghệ mô hình lớn thông minh Baichuan.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Mô hình văn bản dài mạnh nhất thế giới, có thể đọc 350.000 ký tự Trung Quốc cùng một lúc: Baichuan2-192K đang trực tuyến
Các công ty khởi nghiệp mô hình quy mô lớn trong nước đang tạo ra những kỷ lục mới đi đầu trong công nghệ.
Vào ngày 30 tháng 10, Baichuan Intelligence chính thức phát hành mô hình lớn cửa sổ dài Baichuan2-192K, giúp tăng độ dài của cửa sổ ngữ cảnh mô hình ngôn ngữ lớn (LLM) lên **192K mã thông báo **.
Điều này tương đương với việc có quy trình mô hình lớn khoảng 350.000 ký tự Trung Quốc cùng một lúc, dài hơn 14 lần so với GPT-4 (mã thông báo 32K, khoảng 25.000 ký tự) và dài hơn 4,4 lần so với Claude 2.0 (mã thông báo 100K, khoảng 80.000 ký tự).
Nói cách khác, Baichuan2-192K có thể đọc một bản sao của Vấn đề ba cơ thể 2 trong một lần ngồi, khiến nó trở thành mô hình lớn nhất với cửa sổ ngữ cảnh xử lý dài nhất trên thế giới. Ngoài ra, nó cũng vượt trội hơn đáng kể so với các đối thủ cạnh tranh ở nhiều khía cạnh như chất lượng tạo văn bản, hiểu ngữ cảnh và khả năng Hỏi &Đáp.
Một mô hình lớn có thể hiểu các văn bản rất dài tại một thời điểm là gì? Baichuan Intelligent làm một biểu tình đơn giản.
Tải lên một tệp PDF của toàn bộ "Vấn đề ba cơ thể 2: Rừng tối" và mô hình Baichuan là 300.000 từ. Tiếp theo, nếu bạn đặt bất kỳ câu hỏi nào về cuốn tiểu thuyết, mô hình có thể đưa ra câu trả lời ngắn gọn và chính xác.
Bạn có thể trực tiếp đóng gói và tải nó lên cùng nhau, và mô hình Baichuan có thể dễ dàng tích hợp năm bài báo thành một.
Từ hàng chục nghìn từ đến hàng trăm nghìn từ, các startup hàng đầu đang đổ xô nắm bắt "cửa sổ dài"
Nếu bạn chú ý đến việc áp dụng các mô hình lớn theo hướng hiểu văn bản, bạn có thể nhận thấy một hiện tượng: lúc đầu, các văn bản được sử dụng để đánh giá khả năng của mô hình có thể là một số báo cáo tài chính và báo cáo kỹ thuật, thường dao động từ hàng chục đến hàng chục trang và số lượng từ thường là hàng chục nghìn từ. Nhưng sau đó, văn bản thử nghiệm dần dần phát triển thành vài giờ biên bản cuộc họp, hoặc hàng trăm ngàn từ tiểu thuyết, và sự cạnh tranh ngày càng trở nên gay gắt và khó khăn hơn.
Tại sao các công ty này thách thức các văn bản dài?
Trước hết, từ góc độ ứng dụng, nhiều người lao động sử dụng các mô hình lớn để cải thiện năng suất chắc chắn phải đối phó với các văn bản dài, chẳng hạn như luật sư, nhà phân tích, chuyên gia tư vấn, v.v., và cửa sổ ngữ cảnh càng lớn, phạm vi những việc này có thể làm với các mô hình lớn càng rộng; Thứ hai, từ quan điểm kỹ thuật, cửa sổ càng có thể chứa nhiều thông tin, mô hình càng có thể tham khảo nhiều thông tin khi tạo từ tiếp theo, càng ít có khả năng xảy ra ảo giác và thông tin sẽ càng chính xác, đó là điều kiện cần thiết để thực hiện công nghệ mô hình lớn. Do đó, trong khi cố gắng cải thiện hiệu suất của mô hình, các công ty cũng đang cạnh tranh để xem ai có thể làm cho cửa sổ ngữ cảnh lớn hơn và do đó đưa nó vào nhiều kịch bản ứng dụng hơn.
Như bạn có thể thấy từ một số ví dụ được hiển thị trước đó, Baichuan2-192K vượt trội về cả chất lượng tạo văn bản và hiểu ngữ cảnh. Và, ngoài những kết quả định tính này, chúng ta cũng có thể thấy điều này trong một số dữ liệu đánh giá định lượng.
Baichuan2-192K: File càng dài thì lợi thế càng rõ ràng
Trong việc đánh giá chất lượng tạo văn bản, một số liệu rất quan trọng được gọi là "nhầm lẫn": khi chúng ta lấy các tài liệu chất lượng cao phù hợp với thói quen ngôn ngữ tự nhiên của con người làm bộ thử nghiệm, xác suất mô hình tạo ra phiên bản tiếng Trung của bộ thử nghiệm càng cao, sự nhầm lẫn của mô hình càng nhỏ và mô hình càng tốt.
Bộ thử nghiệm được sử dụng để kiểm tra sự phức tạp của mô hình lớn Baichuan được gọi là PG-19. Bộ dữ liệu này được tạo ra bởi các nhà nghiên cứu của DeepMind và được tạo ra bằng cách sử dụng các tài liệu từ sách Dự án Gutenberg, vì vậy PG-19 có chất lượng sách.
Kết quả kiểm tra được hiển thị trong hình dưới đây. Như bạn có thể thấy, trong giai đoạn đầu (bên trái trục ngang, khi độ dài bối cảnh ngắn hơn), mức độ nhầm lẫn của Baichuan2-192K ở mức thấp. Khi độ dài của bối cảnh tăng lên, lợi thế của nó trở nên rõ ràng hơn và thậm chí sự nhầm lẫn tiếp tục giảm. Điều này cho thấy Baichuan2-192K có khả năng duy trì chất lượng tạo văn bản cấp sách tốt hơn trong bối cảnh dài.
Năng lực này được đánh giá bằng cách sử dụng Long, tiêu chuẩn hiểu văn bản cửa sổ dài có thẩm quyền. Long là danh sách do Đại học California, Berkeley và các trường đại học khác công bố để đánh giá các mô hình cửa sổ dài, chủ yếu đo lường khả năng ghi nhớ và hiểu nội dung của các cửa sổ dài của mô hình, và điểm mô hình càng cao thì càng tốt.
Như bạn có thể thấy từ kết quả đánh giá trong biểu đồ bên dưới, Baichuan2-192K đã có thể duy trì hiệu suất cao nhất quán khi độ dài ngữ cảnh tăng lên, ngay cả sau khi chiều dài cửa sổ vượt quá 100K. Ngược lại, hiệu suất tổng thể của Claude 2 giảm đáng kể sau chiều dài cửa sổ hơn 80K.
**192K bối cảnh siêu dài, Bạch Xuyên đã làm như thế nào? **
Có một sự đồng thuận trong ngành công nghiệp AI rằng việc mở rộng cửa sổ ngữ cảnh có thể cải thiện hiệu suất của các mô hình lớn một cách hiệu quả, nhưng cửa sổ ngữ cảnh cực dài có nghĩa là yêu cầu sức mạnh tính toán cao hơn và áp lực bộ nhớ lớn hơn.
Để giảm bớt áp lực này, một số phương pháp thỏa hiệp đã xuất hiện trong ngành, chẳng hạn như làm cho mô hình nhỏ hơn; Hãy để mô hình chủ động từ bỏ văn bản trước đó bằng cách trượt cửa sổ, v.v. và chỉ giữ lại cơ chế chú ý cho đầu vào mới nhất; Bằng cách lấy mẫu xuống ngữ cảnh hoặc RAG (Retrieval Enhanced Generation), cơ chế chú ý chỉ giữ lại một số đầu vào, v.v.
Mặc dù các phương pháp này có thể làm tăng độ dài của cửa sổ ngữ cảnh, nhưng tất cả chúng đều làm hỏng hiệu suất của mô hình ở các mức độ khác nhau. Nói cách khác, họ hy sinh hiệu suất của các khía cạnh khác của mô hình để đổi lấy độ dài của cửa sổ ngữ cảnh, chẳng hạn như mô hình không có khả năng trả lời các câu hỏi phức tạp dựa trên thông tin toàn văn và khó khăn trong việc xem xét câu trả lời trên nhiều văn bản.
Baichaun2-192K ** do Baichuan phát hành lần này đạt được sự cân bằng giữa chiều dài cửa sổ và hiệu suất mô hình thông qua việc tối ưu hóa tối ưu các thuật toán và kỹ thuật, đồng thời đạt được sự cải thiện đồng thời về chiều dài cửa sổ và hiệu suất mô hình **.
Về mặt thuật toán, Baichuan Intelligent đề xuất một sơ đồ ngoại suy để mã hóa vị trí động của RoPE và ALiBi, có thể thực hiện nội suy động mặt nạ chú ý khác nhau của ALiBi \ _mask độ phân giải khác nhau, có thể nâng cao khả năng mô hình hóa của mô hình để dựa vào các chuỗi dài trong khi vẫn đảm bảo độ phân giải.
Về kỹ thuật, trên cơ sở khung đào tạo phân tán tự phát triển, Baichuan Intelligent tích hợp tất cả các công nghệ tối ưu hóa tiên tiến trên thị trường, bao gồm song song tensor, song song luồng, song song trình tự, chức năng tính toán lại và giảm tải, v.v., để tạo ra một bộ giải pháp phân tán song song 4D toàn diện. Giải pháp này có thể tự động tìm ra chiến lược phân tán phù hợp nhất theo tình hình tải cụ thể, giúp giảm đáng kể việc chiếm dụng bộ nhớ trong quá trình suy luận cửa sổ dài.
** Chiến đấu với trận chiến của các mô hình lớn, được nhanh chóng **
Được thành lập vào tháng 4 năm nay, Baichuan Intelligence gần như có thể nói là một startup mô hình quy mô lớn với tốc độ lặp lại công nghệ nhanh nhất trong ngành. Chỉ trong nửa năm kể từ khi thành lập, công ty đã phát hành bốn mô hình thương mại mã nguồn mở và miễn phí, Baichuan-7B / 13B và Baichuan2-7B / 13B, cũng như hai mô hình nguồn đóng, Baichuan-53B và Baichuan2-53B.
Trung bình, một mô hình lớn mới được phát hành mỗi tháng.
Loạt mô hình lớn Baichuan tích hợp các công nghệ hiểu ý định, truy xuất thông tin và học tăng cường, kết hợp với tinh chỉnh có giám sát và căn chỉnh ý định của con người, và thực hiện tốt trong các lĩnh vực trả lời câu hỏi kiến thức và tạo văn bản. Các mô hình lớn này cũng được ưa chuộng trong ngành vì khả năng của chúng: số lượt tải xuống tích lũy của loạt mô hình nguồn mở Baichuan trong các cộng đồng nguồn mở lớn đã vượt quá 6 triệu; Baichuan 2 đi trước Llama 2 về mọi mặt, dẫn đầu sự phát triển của hệ sinh thái nguồn mở của Trung Quốc.
Vào ngày 31 tháng 8, Baichuan Intelligent đã đi đầu trong việc thông qua "Các biện pháp tạm thời để quản lý các dịch vụ trí tuệ nhân tạo phát sinh", và là công ty mô hình quy mô lớn duy nhất được thành lập trong năm nay trong số 8 công ty đầu tiên. Vào ngày 25 tháng 9, Baichuan Intelligent đã mở giao diện API Baichuan, chính thức bước vào lĩnh vực To B và bắt đầu quá trình thương mại hóa.
Có thể nói, từ nghiên cứu phát triển công nghệ đến hạ cánh, tốc độ của Bạch Xuyên đều đủ nhanh.
Baichuan2-192K vừa được phát hành đã chính thức bắt đầu thử nghiệm beta kín và sẽ mở cửa cho các đối tác cốt lõi dưới dạng lệnh gọi API. Baichuan cho biết họ đã đạt được sự hợp tác với các công ty luật và truyền thông tài chính, đồng thời áp dụng các khả năng bối cảnh dài hàng đầu của Baichuan2-192K cho các tình huống cụ thể như truyền thông, tài chính và luật, và sẽ sớm được cung cấp cho người dùng doanh nghiệp dưới dạng các cuộc gọi API và triển khai tư nhân hóa.
Sau khi được mở hoàn toàn dưới dạng API, Baichuan2-192K có thể được tích hợp sâu với một số lượng lớn các kịch bản dọc, đóng vai trò trong công việc, cuộc sống và học tập của mọi người, đồng thời giúp người dùng trong ngành nâng cao hiệu quả đáng kể. Baichuan2-192K có thể xử lý và phân tích hàng trăm trang tài liệu cùng một lúc, đây là một trợ giúp rất lớn cho các tình huống trong thế giới thực như tóm tắt tài liệu dài, xem xét tài liệu dài, viết bài hoặc báo cáo dài và hỗ trợ lập trình phức tạp.
Đối mặt với khoảng cách với OpenAI, Wang Xiaochuan thừa nhận rằng thực sự có một khoảng cách giữa chúng ta và OpenAI về mặt lý tưởng, mục tiêu của OpenAI là khám phá trần của trí thông minh, và họ thậm chí hy vọng sẽ thiết kế một công nghệ kết nối 10 triệu GPU với nhau. Tuy nhiên, về mặt ứng dụng, chúng ta đang đi nhanh hơn Hoa Kỳ, và ứng dụng và kinh nghiệm sinh thái tích lũy trong kỷ nguyên Internet có thể khiến chúng ta đi nhanh hơn và xa hơn, vì vậy khái niệm Baichuan để tạo ra một mô hình lớn được gọi là "** Một bước chậm hơn trên lý tưởng, ba bước nhanh hơn trên mặt đất **".
Từ quan điểm này, Baichuan2-192K là một phần mở rộng của khái niệm này và cửa sổ bối cảnh dài nhất thế giới chắc chắn sẽ đẩy nhanh quá trình công nghệ mô hình lớn thông minh Baichuan.