Bản thảo đầu tiên của bài viết này được hoàn thành trong lúc đang câu cá vào một ngày nghỉ cuối tháng 8. Sau khi đăng vội, tôi nhận được rất nhiều lời góp ý nên tác giả đã bổ sung, sửa đổi và xóa một số nội dung để tránh khiến mọi người cười chê.
Nội dung bài viết này chủ yếu đánh giá hiện trạng của ngành AI từ góc độ đầu tư, phản ánh và phỏng đoán về lộ trình công nghệ/sản phẩm của các công ty khác nhau và tóm tắt một cách trừu tượng chiến lược của các công ty trong ngành AI. Do đó, chắc chắn sẽ có một số thiếu sót khi nói đến các công nghệ cụ thể, vì vậy hãy thông cảm cho tôi.
Nhưng xét cho cùng, các công ty lớn có thể xuất bản các bài báo vẫn mâu thuẫn với nhau và dường như không ai có thể đánh giá được tính chính xác của nội dung bài viết này. Cũng giống như việc chấm điểm GPT-3.5 bằng GPT-4, nó có vẻ hợp lý, nhưng khi nghĩ về nó thì hơi trừu tượng.
Vì vậy, tác giả khuyến nghị nên coi bài viết này như một “bản án” được hình thành sau khi thu thập thông tin về những ngành chưa chắc chắn. Vì là phán đoán nên lập trường phải rõ ràng và phát biểu phải có ý nghĩa. Còn việc đúng hay sai thì hãy để thời gian kiểm chứng.
Tác giả luôn tin rằng các ngành công nghiệp mới ồn ào nên việc vận dụng trí óc nhiều hơn và dám đưa ra phán đoán luôn là điều đúng đắn. Đối với các câu hỏi đúng-sai, tỷ lệ đoán mù đúng là 50%, xác suất đoán sai ba lần liên tiếp là 12,5%, dù là mức độ phán đoán tung đồng xu cũng rất có ý nghĩa. Phán đoán không có gì đáng sợ, điều đáng sợ nhất là độ chính xác của phán đoán còn thấp hơn việc ném đồng xu.
Trước khi chính thức bắt đầu bài viết này, tôi muốn cảm ơn những người sau đây vì công việc của họ, những người đã cung cấp nguồn cảm hứng và dữ liệu quý giá cho bài viết này. Tất nhiên, vì nhiều suy luận trong bài viết này đều dựa trên các tác phẩm này nên nếu có sai sót hoặc cách hiểu của tác giả sai thì các suy luận trong bài viết này sẽ không còn chắc chắn và yêu cầu độc giả tự đánh giá. Bài viết này không cấu thành lời khuyên đầu tư và hầu như không cấu thành lời khuyên đầu tư.
Trung tâm chuỗi tư duy: Nỗ lực không ngừng để đo lường hiệu suất suy luận của các mô hình ngôn ngữ lớn（
LIMA: Ít hơn là nhiều hơn cho sự liên kết（
Tháng 6 năm 2023, Đánh giá giai đoạn điều chỉnh hướng dẫn（
Kiến trúc GPT-4, Cơ sở hạ tầng, Tập dữ liệu đào tạo, Chi phí, Tầm nhìn, MoE（
Được rồi, hãy chính thức bắt đầu bài viết này.
Mô hình lớn: Phóng tên lửa điện tử
Bước đầu tiên khi thảo luận về AI vào năm 2023 là thảo luận xem liệu hoạt động kinh doanh theo mô hình lớn có còn có thể thực hiện được hay không.
Mô hình lớn (pre-training) nay đã được chuyển thành bài toán phóng tên lửa, chỉ cần bắt lửa và hướng đúng thì ai cũng có thể làm được. Có thể nói, việc đào tạo những mô hình lớn cũng giống như phóng tên lửa mạng.
Một điều phản trực giác là các nhà đầu tư đánh giá thấp độ khó của việc huấn luyện các mô hình lớn nhưng lại đánh giá quá cao độ khó của việc phóng tên lửa thật. Với cùng chi phí 60 triệu USD, các nhà đầu tư sẽ nghĩ rằng có khả năng lần thứ hai phóng tên lửa thất bại, trong khi việc không huấn luyện được một mô hình lớn bị coi là lãng phí tiền bạc.
GPT-4 vẫn tiêu tốn 60 triệu USD vào hiệu quả sử dụng GPU của OpenAI (được báo cáo là khoảng 30%). Đây là câu hỏi về {hiệu suất=hiệu quả×chi phí} và hiệu suất là một bức tường. Nếu các công ty khởi nghiệp khác không thể đạt được hiệu quả hiệu suất lớn hơn 30% × 60 triệu = 18 triệu đô la Mỹ, thì người dùng cũng có thể sử dụng GPT-4 trực tiếp.
Hiện tại, các vòng cấp vốn của nhiều công ty tuyên bố đào tạo các mô hình lớn nằm trong khoảng từ 1 triệu đến 5 triệu đô la Mỹ. Nói cách khác, ngay cả những công ty có nguồn tài chính lớn nhất cũng chỉ có đủ đạn dược để hỗ trợ một lần phóng. Và ngay cả khi mức sử dụng GPU của lần ra mắt này đạt 100% thì cũng khó có thể vượt qua GPT-4.
Từ góc độ này, tốt hơn là nên phóng tên lửa, vì hầu hết tên lửa đều là phương tiện phóng, mang vệ tinh lên bầu trời và tải trọng đơn lẻ có hạn nên các công ty tên lửa nhỏ có thể nhận đơn đặt hàng vệ tinh mà các công ty khác không có thời gian phóng.
Các mô hình lớn thì khác, chi phí biên của việc mở rộng theo chiều ngang của các mô hình lớn chỉ là chi phí sức mạnh tính toán, và chi phí sức mạnh tính toán có thể được mở rộng một cách linh hoạt, có nghĩa là đối với các công ty mô hình lớn, lợi nhuận của mỗi đơn hàng là lợi nhuận miễn phí. , hầu như không có chi phí bổ sung và năng lực đảm nhận rất lớn. Đối với những công ty mô hình lớn mới thành lập, chất lượng kém, khó có thể tiếp nhận nhu cầu tràn.
Trừ khi chi phí đào tạo giảm đi đáng kể, ngay cả khi biết được kiến trúc đầy đủ của GPT-4, nhiều công ty sẽ khó tạo ra một mô hình lớn có thể đưa ra thị trường trong thời gian ngắn.
Tùy chỉnh: Đối mặt với vấn đề “kẻ thắng được tất cả”
Trong ngành công nghiệp phần cứng, một hiện tượng phổ biến là đạt được lợi nhuận sớm thông qua các yêu cầu tùy chỉnh, sau đó đạt được những đột phá về công nghệ (hoặc sự hợp tác) thông qua lợi nhuận sớm. Tuy nhiên, việc tùy chỉnh trong ngành công nghiệp mô hình lớn khó có thể là lối thoát cho những người mới tham gia.
Về nhận định này, lời giải thích rất đơn giản: đại đa số các mẫu tinh chỉnh không thể đuổi kịp GPT-4, cho dù có đuổi kịp thì việc trực tiếp sử dụng GPT-4 để khái quát hóa sẽ rẻ hơn, cần ít nhân sự hơn và ít may mắn hơn. . Yêu cầu về dữ liệu ít hơn. Chừng nào vẫn còn tồn tại khoảng cách về hiệu suất vượt trội giữa GPT-4 và các mẫu khác, thì việc tùy chỉnh không thể là lối thoát cho các công ty mô hình lớn.
Một ví dụ rất điển hình là Jasper sử dụng GPT-3 đã được tinh chỉnh để phục vụ khách hàng doanh nghiệp, tuy nhiên sau khi OpenAI ra mắt ChatGPT (GPT-3.5), người dùng của nó đã nhanh chóng mất đi. Bởi vì đầu ra của Jasper có thể thu được bằng cách chỉ cần nhập GPT-3.5 mà không cần sử dụng "phiên bản lạc hậu" có tính khái quát kém và bị giới hạn trong sử dụng nội bộ.
So với các công ty mới, ít nhất Jasper cũng có khoảng thời gian phát triển từ GPT-3 đến GPT-3.5. Tuy nhiên, các công ty mới hiện cần phải đối mặt với sự siết chặt của GPT-3.5 chi phí thấp, tốc độ cao và GPT-4 hiệu suất cao cùng một lúc.
Vì vậy, khả năng sống sót của việc hy vọng tích lũy lợi nhuận thông qua việc tùy chỉnh để đạt được những đột phá về công nghệ là rất thấp.
Tinh chỉnh: Cần thiết, đừng mê tín
Ngành công nghiệp AI hiện tại có một kỳ vọng không thực tế về việc tinh chỉnh, được đánh giá quá cao cả về việc triển khai kỹ thuật cụ thể và nhịp điệu kỹ thuật ở cấp độ vĩ mô.
Việc tinh chỉnh hiện đang được thảo luận trong ngành chủ yếu đề cập đến việc “dựa trên mô hình được đào tạo trước, để nó có thể tạo ra các câu trả lời phù hợp với ý định của con người”. Kiểu tinh chỉnh này có thể được gọi là "căn chỉnh", tức là căn chỉnh các câu trả lời theo ý định của con người, thay vì bổ sung trí thông minh vào mô hình lớn.
Theo kết quả nghiên cứu của nhiều bài báo, kiến thức về các mô hình lớn chủ yếu nên được đào tạo trước, trong khi việc tinh chỉnh được sử dụng nhiều hơn cho việc căn chỉnh.
Giải thích đơn giản là việc đào tạo trước quyết định kích thước não, còn việc tinh chỉnh quyết định ngôn ngữ mẹ đẻ. Tinh chỉnh mô hình được đào tạo trước là một quá trình “xóa mù chữ”.
Tuy nhiên, tinh chỉnh thường được ngành công nghiệp xem như một phương pháp "thêm trí thông minh" vào mô hình, tức là cải thiện hiệu suất của mô hình và nâng cao kiến thức về mô hình thông qua tinh chỉnh. Người ta tin rằng bằng cách này, "Chén Thánh" của trí tuệ nhân tạo" có thể đạt được. Dòng suy nghĩ này có phần thiên vị.
Trước hết, bản thân hiệu suất của mô hình không được cải thiện nhưng nó có thể điều chỉnh ý định của con người tốt hơn, nếu độ phức tạp của nhiệm vụ vượt quá hiệu suất của mô hình thì việc tinh chỉnh sẽ không mang lại kết quả như mong đợi. Nó giống như việc bắt bộ não con người thực hiện các phép tính lượng tử, nếu không làm được thì không phải là vấn đề giáo dục.
Thứ hai, tác dụng “bổ sung kiến thức” ở phần “sắp xếp ý định” giống với “học vẹt” hơn. Nghĩa là: người mẫu chỉ bắt chước lời nói của chuyên gia mà không hiểu ý nghĩa. Mặc dù nhiều ngành có thể có được giải pháp tốt bằng cách “vẹt” (xét cho cùng, hầu hết các ngành đều không phức tạp…) nhưng rõ ràng đây không phải là kết quả chúng ta nên theo đuổi lâu dài.
Cuối cùng, việc đào tạo “bổ sung bộ dữ liệu bổ sung, cải thiện hiệu suất mô hình và nâng cao kiến thức mô hình” nên được coi là mô hình có khả năng “học tăng dần/học liên tục”, nghĩa là tất cả các tham số của mô hình đều có thể được xử lý thông qua tối ưu hóa tập dữ liệu gia tăng. Đây không phải là một khái niệm cùng loại với cái gọi là "tinh chỉnh hướng dẫn".
Nói chung việc tinh chỉnh rất quan trọng, nhưng thật sai lầm khi có thái độ “mê tín” đối với việc tinh chỉnh hiện tại, đặc biệt là việc vội vàng phong ấn việc tinh chỉnh hiện tại như Chén Thánh, khá là “trên dinh thự”. của vật lý ngày nay “Chỉ có hai đám mây đen đang trôi nổi”.
Lùi lại một bước, nếu nhu cầu “tăng cường trí tuệ” thực sự có thể được giải quyết thông qua việc tinh chỉnh các hướng dẫn, bằng cách thực hiện tìm kiếm vectơ đơn giản, đưa kiến thức trực tiếp vào ngữ cảnh và chỉ cần viết một vài mẫu, thì đó là một kết quả cao. xác suất mà chúng ta có thể đạt được kết quả tương tự hoặc thậm chí tốt hơn.
Mọi người đều thích tinh chỉnh, có lẽ đây là một loại hồi sinh kỹ năng luyện kim ở thời hiện đại...
Triển vọng cho các mô hình lớn: Bốn phép tính số học
(Lưu ý rằng phần nội dung này hoàn toàn dựa trên dữ liệu do Dylan Patel tiết lộ và chưa thể xác minh độ tin cậy)
Việc đào tạo GPT-4 dựa trên thẻ A series N, hiệu quả đào tạo là 30%, thời gian đào tạo khoảng 2 tháng, chi phí khoảng 60 triệu và tổng thông số là { 1,7 nghìn tỷ = 110 tỷ × 16 mô hình chuyên gia}. Thông số khoảng 280 tỷ.
Nói cách khác, có một số tham số chính sẽ dẫn đến những thay đổi trong mô hình huấn luyện mô hình lớn.
Hiệu quả đào tạo: tăng từ 30% lên 60% có thể trực tiếp rút ngắn thời gian gấp đôi
Cường độ sức mạnh tính toán tăng lên: Sau khi thay đổi từ dòng A sang dòng H rồi sang thẻ chuyên dụng AI, mật độ sức mạnh tính toán được cải thiện và có thể giải quyết được nhiều vấn đề ảnh hưởng đến hiệu quả của kiến trúc
Chi phí sức mạnh tính toán đã giảm: Lao Huang (người sáng lập Nvidia) giảm giá card đồ họa, giá thành giảm đáng kể
Cải thiện hiệu suất tham số: Có chỗ cần cải thiện về hiệu suất tham số của mô hình. Nhắc lại trước đây, hiệu suất tham số của mô hình mới thường có thể được cải thiện nhiều lần so với mô hình cũ, có thể sử dụng 30%. của các thông số của GPT-4 để đạt được hiệu quả tương tự.
Tóm lại, chi phí đào tạo một mô hình có hiệu suất cấp GPT-4 từ 0 có thể gấp 10 đến 20 lần không gian tối ưu hóa, nghĩa là nó có thể được nén xuống còn 3 triệu đến 6 triệu USD. hiệu quả cho các công ty khởi nghiệp và các công ty lớn, được chấp nhận nhiều hơn.
Và sự thay đổi này có thể mất khoảng 2 năm mới hoàn thành.
Hiện tại, công nghệ mô hình lớn chủ đạo vẫn dựa trên máy biến áp, cơ sở hạ tầng không thay đổi, ý tưởng tinh chỉnh thuật giả kim và thêm thông số để tạo ra phép màu vẫn chưa cạn kiệt. Việc đào tạo GPT-4 được thực hiện trên cơ sở khả năng tính toán rất hạn chế và thời gian đào tạo không đủ dài.
Nếu các tham số tăng tuyến tính theo thời gian đào tạo, giới hạn trên của tham số cho một mô hình có kiến trúc tương tự GPT-4 có thể là khoảng 10 nghìn tỷ, tức là: thời gian đào tạo gấp đôi (× 2) và số lượng card đồ họa song song nhiều gấp đôi ( × 2), hiệu quả huấn luyện nhanh bằng một nửa (× 1,5), hiệu suất tham số cao bằng một nửa (× 1,5) và kết quả cuối cùng tốt hơn gấp mười lần. Theo phong cách chấp nhận rủi ro của Thung lũng Silicon, khả năng cao thông số này sẽ đạt được trong vòng một năm, bất kể hiệu suất có được cải thiện hay không.
Tuy nhiên, sau khi đạt tới 10 nghìn tỷ thông số, hoàn toàn không biết liệu LLM có còn sử dụng ý tưởng tăng thông số để đạt được điều kỳ diệu hay không.
Nếu số lượng tham số cải thiện hiệu suất mô hình ở mức giảm dần thì 10 nghìn tỷ có thể sẽ là một trở ngại. Tuy nhiên, cũng có giả thuyết cho rằng mức độ cải thiện hiệu suất của mô hình theo số lượng tham số đang tăng nhẹ, tương tự như “nếu một người đủ thông minh, anh ta có thể học mọi thứ nhanh chóng”. Cái trước thì ổn, nếu cái sau đúng thì hiệu suất của mô hình có thể tăng theo cấp số nhân và điều gì sẽ xảy ra vào thời điểm đó sẽ hoàn toàn không thể đoán trước được.
Thật khó để dự đoán thuật giả kim, nhưng rất dễ để dự đoán nhịp điệu chiến lược của công ty. Đối với hầu hết các doanh nghiệp, cho dù đó là một gã khổng lồ như Google/MS/APPL hay OpenAI nhỏ hơn, một mô hình có tổng tham số 10 nghìn tỷ là điểm cuối quan trọng, có thể được sử dụng để dừng và thực hiện một số vị trí khám phá kỹ thuật.
Sở thích rủi ro của doanh nghiệp/vốn có thể quy thành “thời gian chịu đựng”, nếu toàn bộ thời gian chịu đựng là đốt cháy chi phí mạnh mẽ thì khó có thể vượt quá 6 tháng. Nghề thủ công của con người không phát triển đủ nhanh, thường theo chu kỳ từ 5 năm trở lên. Do đó, trong vòng 5 năm, số lượng tham số giới hạn của mô hình có thể được ước tính là từ 20 nghìn tỷ đến 50 nghìn tỷ. Trừ khi có một bước đột phá lớn trong quy trình/kiến trúc xảy ra lần nữa, nếu không khả năng vượt quá mức độ này là rất thấp.
Đa phương thức: Con voi trong phòng
Đa phương thức là con voi trong phòng và có thể ảnh hưởng sâu sắc đến cảnh quan của đường đua.
Định nghĩa đơn giản về đa phương thức là: hỗ trợ đầu vào và đầu ra của nhiều thông tin phương thức. Định nghĩa này rất lỏng lẻo, chẳng hạn như một số sản phẩm trên thị trường tuyên bố có thể thực hiện đầu vào đa phương thức thực chất là một lớp OCR bên ngoài ChatBot. Cũng có những mô hình đáp ứng đầy đủ định nghĩa về đa phương thức, nhưng hiệu suất của chúng thật đáng thất vọng. Ngay cả khả năng nhập hình ảnh đa phương thức của GPT-4 vẫn chưa được mở rộng, có thể thấy chức năng này chưa ổn định cho lắm.
Tuy nhiên, việc phát hành đa phương thức không còn xa nữa. Có khả năng cao là GPT-5 vốn đã hỗ trợ đa phương thức, tức là nó cần thiết kế lại cấu trúc và đào tạo lại. Theo lý luận trước đó, các tham số của mô hình lớn vẫn có khả năng tăng trưởng từ 10 đến 50 lần và chỉ cần đưa khả năng đa phương thức vào đó là đủ. Vì vậy, có thể kỳ vọng rằng các mẫu xe đa phương thức có tính sẵn sàng cao và hiệu suất cao sẽ xuất hiện trong vòng 2 năm tới, nếu lạc quan thì sẽ là gần 1 năm.
Đa phương thức là con voi trong phòng, mọi người đều biết rằng cuối cùng sẽ có thứ gì đó như thế này, nhưng nhiều sản phẩm/nghiên cứu/chiến lược đã bỏ qua sự tồn tại của nó, do đó có những đánh giá sai lầm ở những bộ phận quan trọng.
Ví dụ, về mặt lý thuyết, các mô hình đơn hình ảnh có thể bị áp bức nghiêm trọng bởi các mô hình đa phương thức, nhưng hầu hết các nghiên cứu/đầu tư hiện đều bỏ qua vấn đề này, dẫn đến việc định giá quá cao một số công ty tập trung vào hình ảnh. Các công ty này có khả năng sẽ mất đi các rào cản kỹ thuật và chuyển đổi thành nhà cung cấp dịch vụ trong tương lai, hệ thống định giá của họ nên hướng đến các nhà cung cấp dịch vụ hơn là các công ty công nghệ.
Nếu muốn kể câu chuyện “đầu tư tùy vào con người, cùng một tập thể mới có thể chuyển đổi kinh doanh” thì tôi không nói. Truyền thuyết luôn ở đó, nhưng bạn không thể tin vào truyền thuyết khi nghiên cứu.
##Ai có thể huấn luyện GPT-4: Bạn có thể, nhưng không cần thiết
Việc tinh chế thuốc tiên không mất nhiều thời gian và các công ty lớn đang mua card đồ họa. Một điều rất rõ ràng là một năm nữa, các công ty lớn sẽ có thể đào tạo các mô hình cấp GPT-4. Nhưng có nên tập luyện hay không lại là một câu hỏi khác.
Trong lĩnh vực game có một đề xuất kinh điển gọi là “Yuanshin chơi Yuanshen”, đó là: khi người chơi có thể chọn chơi Yuanshen hoặc sản phẩm cạnh tranh của Yuanshen, nếu sản phẩm cạnh tranh không tốt bằng Yuanshen thì chơi Original God .
Cách tiếp cận “người thắng có tất cả” này cũng được áp dụng cho ngành công nghiệp mô hình quy mô lớn. Nếu một công ty đi theo OpenAI, sau nửa năm nghiên cứu và phát triển, họ sẽ tung ra mẫu lớn của riêng mình với hiệu suất 90% sánh ngang với GPT-4, với hy vọng đưa được ra thị trường. Lúc này công ty sẽ gặp phải những vấn đề sau:
OpenAI có lợi thế về quy mô về tài nguyên đám mây và chi phí thấp hơn
API của OpenAI đã được sử dụng rộng rãi trong các mã sản phẩm và rất khó để thay thế.
Hiệu suất sản phẩm của công ty vẫn không vượt quá GPT-4
Sản phẩm thế hệ tiếp theo của OpenAI (có thể là GPT-5) sẽ sớm ra mắt
Có thể thấy công ty đang phải chịu áp lực rất lớn. Thay vì đào tạo GPT-4, tốt hơn hết bạn nên đặt cược trực tiếp vào mẫu xe thế hệ tiếp theo (so với GPT-5). Khi đó bài toán sẽ chuyển từ “vấn đề sản phẩm cạnh tranh tương tự” sang “vấn đề đổi mới công nghệ”. Đây là gánh nặng mà các công ty nhỏ không thể gánh nổi.
Vì vậy, bàn luận “ai có thể huấn luyện GPT-4” là một câu hỏi chết về mặt chiến lược, thay vì nghĩ đến vấn đề này, tốt hơn hết hãy tìm một hướng đi chắc chắn và có cơ hội hơn.
Lời khuyên cho startup AI: Đặt hiệu suất lên hàng đầu, tránh trì trệ
Tác giả đã viết nhiều bài phàn nàn về langchain, nguyên nhân cơ bản là langchain không chừa chỗ cho các nhà phát triển cải thiện hiệu suất. Nó được gọi là "khung phổ quát". Để đảm bảo tính tổng quát, nhiều cải tiến về hiệu suất của các mô hình lớn đã bị loại bỏ, chẳng hạn như kiểm soát định dạng đạt được bằng nhiều vòng đối thoại và tinh chỉnh. Những cái tương tự bao gồm hướng dẫn/Auto-GPT/BabyAGI, v.v., tất cả đều muốn xây dựng một "khuôn khổ có thể tồn tại suốt đời".
Một thực tế khách quan là OpenAI đã phát hành Function Calling vào tháng 5. Nhiều chỗ rắc rối trong mã có giải pháp triển khai tốt hơn và chi phí để triển khai các giải pháp tốt hơn là xây dựng lại các phần chính của mã sản phẩm. Vào tháng 8, OpenAI đã phát hành quyền tinh chỉnh GPT-3.5 và nhiều liên kết yêu cầu kiểm soát đầu ra chính xác có các giải pháp tiềm năng mới.
Vì vậy, các công ty khởi nghiệp phải đứng trước một lựa chọn quan trọng: nên chọn ①cải thiện hiệu suất và liên tục tái cấu trúc sản phẩm, hay ②giảm sử dụng các tính năng mới và luôn sử dụng các tính năng cũ để phát triển?
Đối với hoạt động kinh doanh ứng dụng công nghệ mới, “phát triển” không chỉ thể hiện quá trình viết mã mà còn thể hiện “giới hạn trên” của chức năng/chiến lược sản phẩm. Hiệu suất có thể được kiểm soát càng cao thì sản phẩm càng có nhiều chức năng lý thuyết và tính linh hoạt chiến lược của nó càng cao.
Sự phát triển của công nghệ không thể đoán trước được, những đổi mới công nghệ nhỏ có thể mang lại những thay đổi rất nhạy cảm trong bối cảnh cạnh tranh, các công ty khởi nghiệp cần có khả năng chống lại sự mong manh trước sự phát triển của công nghệ.
---Theo cách nói của con người: ưu tiên cho việc thực hiện và tránh dừng lại. Ở cấp độ phát triển, hãy sử dụng nhiều tính năng mới hơn; về mặt sản phẩm, hãy suy nghĩ về những chức năng mà các tính năng mới có thể thực hiện; về mặt chiến lược, hãy xem xét tác động của các tính năng mới đối với chiến lược.
Trong "Guo Qin Lun", có đề cập rằng sau khi thành lập nhà Tần, vũ khí kim loại trên thế giới đã bị tịch thu và đúc thành mười hai tượng đồng để loại bỏ khả năng xảy ra dân nổi dậy. Nhưng triều đại nhà Tần nổi tiếng là tồn tại trong thời gian ngắn. Sẽ có ích hơn khi chú ý đến những thay đổi hơn là bỏ qua chúng.
Lời khuyên cho các công ty khởi nghiệp AI: Tự tin tạo ứng dụng
Có một mối nguy tiềm ẩn rất thường gặp khi các công ty khởi nghiệp phát triển ứng dụng: sự gia nhập của các công ty lớn. Các công ty lớn ở đây không chỉ bao gồm những gã khổng lồ về ứng dụng, chẳng hạn như Meta/Byte/Tencent, v.v., mà còn bao gồm cả những công ty đi đầu trong ngành AI, chẳng hạn như OpenAI.
Thông thường có hai lý do khiến các công ty lớn tham gia thị trường: để phát triển các cơ hội sản phẩm và di chuyển lên thượng nguồn và hạ nguồn.
"Bố trí cơ hội sản phẩm" là nghĩa đen, các công ty lớn cảm thấy hướng đi này đáng theo đuổi nên họ thực hiện.
“Cắt ngược dòng và hạ nguồn” hầu hết là một bước đi bất lực. Có thể là do chúng tôi đã phát triển một mô hình lớn có thể sánh ngang với OpenAI. Tuy nhiên, do vấn đề kẻ thắng được tất cả của các mô hình lớn nên không có người dùng, dẫn đến đốt chi phí, không có doanh thu, không có dữ liệu, từ đó dẫn đến Hiệu suất dần bị tụt lại phía sau. Tại thời điểm này, đi sâu vào hạ nguồn, phát triển các ứng dụng cụ thể và sử dụng công nghệ của riêng bạn là những lựa chọn duy nhất.
Theo kinh nghiệm lịch sử, do các vấn đề về cơ cấu tổ chức, công ty càng gần hạ nguồn thì càng có nhiều khả năng công nghệ của họ bị tụt lại phía sau, và công nghệ càng tụt hậu thì càng phải làm việc ở hạ nguồn. Những cái gọi là công ty công nghệ này cuối cùng sẽ cạnh tranh trong cùng một phân khúc sinh thái với các công ty về lớp ứng dụng.
Tuy nhiên, trong chiến trường lớp ứng dụng, do công nghệ AI chỉ mới xuất hiện được một thời gian ngắn nên chưa có lợi thế về quy mô hiệu quả và có thể tái sử dụng, xuất phát điểm của các công ty lớn và các công ty khởi nghiệp là tương tự nhau. So với các công ty lớn, các công ty khởi nghiệp hoạt động hiệu quả hơn và có những hiểu biết sâu sắc hơn, dễ dàng tận dụng hơn.
Một tình huống đáng chú ý là hầu hết các tài liệu quảng cáo của MS Azure hiện nay đều xoay quanh OpenAI, nhưng một nhà máy lớn như Microsoft lại hoàn toàn dựa vào OpenAI làm nền tảng, điều này chứng tỏ các công ty khởi nghiệp có lợi thế tự nhiên trong lĩnh vực AI.
Tất nhiên, một số nhà cung cấp dịch vụ đám mây có thể không chấp nhận được việc bị dẫn dắt bởi các công ty khởi nghiệp và muốn tự mình chiếm hết thị trường. Nó đắt tiền, chậm và không phải là mối đe dọa ngay lập tức.
Thực tế là thực sự có một số lộ trình tồn tại trong thời gian ngắn dành cho các ứng dụng AI, nhưng vẫn còn nhiều lộ trình tồn tại lâu dài vẫn chưa được khám phá và các ứng dụng AI không phải là người chiến thắng tất cả. Mở rộng từ ứng dụng sang nền tảng hay công nghệ cũng là một con đường khả thi hơn.
Vì vậy, chúng ta nên có cái nhìn hợp lý về khả năng các công ty lớn xâm chiếm lớp ứng dụng. Đề xuất của chúng tôi là các công ty khởi nghiệp AI có thể tự tin tạo ra các ứng dụng.
Lời khuyên dành cho startup AI: Hãy chú ý đến vòng đời sản phẩm
Như đã đề cập trước đó, các công ty khởi nghiệp AI có thể tạo ra các ứng dụng một cách an toàn, nhưng họ phải xem xét hiệu suất của mô hình AI và tránh ở lại. Tình trạng này được thể hiện trực tiếp ở chỗ các sản phẩm AI có thể mất đi nhu cầu và dần cạn kiệt trong vòng vài tháng, và tình trạng này có thể xảy ra thường xuyên.
Các ứng dụng AI cần sử dụng dịch vụ của các mô hình lớn và hiệu suất của các mô hình lớn tiếp tục được cải thiện. Sự cải tiến này không phải là sự cải thiện ở một khía cạnh duy nhất như "tốc độ", mà là sự thay đổi về mọi mặt như chất lượng đầu ra, độ dài đầu ra và khả năng kiểm soát đầu ra. Mỗi sự nâng cấp đáng kể về công nghệ sẽ khiến các sản phẩm lớp ứng dụng hiện có bị tụt hậu về mặt công nghệ và tạo ra những cơ hội, đối thủ cạnh tranh mới.
**Chúng tôi gọi thời điểm mà các ứng dụng AI duy trì được lợi thế và sự cần thiết trong chiến lược/sản phẩm/công nghệ là “huyết mạch”. **
Dưới đây là một số ví dụ với vòng đời ngắn hơn:
Khi ChatGPT/Claude hỗ trợ tải lên tệp, ChatPDF sẽ không còn cần thiết nữa
Khi Office 365 hỗ trợ Copilot, các sản phẩm sử dụng AI để vẽ PPT sẽ mất đi ưu điểm
Jasper không còn cần thiết khi GPT-3.5 ra mắt
**Xét đến sự phát triển nhanh chóng của ngành công nghiệp AI, nguồn sống hạn chế là điều bình thường. Vì vậy, chấp nhận thực tế huyết mạch có hạn và cố gắng chọn hướng đi có huyết mạch dài hơn để phát triển sẽ có lợi cho việc duy trì lợi thế lâu dài và sự cần thiết của sản phẩm. **
Nói chung, vòng đời có thể được chia đơn giản thành các mức 3/6/12 tháng.
3 tháng: Các chức năng công ty lớn chưa có thời gian triển khai (như chức năng office/ChatGPT chưa có thời gian triển khai)
6 tháng: Khó triển khai và không thể tích hợp vào các giải pháp hiện có, nhưng những lợi thế/sự cần thiết sẽ biến mất khi hiệu suất AI được cải thiện (chẳng hạn như khung AI chung)
12 tháng: Ưu điểm/nhu cầu có thể tồn tại lâu dài và không dễ bị ảnh hưởng bởi các công ty lớn/sự phát triển của công nghệ (như Ôm Mặt)
*Vòng đời của sản phẩm nền tảng không nhất thiết phải dài, suy cho cùng, cửa hàng cũng là nền tảng
Một công ty khởi nghiệp khi đã xác định được hướng đi của mình thì chỉ cần có đường sống 6 tháng, đường sống 12 tháng khó có được.
Khi vòng đời sản phẩm kết thúc, thường có hai tình huống. Tình huống đầu tiên là lợi thế không còn và cần phải xây dựng lại công nghệ nâng cấp sản phẩm, vui lòng tham khảo phần "Hiệu suất đầu tiên" ở trên, tình huống thứ hai là nhu cầu không còn và sản phẩm sẽ dần được thay thế. Lúc này, sản phẩm vẫn còn vài tháng “tuổi thọ” hoạt động”, đủ để các công ty khởi nghiệp lựa chọn hướng đi tiếp theo.
Lời khuyên cho các startup AI: Web3+AI có thể làm được
Hiện tại có nhiều dự án khởi nghiệp xoay quanh chủ đề Web3+AI, tuy nhiên, xét đến tính không chắc chắn của sự phát triển công nghệ và giai đoạn đầu của thị trường, chủ đề Web3+AI sẽ vẫn còn nhiều biến động trong tương lai.
Bài viết này nhằm mục đích tìm kiếm những điều chắc chắn có xác suất đúng cao trong số những điều không chắc chắn, vì vậy, tác giả vẫn hy vọng rút ra được một số cảm hứng và đề xuất một số chủ đề, hướng đi có thể có cơ hội tham khảo cho các công ty khởi nghiệp và các nhà nghiên cứu quan tâm.
Giảm chủ quyền/phân quyền
Hiện tại, các công ty dẫn đầu trong ngành AI chỉ cung cấp các mô hình nguồn đóng và tính ổn định, minh bạch và trung lập trong việc cung cấp dịch vụ liên tục của họ là không thể kiểm soát được. Phi chủ quyền/phân cấp có thể trở thành một chủ đề quan trọng trong ngành AI, cụ thể là: dựa trên cấu trúc cơ bản của phi chủ quyền/phân cấp, để cung cấp các dịch vụ AI ổn định, minh bạch và trung lập.
Giải trừ chủ quyền/phân cấp là một "giải pháp thay thế" và "răn đe", có thể làm tăng đáng kể chi phí phi đạo đức của các công ty AI tập trung/có chủ quyền và ngăn họ sử dụng các mô hình AI trong quân sự, giáo phái, chính trị và các khía cạnh khác.
Trong những trường hợp cực đoan, một khi dịch vụ AI tập trung/có chủ quyền không còn khả dụng/đáng tin cậy vì lý do nào đó, AI phi tập trung/phi tập trung có thể tiếp tục cung cấp các dịch vụ có tính sẵn sàng cao để ngăn chặn từng quốc gia/khu vực và thậm chí cả con người khỏi bị tê liệt Dịch vụ AI.
Sử dụng thực tế sức mạnh tính toán
Đằng sau sự chuyển đổi của ETH từ PoW sang PoS là vấn đề nan giải bị chỉ trích là "khai thác không tạo ra giá trị". Sự kết hợp giữa Web3 và AI có thể cung cấp một kịch bản thực tế cho sức mạnh tính toán, từ đó hiện thực hóa việc tiêu hóa sức mạnh tính toán chứng khoán và thúc đẩy sự phát triển của tổng số điện toán quyền lực, v.v. Hiệu ứng.
Tài sản ảo
AI là tài sản có nguồn gốc từ sức mạnh tính toán và lưu trữ. Sự kết hợp giữa Web3 và AI có thể cung cấp một kênh để chuyển đổi AI thành tài sản ảo. Trong khi tạo ra giá trị của ngành AI, nó cũng có thể tạo ra tài sản ảo gốc thực sự cho Web3.
Các biến cho ứng dụng Web3
Sự kết hợp giữa Web3 và AI có thể mang lại những chức năng mới và cơ hội phát triển cho các ứng dụng Web3, đồng thời các ứng dụng Web3 hiện tại có thể được làm lại hoàn toàn.
Viết ở cuối: Bây giờ là tháng 9, liệu AI có còn đáng để khởi nghiệp không?
Hãy để tôi nói về kết luận trước: nó đáng giá và kết luận này có thể được sử dụng cho đến Tết Nguyên Đán với xác suất cao.
Mọi người thường có nhận thức thiên vị về hoàn cảnh, và tôi cũng không ngoại lệ. Một số quá lạc quan và một số quá bi quan. Tác giả từng trao đổi với hai nhóm, một nhóm cho rằng sẽ có thể sản xuất AI Agent vào quý 1 năm sau, nhóm còn lại cho rằng AI chỉ phù hợp để quản lý cơ sở tri thức. Rõ ràng, nhóm trước quá lạc quan, trong khi sau này là quá bi quan.
Khi lập kế hoạch dài hạn, lạc quan quá hoặc quá bi quan sẽ dẫn đến cạm bẫy, và những nhận xét được lưu truyền rộng rãi thường là những nhận xét mang tính thiên vị cao, khiến tư duy độc lập trở nên vô cùng quý giá. Vì vậy, bất kể người đọc có chấp nhận được những quan điểm của bài viết này hay không, chỉ cần người đọc có tư duy và phán đoán độc lập trong quá trình đọc thì tác giả sẽ vô cùng hài lòng.
Cuối cùng, đặt một quảng cáo. Nếu bạn có một ý tưởng kinh doanh AI hay hoặc đã thành lập một dự án, vui lòng liên hệ với những người bạn NGC (chẳng hạn như tôi) bất cứ lúc nào.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
NGC Ventures: Bây giờ là tháng 9, liệu AI có đáng để bắt đầu kinh doanh ngay bây giờ không?
Tác giả gốc: Cherry, NGC Ventures
##Lời nói đầu
Bản thảo đầu tiên của bài viết này được hoàn thành trong lúc đang câu cá vào một ngày nghỉ cuối tháng 8. Sau khi đăng vội, tôi nhận được rất nhiều lời góp ý nên tác giả đã bổ sung, sửa đổi và xóa một số nội dung để tránh khiến mọi người cười chê.
Nội dung bài viết này chủ yếu đánh giá hiện trạng của ngành AI từ góc độ đầu tư, phản ánh và phỏng đoán về lộ trình công nghệ/sản phẩm của các công ty khác nhau và tóm tắt một cách trừu tượng chiến lược của các công ty trong ngành AI. Do đó, chắc chắn sẽ có một số thiếu sót khi nói đến các công nghệ cụ thể, vì vậy hãy thông cảm cho tôi.
Nhưng xét cho cùng, các công ty lớn có thể xuất bản các bài báo vẫn mâu thuẫn với nhau và dường như không ai có thể đánh giá được tính chính xác của nội dung bài viết này. Cũng giống như việc chấm điểm GPT-3.5 bằng GPT-4, nó có vẻ hợp lý, nhưng khi nghĩ về nó thì hơi trừu tượng.
Vì vậy, tác giả khuyến nghị nên coi bài viết này như một “bản án” được hình thành sau khi thu thập thông tin về những ngành chưa chắc chắn. Vì là phán đoán nên lập trường phải rõ ràng và phát biểu phải có ý nghĩa. Còn việc đúng hay sai thì hãy để thời gian kiểm chứng.
Tác giả luôn tin rằng các ngành công nghiệp mới ồn ào nên việc vận dụng trí óc nhiều hơn và dám đưa ra phán đoán luôn là điều đúng đắn. Đối với các câu hỏi đúng-sai, tỷ lệ đoán mù đúng là 50%, xác suất đoán sai ba lần liên tiếp là 12,5%, dù là mức độ phán đoán tung đồng xu cũng rất có ý nghĩa. Phán đoán không có gì đáng sợ, điều đáng sợ nhất là độ chính xác của phán đoán còn thấp hơn việc ném đồng xu.
Trước khi chính thức bắt đầu bài viết này, tôi muốn cảm ơn những người sau đây vì công việc của họ, những người đã cung cấp nguồn cảm hứng và dữ liệu quý giá cho bài viết này. Tất nhiên, vì nhiều suy luận trong bài viết này đều dựa trên các tác phẩm này nên nếu có sai sót hoặc cách hiểu của tác giả sai thì các suy luận trong bài viết này sẽ không còn chắc chắn và yêu cầu độc giả tự đánh giá. Bài viết này không cấu thành lời khuyên đầu tư và hầu như không cấu thành lời khuyên đầu tư.
Được rồi, hãy chính thức bắt đầu bài viết này.
Mô hình lớn: Phóng tên lửa điện tử
Bước đầu tiên khi thảo luận về AI vào năm 2023 là thảo luận xem liệu hoạt động kinh doanh theo mô hình lớn có còn có thể thực hiện được hay không.
Mô hình lớn (pre-training) nay đã được chuyển thành bài toán phóng tên lửa, chỉ cần bắt lửa và hướng đúng thì ai cũng có thể làm được. Có thể nói, việc đào tạo những mô hình lớn cũng giống như phóng tên lửa mạng.
Một điều phản trực giác là các nhà đầu tư đánh giá thấp độ khó của việc huấn luyện các mô hình lớn nhưng lại đánh giá quá cao độ khó của việc phóng tên lửa thật. Với cùng chi phí 60 triệu USD, các nhà đầu tư sẽ nghĩ rằng có khả năng lần thứ hai phóng tên lửa thất bại, trong khi việc không huấn luyện được một mô hình lớn bị coi là lãng phí tiền bạc.
GPT-4 vẫn tiêu tốn 60 triệu USD vào hiệu quả sử dụng GPU của OpenAI (được báo cáo là khoảng 30%). Đây là câu hỏi về {hiệu suất=hiệu quả×chi phí} và hiệu suất là một bức tường. Nếu các công ty khởi nghiệp khác không thể đạt được hiệu quả hiệu suất lớn hơn 30% × 60 triệu = 18 triệu đô la Mỹ, thì người dùng cũng có thể sử dụng GPT-4 trực tiếp.
Hiện tại, các vòng cấp vốn của nhiều công ty tuyên bố đào tạo các mô hình lớn nằm trong khoảng từ 1 triệu đến 5 triệu đô la Mỹ. Nói cách khác, ngay cả những công ty có nguồn tài chính lớn nhất cũng chỉ có đủ đạn dược để hỗ trợ một lần phóng. Và ngay cả khi mức sử dụng GPU của lần ra mắt này đạt 100% thì cũng khó có thể vượt qua GPT-4.
Từ góc độ này, tốt hơn là nên phóng tên lửa, vì hầu hết tên lửa đều là phương tiện phóng, mang vệ tinh lên bầu trời và tải trọng đơn lẻ có hạn nên các công ty tên lửa nhỏ có thể nhận đơn đặt hàng vệ tinh mà các công ty khác không có thời gian phóng.
Các mô hình lớn thì khác, chi phí biên của việc mở rộng theo chiều ngang của các mô hình lớn chỉ là chi phí sức mạnh tính toán, và chi phí sức mạnh tính toán có thể được mở rộng một cách linh hoạt, có nghĩa là đối với các công ty mô hình lớn, lợi nhuận của mỗi đơn hàng là lợi nhuận miễn phí. , hầu như không có chi phí bổ sung và năng lực đảm nhận rất lớn. Đối với những công ty mô hình lớn mới thành lập, chất lượng kém, khó có thể tiếp nhận nhu cầu tràn.
Trừ khi chi phí đào tạo giảm đi đáng kể, ngay cả khi biết được kiến trúc đầy đủ của GPT-4, nhiều công ty sẽ khó tạo ra một mô hình lớn có thể đưa ra thị trường trong thời gian ngắn.
Tùy chỉnh: Đối mặt với vấn đề “kẻ thắng được tất cả”
Trong ngành công nghiệp phần cứng, một hiện tượng phổ biến là đạt được lợi nhuận sớm thông qua các yêu cầu tùy chỉnh, sau đó đạt được những đột phá về công nghệ (hoặc sự hợp tác) thông qua lợi nhuận sớm. Tuy nhiên, việc tùy chỉnh trong ngành công nghiệp mô hình lớn khó có thể là lối thoát cho những người mới tham gia.
Về nhận định này, lời giải thích rất đơn giản: đại đa số các mẫu tinh chỉnh không thể đuổi kịp GPT-4, cho dù có đuổi kịp thì việc trực tiếp sử dụng GPT-4 để khái quát hóa sẽ rẻ hơn, cần ít nhân sự hơn và ít may mắn hơn. . Yêu cầu về dữ liệu ít hơn. Chừng nào vẫn còn tồn tại khoảng cách về hiệu suất vượt trội giữa GPT-4 và các mẫu khác, thì việc tùy chỉnh không thể là lối thoát cho các công ty mô hình lớn.
Một ví dụ rất điển hình là Jasper sử dụng GPT-3 đã được tinh chỉnh để phục vụ khách hàng doanh nghiệp, tuy nhiên sau khi OpenAI ra mắt ChatGPT (GPT-3.5), người dùng của nó đã nhanh chóng mất đi. Bởi vì đầu ra của Jasper có thể thu được bằng cách chỉ cần nhập GPT-3.5 mà không cần sử dụng "phiên bản lạc hậu" có tính khái quát kém và bị giới hạn trong sử dụng nội bộ.
So với các công ty mới, ít nhất Jasper cũng có khoảng thời gian phát triển từ GPT-3 đến GPT-3.5. Tuy nhiên, các công ty mới hiện cần phải đối mặt với sự siết chặt của GPT-3.5 chi phí thấp, tốc độ cao và GPT-4 hiệu suất cao cùng một lúc.
Vì vậy, khả năng sống sót của việc hy vọng tích lũy lợi nhuận thông qua việc tùy chỉnh để đạt được những đột phá về công nghệ là rất thấp.
Tinh chỉnh: Cần thiết, đừng mê tín
Ngành công nghiệp AI hiện tại có một kỳ vọng không thực tế về việc tinh chỉnh, được đánh giá quá cao cả về việc triển khai kỹ thuật cụ thể và nhịp điệu kỹ thuật ở cấp độ vĩ mô.
Việc tinh chỉnh hiện đang được thảo luận trong ngành chủ yếu đề cập đến việc “dựa trên mô hình được đào tạo trước, để nó có thể tạo ra các câu trả lời phù hợp với ý định của con người”. Kiểu tinh chỉnh này có thể được gọi là "căn chỉnh", tức là căn chỉnh các câu trả lời theo ý định của con người, thay vì bổ sung trí thông minh vào mô hình lớn.
Theo kết quả nghiên cứu của nhiều bài báo, kiến thức về các mô hình lớn chủ yếu nên được đào tạo trước, trong khi việc tinh chỉnh được sử dụng nhiều hơn cho việc căn chỉnh.
Giải thích đơn giản là việc đào tạo trước quyết định kích thước não, còn việc tinh chỉnh quyết định ngôn ngữ mẹ đẻ. Tinh chỉnh mô hình được đào tạo trước là một quá trình “xóa mù chữ”.
Tuy nhiên, tinh chỉnh thường được ngành công nghiệp xem như một phương pháp "thêm trí thông minh" vào mô hình, tức là cải thiện hiệu suất của mô hình và nâng cao kiến thức về mô hình thông qua tinh chỉnh. Người ta tin rằng bằng cách này, "Chén Thánh" của trí tuệ nhân tạo" có thể đạt được. Dòng suy nghĩ này có phần thiên vị.
Trước hết, bản thân hiệu suất của mô hình không được cải thiện nhưng nó có thể điều chỉnh ý định của con người tốt hơn, nếu độ phức tạp của nhiệm vụ vượt quá hiệu suất của mô hình thì việc tinh chỉnh sẽ không mang lại kết quả như mong đợi. Nó giống như việc bắt bộ não con người thực hiện các phép tính lượng tử, nếu không làm được thì không phải là vấn đề giáo dục.
Thứ hai, tác dụng “bổ sung kiến thức” ở phần “sắp xếp ý định” giống với “học vẹt” hơn. Nghĩa là: người mẫu chỉ bắt chước lời nói của chuyên gia mà không hiểu ý nghĩa. Mặc dù nhiều ngành có thể có được giải pháp tốt bằng cách “vẹt” (xét cho cùng, hầu hết các ngành đều không phức tạp…) nhưng rõ ràng đây không phải là kết quả chúng ta nên theo đuổi lâu dài.
Cuối cùng, việc đào tạo “bổ sung bộ dữ liệu bổ sung, cải thiện hiệu suất mô hình và nâng cao kiến thức mô hình” nên được coi là mô hình có khả năng “học tăng dần/học liên tục”, nghĩa là tất cả các tham số của mô hình đều có thể được xử lý thông qua tối ưu hóa tập dữ liệu gia tăng. Đây không phải là một khái niệm cùng loại với cái gọi là "tinh chỉnh hướng dẫn".
Nói chung việc tinh chỉnh rất quan trọng, nhưng thật sai lầm khi có thái độ “mê tín” đối với việc tinh chỉnh hiện tại, đặc biệt là việc vội vàng phong ấn việc tinh chỉnh hiện tại như Chén Thánh, khá là “trên dinh thự”. của vật lý ngày nay “Chỉ có hai đám mây đen đang trôi nổi”.
Lùi lại một bước, nếu nhu cầu “tăng cường trí tuệ” thực sự có thể được giải quyết thông qua việc tinh chỉnh các hướng dẫn, bằng cách thực hiện tìm kiếm vectơ đơn giản, đưa kiến thức trực tiếp vào ngữ cảnh và chỉ cần viết một vài mẫu, thì đó là một kết quả cao. xác suất mà chúng ta có thể đạt được kết quả tương tự hoặc thậm chí tốt hơn.
Mọi người đều thích tinh chỉnh, có lẽ đây là một loại hồi sinh kỹ năng luyện kim ở thời hiện đại...
Triển vọng cho các mô hình lớn: Bốn phép tính số học
(Lưu ý rằng phần nội dung này hoàn toàn dựa trên dữ liệu do Dylan Patel tiết lộ và chưa thể xác minh độ tin cậy)
Việc đào tạo GPT-4 dựa trên thẻ A series N, hiệu quả đào tạo là 30%, thời gian đào tạo khoảng 2 tháng, chi phí khoảng 60 triệu và tổng thông số là { 1,7 nghìn tỷ = 110 tỷ × 16 mô hình chuyên gia}. Thông số khoảng 280 tỷ.
Nói cách khác, có một số tham số chính sẽ dẫn đến những thay đổi trong mô hình huấn luyện mô hình lớn.
Tóm lại, chi phí đào tạo một mô hình có hiệu suất cấp GPT-4 từ 0 có thể gấp 10 đến 20 lần không gian tối ưu hóa, nghĩa là nó có thể được nén xuống còn 3 triệu đến 6 triệu USD. hiệu quả cho các công ty khởi nghiệp và các công ty lớn, được chấp nhận nhiều hơn.
Và sự thay đổi này có thể mất khoảng 2 năm mới hoàn thành.
Hiện tại, công nghệ mô hình lớn chủ đạo vẫn dựa trên máy biến áp, cơ sở hạ tầng không thay đổi, ý tưởng tinh chỉnh thuật giả kim và thêm thông số để tạo ra phép màu vẫn chưa cạn kiệt. Việc đào tạo GPT-4 được thực hiện trên cơ sở khả năng tính toán rất hạn chế và thời gian đào tạo không đủ dài.
Nếu các tham số tăng tuyến tính theo thời gian đào tạo, giới hạn trên của tham số cho một mô hình có kiến trúc tương tự GPT-4 có thể là khoảng 10 nghìn tỷ, tức là: thời gian đào tạo gấp đôi (× 2) và số lượng card đồ họa song song nhiều gấp đôi ( × 2), hiệu quả huấn luyện nhanh bằng một nửa (× 1,5), hiệu suất tham số cao bằng một nửa (× 1,5) và kết quả cuối cùng tốt hơn gấp mười lần. Theo phong cách chấp nhận rủi ro của Thung lũng Silicon, khả năng cao thông số này sẽ đạt được trong vòng một năm, bất kể hiệu suất có được cải thiện hay không.
Tuy nhiên, sau khi đạt tới 10 nghìn tỷ thông số, hoàn toàn không biết liệu LLM có còn sử dụng ý tưởng tăng thông số để đạt được điều kỳ diệu hay không.
Nếu số lượng tham số cải thiện hiệu suất mô hình ở mức giảm dần thì 10 nghìn tỷ có thể sẽ là một trở ngại. Tuy nhiên, cũng có giả thuyết cho rằng mức độ cải thiện hiệu suất của mô hình theo số lượng tham số đang tăng nhẹ, tương tự như “nếu một người đủ thông minh, anh ta có thể học mọi thứ nhanh chóng”. Cái trước thì ổn, nếu cái sau đúng thì hiệu suất của mô hình có thể tăng theo cấp số nhân và điều gì sẽ xảy ra vào thời điểm đó sẽ hoàn toàn không thể đoán trước được.
Thật khó để dự đoán thuật giả kim, nhưng rất dễ để dự đoán nhịp điệu chiến lược của công ty. Đối với hầu hết các doanh nghiệp, cho dù đó là một gã khổng lồ như Google/MS/APPL hay OpenAI nhỏ hơn, một mô hình có tổng tham số 10 nghìn tỷ là điểm cuối quan trọng, có thể được sử dụng để dừng và thực hiện một số vị trí khám phá kỹ thuật.
Sở thích rủi ro của doanh nghiệp/vốn có thể quy thành “thời gian chịu đựng”, nếu toàn bộ thời gian chịu đựng là đốt cháy chi phí mạnh mẽ thì khó có thể vượt quá 6 tháng. Nghề thủ công của con người không phát triển đủ nhanh, thường theo chu kỳ từ 5 năm trở lên. Do đó, trong vòng 5 năm, số lượng tham số giới hạn của mô hình có thể được ước tính là từ 20 nghìn tỷ đến 50 nghìn tỷ. Trừ khi có một bước đột phá lớn trong quy trình/kiến trúc xảy ra lần nữa, nếu không khả năng vượt quá mức độ này là rất thấp.
Đa phương thức: Con voi trong phòng
Đa phương thức là con voi trong phòng và có thể ảnh hưởng sâu sắc đến cảnh quan của đường đua.
Định nghĩa đơn giản về đa phương thức là: hỗ trợ đầu vào và đầu ra của nhiều thông tin phương thức. Định nghĩa này rất lỏng lẻo, chẳng hạn như một số sản phẩm trên thị trường tuyên bố có thể thực hiện đầu vào đa phương thức thực chất là một lớp OCR bên ngoài ChatBot. Cũng có những mô hình đáp ứng đầy đủ định nghĩa về đa phương thức, nhưng hiệu suất của chúng thật đáng thất vọng. Ngay cả khả năng nhập hình ảnh đa phương thức của GPT-4 vẫn chưa được mở rộng, có thể thấy chức năng này chưa ổn định cho lắm.
Tuy nhiên, việc phát hành đa phương thức không còn xa nữa. Có khả năng cao là GPT-5 vốn đã hỗ trợ đa phương thức, tức là nó cần thiết kế lại cấu trúc và đào tạo lại. Theo lý luận trước đó, các tham số của mô hình lớn vẫn có khả năng tăng trưởng từ 10 đến 50 lần và chỉ cần đưa khả năng đa phương thức vào đó là đủ. Vì vậy, có thể kỳ vọng rằng các mẫu xe đa phương thức có tính sẵn sàng cao và hiệu suất cao sẽ xuất hiện trong vòng 2 năm tới, nếu lạc quan thì sẽ là gần 1 năm.
Đa phương thức là con voi trong phòng, mọi người đều biết rằng cuối cùng sẽ có thứ gì đó như thế này, nhưng nhiều sản phẩm/nghiên cứu/chiến lược đã bỏ qua sự tồn tại của nó, do đó có những đánh giá sai lầm ở những bộ phận quan trọng.
Ví dụ, về mặt lý thuyết, các mô hình đơn hình ảnh có thể bị áp bức nghiêm trọng bởi các mô hình đa phương thức, nhưng hầu hết các nghiên cứu/đầu tư hiện đều bỏ qua vấn đề này, dẫn đến việc định giá quá cao một số công ty tập trung vào hình ảnh. Các công ty này có khả năng sẽ mất đi các rào cản kỹ thuật và chuyển đổi thành nhà cung cấp dịch vụ trong tương lai, hệ thống định giá của họ nên hướng đến các nhà cung cấp dịch vụ hơn là các công ty công nghệ.
Nếu muốn kể câu chuyện “đầu tư tùy vào con người, cùng một tập thể mới có thể chuyển đổi kinh doanh” thì tôi không nói. Truyền thuyết luôn ở đó, nhưng bạn không thể tin vào truyền thuyết khi nghiên cứu.
##Ai có thể huấn luyện GPT-4: Bạn có thể, nhưng không cần thiết
Việc tinh chế thuốc tiên không mất nhiều thời gian và các công ty lớn đang mua card đồ họa. Một điều rất rõ ràng là một năm nữa, các công ty lớn sẽ có thể đào tạo các mô hình cấp GPT-4. Nhưng có nên tập luyện hay không lại là một câu hỏi khác.
Trong lĩnh vực game có một đề xuất kinh điển gọi là “Yuanshin chơi Yuanshen”, đó là: khi người chơi có thể chọn chơi Yuanshen hoặc sản phẩm cạnh tranh của Yuanshen, nếu sản phẩm cạnh tranh không tốt bằng Yuanshen thì chơi Original God .
Cách tiếp cận “người thắng có tất cả” này cũng được áp dụng cho ngành công nghiệp mô hình quy mô lớn. Nếu một công ty đi theo OpenAI, sau nửa năm nghiên cứu và phát triển, họ sẽ tung ra mẫu lớn của riêng mình với hiệu suất 90% sánh ngang với GPT-4, với hy vọng đưa được ra thị trường. Lúc này công ty sẽ gặp phải những vấn đề sau:
Có thể thấy công ty đang phải chịu áp lực rất lớn. Thay vì đào tạo GPT-4, tốt hơn hết bạn nên đặt cược trực tiếp vào mẫu xe thế hệ tiếp theo (so với GPT-5). Khi đó bài toán sẽ chuyển từ “vấn đề sản phẩm cạnh tranh tương tự” sang “vấn đề đổi mới công nghệ”. Đây là gánh nặng mà các công ty nhỏ không thể gánh nổi.
Vì vậy, bàn luận “ai có thể huấn luyện GPT-4” là một câu hỏi chết về mặt chiến lược, thay vì nghĩ đến vấn đề này, tốt hơn hết hãy tìm một hướng đi chắc chắn và có cơ hội hơn.
Lời khuyên cho startup AI: Đặt hiệu suất lên hàng đầu, tránh trì trệ
Tác giả đã viết nhiều bài phàn nàn về langchain, nguyên nhân cơ bản là langchain không chừa chỗ cho các nhà phát triển cải thiện hiệu suất. Nó được gọi là "khung phổ quát". Để đảm bảo tính tổng quát, nhiều cải tiến về hiệu suất của các mô hình lớn đã bị loại bỏ, chẳng hạn như kiểm soát định dạng đạt được bằng nhiều vòng đối thoại và tinh chỉnh. Những cái tương tự bao gồm hướng dẫn/Auto-GPT/BabyAGI, v.v., tất cả đều muốn xây dựng một "khuôn khổ có thể tồn tại suốt đời".
Một thực tế khách quan là OpenAI đã phát hành Function Calling vào tháng 5. Nhiều chỗ rắc rối trong mã có giải pháp triển khai tốt hơn và chi phí để triển khai các giải pháp tốt hơn là xây dựng lại các phần chính của mã sản phẩm. Vào tháng 8, OpenAI đã phát hành quyền tinh chỉnh GPT-3.5 và nhiều liên kết yêu cầu kiểm soát đầu ra chính xác có các giải pháp tiềm năng mới.
Vì vậy, các công ty khởi nghiệp phải đứng trước một lựa chọn quan trọng: nên chọn ①cải thiện hiệu suất và liên tục tái cấu trúc sản phẩm, hay ②giảm sử dụng các tính năng mới và luôn sử dụng các tính năng cũ để phát triển?
Đối với hoạt động kinh doanh ứng dụng công nghệ mới, “phát triển” không chỉ thể hiện quá trình viết mã mà còn thể hiện “giới hạn trên” của chức năng/chiến lược sản phẩm. Hiệu suất có thể được kiểm soát càng cao thì sản phẩm càng có nhiều chức năng lý thuyết và tính linh hoạt chiến lược của nó càng cao.
Sự phát triển của công nghệ không thể đoán trước được, những đổi mới công nghệ nhỏ có thể mang lại những thay đổi rất nhạy cảm trong bối cảnh cạnh tranh, các công ty khởi nghiệp cần có khả năng chống lại sự mong manh trước sự phát triển của công nghệ.
---Theo cách nói của con người: ưu tiên cho việc thực hiện và tránh dừng lại. Ở cấp độ phát triển, hãy sử dụng nhiều tính năng mới hơn; về mặt sản phẩm, hãy suy nghĩ về những chức năng mà các tính năng mới có thể thực hiện; về mặt chiến lược, hãy xem xét tác động của các tính năng mới đối với chiến lược.
Trong "Guo Qin Lun", có đề cập rằng sau khi thành lập nhà Tần, vũ khí kim loại trên thế giới đã bị tịch thu và đúc thành mười hai tượng đồng để loại bỏ khả năng xảy ra dân nổi dậy. Nhưng triều đại nhà Tần nổi tiếng là tồn tại trong thời gian ngắn. Sẽ có ích hơn khi chú ý đến những thay đổi hơn là bỏ qua chúng.
Lời khuyên cho các công ty khởi nghiệp AI: Tự tin tạo ứng dụng
Có một mối nguy tiềm ẩn rất thường gặp khi các công ty khởi nghiệp phát triển ứng dụng: sự gia nhập của các công ty lớn. Các công ty lớn ở đây không chỉ bao gồm những gã khổng lồ về ứng dụng, chẳng hạn như Meta/Byte/Tencent, v.v., mà còn bao gồm cả những công ty đi đầu trong ngành AI, chẳng hạn như OpenAI.
Thông thường có hai lý do khiến các công ty lớn tham gia thị trường: để phát triển các cơ hội sản phẩm và di chuyển lên thượng nguồn và hạ nguồn.
"Bố trí cơ hội sản phẩm" là nghĩa đen, các công ty lớn cảm thấy hướng đi này đáng theo đuổi nên họ thực hiện.
“Cắt ngược dòng và hạ nguồn” hầu hết là một bước đi bất lực. Có thể là do chúng tôi đã phát triển một mô hình lớn có thể sánh ngang với OpenAI. Tuy nhiên, do vấn đề kẻ thắng được tất cả của các mô hình lớn nên không có người dùng, dẫn đến đốt chi phí, không có doanh thu, không có dữ liệu, từ đó dẫn đến Hiệu suất dần bị tụt lại phía sau. Tại thời điểm này, đi sâu vào hạ nguồn, phát triển các ứng dụng cụ thể và sử dụng công nghệ của riêng bạn là những lựa chọn duy nhất.
Theo kinh nghiệm lịch sử, do các vấn đề về cơ cấu tổ chức, công ty càng gần hạ nguồn thì càng có nhiều khả năng công nghệ của họ bị tụt lại phía sau, và công nghệ càng tụt hậu thì càng phải làm việc ở hạ nguồn. Những cái gọi là công ty công nghệ này cuối cùng sẽ cạnh tranh trong cùng một phân khúc sinh thái với các công ty về lớp ứng dụng.
Tuy nhiên, trong chiến trường lớp ứng dụng, do công nghệ AI chỉ mới xuất hiện được một thời gian ngắn nên chưa có lợi thế về quy mô hiệu quả và có thể tái sử dụng, xuất phát điểm của các công ty lớn và các công ty khởi nghiệp là tương tự nhau. So với các công ty lớn, các công ty khởi nghiệp hoạt động hiệu quả hơn và có những hiểu biết sâu sắc hơn, dễ dàng tận dụng hơn.
Một tình huống đáng chú ý là hầu hết các tài liệu quảng cáo của MS Azure hiện nay đều xoay quanh OpenAI, nhưng một nhà máy lớn như Microsoft lại hoàn toàn dựa vào OpenAI làm nền tảng, điều này chứng tỏ các công ty khởi nghiệp có lợi thế tự nhiên trong lĩnh vực AI.
Tất nhiên, một số nhà cung cấp dịch vụ đám mây có thể không chấp nhận được việc bị dẫn dắt bởi các công ty khởi nghiệp và muốn tự mình chiếm hết thị trường. Nó đắt tiền, chậm và không phải là mối đe dọa ngay lập tức.
Thực tế là thực sự có một số lộ trình tồn tại trong thời gian ngắn dành cho các ứng dụng AI, nhưng vẫn còn nhiều lộ trình tồn tại lâu dài vẫn chưa được khám phá và các ứng dụng AI không phải là người chiến thắng tất cả. Mở rộng từ ứng dụng sang nền tảng hay công nghệ cũng là một con đường khả thi hơn.
Vì vậy, chúng ta nên có cái nhìn hợp lý về khả năng các công ty lớn xâm chiếm lớp ứng dụng. Đề xuất của chúng tôi là các công ty khởi nghiệp AI có thể tự tin tạo ra các ứng dụng.
Lời khuyên dành cho startup AI: Hãy chú ý đến vòng đời sản phẩm
Như đã đề cập trước đó, các công ty khởi nghiệp AI có thể tạo ra các ứng dụng một cách an toàn, nhưng họ phải xem xét hiệu suất của mô hình AI và tránh ở lại. Tình trạng này được thể hiện trực tiếp ở chỗ các sản phẩm AI có thể mất đi nhu cầu và dần cạn kiệt trong vòng vài tháng, và tình trạng này có thể xảy ra thường xuyên.
Các ứng dụng AI cần sử dụng dịch vụ của các mô hình lớn và hiệu suất của các mô hình lớn tiếp tục được cải thiện. Sự cải tiến này không phải là sự cải thiện ở một khía cạnh duy nhất như "tốc độ", mà là sự thay đổi về mọi mặt như chất lượng đầu ra, độ dài đầu ra và khả năng kiểm soát đầu ra. Mỗi sự nâng cấp đáng kể về công nghệ sẽ khiến các sản phẩm lớp ứng dụng hiện có bị tụt hậu về mặt công nghệ và tạo ra những cơ hội, đối thủ cạnh tranh mới.
**Chúng tôi gọi thời điểm mà các ứng dụng AI duy trì được lợi thế và sự cần thiết trong chiến lược/sản phẩm/công nghệ là “huyết mạch”. **
Dưới đây là một số ví dụ với vòng đời ngắn hơn:
**Xét đến sự phát triển nhanh chóng của ngành công nghiệp AI, nguồn sống hạn chế là điều bình thường. Vì vậy, chấp nhận thực tế huyết mạch có hạn và cố gắng chọn hướng đi có huyết mạch dài hơn để phát triển sẽ có lợi cho việc duy trì lợi thế lâu dài và sự cần thiết của sản phẩm. **
Nói chung, vòng đời có thể được chia đơn giản thành các mức 3/6/12 tháng.
*Vòng đời của sản phẩm nền tảng không nhất thiết phải dài, suy cho cùng, cửa hàng cũng là nền tảng
Một công ty khởi nghiệp khi đã xác định được hướng đi của mình thì chỉ cần có đường sống 6 tháng, đường sống 12 tháng khó có được.
Khi vòng đời sản phẩm kết thúc, thường có hai tình huống. Tình huống đầu tiên là lợi thế không còn và cần phải xây dựng lại công nghệ nâng cấp sản phẩm, vui lòng tham khảo phần "Hiệu suất đầu tiên" ở trên, tình huống thứ hai là nhu cầu không còn và sản phẩm sẽ dần được thay thế. Lúc này, sản phẩm vẫn còn vài tháng “tuổi thọ” hoạt động”, đủ để các công ty khởi nghiệp lựa chọn hướng đi tiếp theo.
Lời khuyên cho các startup AI: Web3+AI có thể làm được
Hiện tại có nhiều dự án khởi nghiệp xoay quanh chủ đề Web3+AI, tuy nhiên, xét đến tính không chắc chắn của sự phát triển công nghệ và giai đoạn đầu của thị trường, chủ đề Web3+AI sẽ vẫn còn nhiều biến động trong tương lai.
Bài viết này nhằm mục đích tìm kiếm những điều chắc chắn có xác suất đúng cao trong số những điều không chắc chắn, vì vậy, tác giả vẫn hy vọng rút ra được một số cảm hứng và đề xuất một số chủ đề, hướng đi có thể có cơ hội tham khảo cho các công ty khởi nghiệp và các nhà nghiên cứu quan tâm.
Hiện tại, các công ty dẫn đầu trong ngành AI chỉ cung cấp các mô hình nguồn đóng và tính ổn định, minh bạch và trung lập trong việc cung cấp dịch vụ liên tục của họ là không thể kiểm soát được. Phi chủ quyền/phân cấp có thể trở thành một chủ đề quan trọng trong ngành AI, cụ thể là: dựa trên cấu trúc cơ bản của phi chủ quyền/phân cấp, để cung cấp các dịch vụ AI ổn định, minh bạch và trung lập.
Giải trừ chủ quyền/phân cấp là một "giải pháp thay thế" và "răn đe", có thể làm tăng đáng kể chi phí phi đạo đức của các công ty AI tập trung/có chủ quyền và ngăn họ sử dụng các mô hình AI trong quân sự, giáo phái, chính trị và các khía cạnh khác.
Trong những trường hợp cực đoan, một khi dịch vụ AI tập trung/có chủ quyền không còn khả dụng/đáng tin cậy vì lý do nào đó, AI phi tập trung/phi tập trung có thể tiếp tục cung cấp các dịch vụ có tính sẵn sàng cao để ngăn chặn từng quốc gia/khu vực và thậm chí cả con người khỏi bị tê liệt Dịch vụ AI.
Đằng sau sự chuyển đổi của ETH từ PoW sang PoS là vấn đề nan giải bị chỉ trích là "khai thác không tạo ra giá trị". Sự kết hợp giữa Web3 và AI có thể cung cấp một kịch bản thực tế cho sức mạnh tính toán, từ đó hiện thực hóa việc tiêu hóa sức mạnh tính toán chứng khoán và thúc đẩy sự phát triển của tổng số điện toán quyền lực, v.v. Hiệu ứng.
AI là tài sản có nguồn gốc từ sức mạnh tính toán và lưu trữ. Sự kết hợp giữa Web3 và AI có thể cung cấp một kênh để chuyển đổi AI thành tài sản ảo. Trong khi tạo ra giá trị của ngành AI, nó cũng có thể tạo ra tài sản ảo gốc thực sự cho Web3.
Sự kết hợp giữa Web3 và AI có thể mang lại những chức năng mới và cơ hội phát triển cho các ứng dụng Web3, đồng thời các ứng dụng Web3 hiện tại có thể được làm lại hoàn toàn.
Viết ở cuối: Bây giờ là tháng 9, liệu AI có còn đáng để khởi nghiệp không?
Hãy để tôi nói về kết luận trước: nó đáng giá và kết luận này có thể được sử dụng cho đến Tết Nguyên Đán với xác suất cao.
Mọi người thường có nhận thức thiên vị về hoàn cảnh, và tôi cũng không ngoại lệ. Một số quá lạc quan và một số quá bi quan. Tác giả từng trao đổi với hai nhóm, một nhóm cho rằng sẽ có thể sản xuất AI Agent vào quý 1 năm sau, nhóm còn lại cho rằng AI chỉ phù hợp để quản lý cơ sở tri thức. Rõ ràng, nhóm trước quá lạc quan, trong khi sau này là quá bi quan.
Khi lập kế hoạch dài hạn, lạc quan quá hoặc quá bi quan sẽ dẫn đến cạm bẫy, và những nhận xét được lưu truyền rộng rãi thường là những nhận xét mang tính thiên vị cao, khiến tư duy độc lập trở nên vô cùng quý giá. Vì vậy, bất kể người đọc có chấp nhận được những quan điểm của bài viết này hay không, chỉ cần người đọc có tư duy và phán đoán độc lập trong quá trình đọc thì tác giả sẽ vô cùng hài lòng.
Cuối cùng, đặt một quảng cáo. Nếu bạn có một ý tưởng kinh doanh AI hay hoặc đã thành lập một dự án, vui lòng liên hệ với những người bạn NGC (chẳng hạn như tôi) bất cứ lúc nào.