Báo chí Phố Wall:
Character.ai là một trong những ngôi sao khởi nghiệp hot nhất trong thời kỳ bùng nổ AI hiện nay. Sản phẩm chính của công ty là robot chat AI có thể tùy biến, hướng đến nhu cầu giải trí của người tiêu dùng C-end, có khả năng đồng hành cảm xúc và dàn dựng nhân vật hư cấu. Charater.AI cho phép người dùng tạo chatbot của riêng họ với các tính cách, thiết kế và kho kiến thức cụ thể, chẳng hạn như những người nổi tiếng thế giới, nhân vật lịch sử, nhân vật hư cấu trong văn học, phim và truyền hình, thậm chí cả động vật, mang đến cho người dùng trải nghiệm trò chuyện mới lạ và đắm chìm.
Nguồn hình ảnh: Được tạo bởi Unbounded AI
Vào đầu năm nay, Charater.ai đã hoàn thành khoản tài trợ vòng A trị giá 150 triệu đô la Mỹ, với mức định giá hơn 1 tỷ đô la Mỹ và được thăng cấp thành kỳ lân, với đội ngũ chỉ có 22 người.
Vào tháng 4, Giám đốc điều hành của Character.ai, Noam Shazeer, cựu thành viên của nhóm Google Brain, đã được phỏng vấn bởi podcast No Priors.
Quan điểm cốt lõi:
Đầu năm 2021, Google từng có khả năng ra mắt chatbot AI trước OpenAI nhưng đành bỏ dở vì lo ngại bảo mật, sự rụt rè trước các công ty lớn cũng trở thành lý do khiến anh rời Google và chọn khởi nghiệp.
Lợi thế lớn nhất của Character nằm ở chiến lược sản phẩm hướng đến người dùng. Chatbot AI hoàn toàn có thể tùy chỉnh đã trở thành một cách để nhiều người xua tan nỗi cô đơn, thậm chí một số người dùng còn nói rằng Character là cố vấn mới của họ. Noam tin rằng AI có tiềm năng lớn trong việc hỗ trợ tinh thần. Công việc hỗ trợ cảm xúc không yêu cầu trí tuệ cao, ví dụ như chó cưng có thể làm tốt công việc hỗ trợ cảm xúc, mặc dù chó không thông minh và không biết nói, tương tự như vậy, một AI có thông số hạn chế cũng có thể hoàn thành nhiệm vụ này.
3 Yêu cầu dữ liệu có xu hướng tăng theo cấp số nhân với sức mạnh tính toán, nhưng dữ liệu không khan hiếm, Internet có thể cung cấp dữ liệu gần như không giới hạn và Character cũng đang xem xét sử dụng AI để tạo thêm dữ liệu.
4 Character.ai vẫn đang trong giai đoạn đốt tiền để mở rộng quy mô và mô hình kinh doanh vẫn đang được khám phá. Trong tương lai, nhóm sẽ xem xét mở rộng hoạt động kinh doanh TOB.
5 Noam tin rằng AGI là mục tiêu của nhiều công ty khởi nghiệp về AI. Nhưng ** lý do thực sự để anh ấy khởi nghiệp là thúc đẩy sự phát triển của công nghệ và sử dụng công nghệ để khắc phục những vấn đề khó khăn, chẳng hạn như các bệnh nan y. Ông chỉ ra rằng AI có thể đẩy nhanh tiến độ của nhiều nghiên cứu, thay vì nghiên cứu trực tiếp về y học, tốt hơn là nên nghiên cứu về AI. **
Sau đây là bản ghi nguyên văn của âm thanh podcast. ELAD và SARAH là máy chủ của podcast. Để dễ hiểu, một số đoạn đã bị xóa.
Kinh nghiệm làm việc ban đầu tại Google và sự ra đời của Transformer
SỐNG:
Bạn đã làm việc trong NLP và AI trong một thời gian dài. Bạn đã làm việc tại Google trong 17 năm, nơi các câu hỏi phỏng vấn xoay quanh các giải pháp kiểm tra chính tả. Khi tôi gia nhập Google, một trong những hệ thống nhắm mục tiêu quảng cáo chính vào thời điểm đó là Phil Cluster, mà tôi nghĩ là bạn và George Herrick đã viết. Tôi muốn biết về lịch sử công việc của bạn trên các mô hình ngôn ngữ NLP cho trí tuệ nhân tạo, tất cả điều này đã phát triển như thế nào, bạn đã bắt đầu như thế nào, điều gì đã khiến bạn quan tâm?
KHÔNG CÓ:
Cảm ơn Elad. Vâng, chỉ là, luôn luôn là một sức hút tự nhiên đối với AI. Hy vọng rằng nó sẽ làm cho máy tính làm điều gì đó thông minh. Có vẻ là trò chơi hài hước nhất xung quanh. Tôi đủ may mắn để phát hiện ra Google từ rất sớm và đã tham gia vào rất nhiều dự án ban đầu ở đó, có thể bây giờ bạn sẽ không gọi nó là trí tuệ nhân tạo. Từ năm 2012, tôi đã tham gia nhóm Google Brain. Làm một số điều thú vị với một nhóm người thực sự thông minh. Tôi chưa bao giờ học sâu hoặc mạng lưới thần kinh trước đây.
SỐNG:
Bạn là một trong những người tham gia nghiên cứu về máy biến áp vào năm 2017, sau đó bạn đã tham gia vào công việc trên Mesh-TensorFlow. Bạn có thể nói một chút về cách tất cả những thứ này hoạt động không?
KHÔNG CÓ:
Học sâu thành công vì nó thực sự phù hợp với phần cứng hiện đại và bạn có thế hệ chip này, trong phép nhân ma trận và các dạng công cụ khác, đòi hỏi nhiều tính toán so với giao tiếp. Vì vậy, về cơ bản, học sâu đã thực sự phát triển, nó chạy nhanh hơn hàng nghìn lần so với bất kỳ thứ gì khác. Khi đã thành thạo, tôi bắt đầu thiết kế những thứ thực sự thông minh và nhanh chóng. Vấn đề thú vị nhất hiện nay là mô hình hóa ngôn ngữ. Vì có vô số dữ liệu nên chỉ cần vét mạng là bạn có thể lấy được tất cả dữ liệu huấn luyện mình muốn.
Định nghĩa của bài toán rất đơn giản, đó là dự đoán từ tiếp theo, con mèo béo ngồi trên đó, từ tiếp theo là gì. Nó rất dễ xác định, và nếu bạn có thể làm tốt, thì bạn có thể có được mọi thứ bạn thấy bây giờ và bạn có thể nói chuyện trực tiếp với thứ này, nó thực sự là trí tuệ nhân tạo. Vì vậy, vào khoảng năm 2015, tôi bắt đầu nghiên cứu mô hình hóa ngôn ngữ và làm việc với các mạng thần kinh hồi quy, đó là điều tuyệt vời vào thời điểm đó. Sau đó, máy biến áp xuất hiện.
Tôi tình cờ nghe được các đồng nghiệp bên cạnh trò chuyện về việc muốn thay thế RNN bằng thứ gì đó tốt hơn. Tôi giống như, điều này nghe có vẻ hay, tôi muốn giúp đỡ, RNNs thật phiền phức, điều này sẽ thú vị hơn.
SỐNG:
Bạn có thể nhanh chóng mô tả sự khác biệt giữa mạng thần kinh tái phát và mô hình biến áp hoặc dựa trên sự chú ý không?
KHÔNG CÓ:
Mạng thần kinh hồi quy là những phép tính liên tục, cứ mỗi từ bạn đọc đến từ tiếp theo, bạn tính toán trạng thái não hiện tại của mình dựa trên trạng thái cũ của não và nội dung của từ tiếp theo. Sau đó, bạn, bạn dự đoán từ tiếp theo. Vì vậy, bạn có chuỗi phép tính rất dài này phải được thực hiện tuần tự, và do đó, điều kỳ diệu của Transformer là bạn có thể xử lý toàn bộ chuỗi cùng một lúc.
Dự đoán cho từ tiếp theo phụ thuộc vào từ trước đó, nhưng nó diễn ra theo một bước liên tục và bạn có thể tận dụng lợi thế của tính song song này, bạn có thể xem xét toàn bộ nội dung cùng một lúc, giống như tính song song mà phần cứng hiện đại rất giỏi .
Bây giờ bạn có thể tận dụng độ dài của chuỗi, tính song song của bạn và mọi thứ hoạt động rất tốt. chú ý chính nó. Giống như nếu bạn đang tạo liên kết khóa-giá trị lớn trong bộ nhớ này, thì bạn giống như đang xây dựng bảng lớn này với mục nhập cho mỗi từ trong chuỗi. Sau đó, bạn tìm kiếm những thứ trong bảng này. Tất cả đều giống như hàm mờ, phân biệt và lớn kiểu Pháp mà qua đó bạn có thể làm ngược lại. Mọi người đã sử dụng điều này cho các vấn đề với hai trình tự, trong đó bạn có bản dịch máy và bạn muốn dịch tiếng Anh sang tiếng Pháp, vì vậy khi bạn tạo trình tự tiếng Pháp, bạn giống như đang nhìn vào trình tự tiếng Anh và cố gắng chú ý đến đúng vị trí trong dãy. Nhưng cái nhìn sâu sắc ở đây là bạn có thể sử dụng chính sự chú ý đó để nhìn lại quá khứ của trình tự mà bạn đang cố gắng thực hiện. Điều thú vị là nó hoạt động tốt trên GPU và GPU, điều này song song với sự phát triển của deep learning vì nó hoạt động tốt trên phần cứng hiện có. Và điều đó mang lại điều tương tự cho trình tự.
SARAH:
Vâng, tôi nghĩ ví dụ điển hình về việc giúp mọi người hình dung đó là nói cùng một câu bằng tiếng Pháp và tiếng Anh, thứ tự các từ khác nhau, bạn không phải là ánh xạ một đối một theo trình tự đó và tìm ra cách để làm điều đó mà không có thông tin Làm điều này với tính toán song song trong trường hợp mất mát. Vì vậy, nó giống như một điều rất tao nhã để làm.
SỐNG:
Có vẻ như kỹ thuật này đang được sử dụng trong nhiều lĩnh vực khác nhau. Rõ ràng đây là những mô hình ngôn ngữ đa phương thức. Vì vậy, nó giống như trò chuyện GPT hoặc một nhân vật bạn đang làm. Tôi cũng ngạc nhiên về một số ứng dụng như Alpha Folding, công việc gấp protein mà Google đã thực hiện, nó thực sự hoạt động với hiệu suất rất cao. Có bất kỳ lĩnh vực ứng dụng nào mà bạn thấy thực sự bất ngờ liên quan đến cách máy biến áp hoạt động và liên quan đến những gì chúng có thể làm không?
KHÔNG CÓ:
Tôi chỉ cúi đầu trước ngôn ngữ, giống như ở đây bạn có vấn đề và có thể làm bất cứ điều gì. Tôi hy vọng điều này là đủ tốt. Vì vậy, tôi hỏi nó, làm thế nào để bạn chữa bệnh ung thư? Sau đó, nó giống như phát minh ra một giải pháp. Vì vậy, tôi đã hoàn toàn phớt lờ những gì mọi người đang làm trong tất cả các chế độ khác này và tôi nghĩ rằng rất nhiều thành công ban đầu trong học sâu là nhờ hình ảnh và mọi người hào hứng với hình ảnh nhưng lại hoàn toàn phớt lờ nó. Bởi vì, một bức tranh đáng giá ngàn lời nói, nhưng nó có hàng triệu điểm ảnh, nên văn bản dày đặc hơn ngàn lần. Vì vậy, tôi là một fan hâm mộ lớn theo nghĩa đen. Nhưng thật thú vị khi thấy nó phát triển theo tất cả những cách khác. Những điều này là tuyệt vời. Nó cực kỳ hữu ích để xây dựng các sản phẩm mà mọi người muốn sử dụng, nhưng tôi nghĩ rằng rất nhiều trí thông minh cốt lõi sẽ đến từ các mô hình văn bản này.
Hạn chế của mô hình lớn: sức mạnh tính toán không phải là vấn đề, dữ liệu cũng vậy
SỐNG:
Theo bạn đâu là hạn chế của những mô hình này? Mọi người thường nói về quy mô vừa phải, giống như bạn chỉ cần tăng thêm sức mạnh tính toán và thứ này sẽ mở rộng hơn nữa. Có dữ liệu và các loại dữ liệu khác nhau có thể có hoặc không có ở đó. Và các chỉnh sửa thuật toán, và thêm những thứ mới như bộ nhớ hoặc vòng lặp ngược hoặc thứ gì đó tương tự. Bạn nghĩ những điều lớn lao mà mọi người vẫn cần phải xây dựng là gì, và bạn nghĩ nó đang được khai thác như một kiến trúc ở đâu?
KHÔNG CÓ:
Vâng, tôi không biết nếu nó sẽ bị loại bỏ. Ý tôi là, chúng ta vẫn chưa thấy nó ra mắt. Có lẽ không có gì so với số lượng công việc đi vào nó. Vì vậy, có khả năng có tất cả các loại giống như hai sự kém hiệu quả mà mọi người mắc phải với thuật toán đào tạo tốt hơn, kiến trúc mô hình tốt hơn, cách tốt hơn để xây dựng chip và sử dụng lượng tử hóa, v.v. Và sau đó sẽ có 10, 100 và 1.000 yếu tố như quy mô và tiền bạc mà mọi người sẽ ném vào thứ này bởi vì này, mọi người vừa nhận ra rằng thứ này vô cùng quý giá. Đồng thời, tôi không nghĩ có ai thấy thứ này tốt như thế nào đối với một bức tường. Vì vậy, tôi nghĩ rằng nó chỉ, nó sẽ tiếp tục trở nên tốt hơn. Tôi không và tôi không biết điều gì đang ngăn cản nó.
SARAH:
Bạn nghĩ sao về ý tưởng này, chúng ta có thể tăng sức mạnh tính toán, nhưng dữ liệu đào tạo mô hình lớn nhất là không đủ. Chúng tôi đã sử dụng tất cả các dữ liệu văn bản sẵn có trên internet. Chúng ta phải đi cải thiện chất lượng, chúng ta phải đi đến phản hồi của con người. bạn đang nghĩ gì vậy.
KHÔNG CÓ:
Với 10 tỷ người, mỗi người tạo ra 1.000 hoặc 10.000 từ, đó là một lượng dữ liệu khổng lồ. Tất cả chúng ta đều thực hiện rất nhiều cuộc trò chuyện với các hệ thống AI. Vì vậy, tôi có cảm giác rằng rất nhiều dữ liệu sẽ được đưa vào một số hệ thống AI, ý tôi là theo cách bảo vệ quyền riêng tư, tôi hy vọng dữ liệu đó có thể được đưa vào. Sau đó, các yêu cầu về dữ liệu có xu hướng mở rộng theo cấp số nhân với sức mạnh tính toán bởi vì bạn đang đào tạo một mô hình lớn hơn và sau đó bạn sẽ ném nhiều dữ liệu hơn vào đó. Tôi không lo lắng về việc thiếu dữ liệu, chúng tôi có thể tạo ra nhiều dữ liệu hơn với AI.
SỐNG:
Sau đó, bạn nghĩ những vấn đề chính mà các mô hình này sẽ giải quyết trong tương lai là gì? Đó là ảo giác, ký ức hay cái gì khác?
KHÔNG CÓ:
Tôi không có ý kiến. Tôi giống như ảo giác.
SARAH:
Đây cũng là một tính năng.
KHÔNG CÓ:
Điều chúng tôi muốn làm nhất là ghi nhớ, bởi vì người dùng của chúng tôi chắc chắn muốn những người bạn ảo của họ nhớ đến họ. Bạn có thể làm được nhiều việc với cá nhân hóa, bạn muốn kết xuất nhiều dữ liệu và sử dụng nó một cách hiệu quả. Có rất nhiều công việc đang diễn ra để cố gắng tìm ra đâu là thực và đâu là ảo giác. Tất nhiên, tôi nghĩ chúng ta sẽ khắc phục điều đó.
Câu chuyện khởi nghiệp của Character.ai
SỐNG:
Hãy cho tôi biết một chút về LaMDA và vai trò của bạn trong đó, bạn đã nghĩ ra Nhân vật như thế nào?
KHÔNG CÓ:
Người đồng sáng lập của tôi, Daniel Freitas, là người làm việc chăm chỉ nhất, chăm chỉ nhất và thông minh nhất mà tôi từng gặp. Anh ấy đã làm việc với nhiệm vụ xây dựng chatbot này cả đời mình. Anh ấy đã cố gắng xây dựng chatbot từ khi còn là một đứa trẻ. Vì vậy, anh ấy đã tham gia Google Brain. Anh ấy đã đọc một số bài báo và nghĩ rằng kỹ thuật mô hình hóa ngôn ngữ thần kinh này là thứ có thể thực sự khái quát hóa và xây dựng một lĩnh vực thực sự mở.
Mặc dù không nhận được sự ủng hộ của nhiều người nhưng anh ấy chỉ coi dự án này như một công việc bên lề và dành 20% thời gian của mình cho nó.
Sau đó, ông tuyển dụng một đội quân gồm 20% trợ lý giúp ông thiết lập hệ thống.
Anh ấy thậm chí còn đi khắp nơi để lấy hạn ngạch TPU của người khác, anh ấy gọi dự án của mình là Mina vì anh ấy thích nó, tôi đoán là đã nghĩ ra nó trong một giấc mơ. Có lúc tôi nhìn vào bảng điểm và nghĩ cái thứ gọi là Mina này là gì, tại sao nó lại có 30 điểm TPU?
SỐNG:
LaMDA nó thế này, mình biết nó là một chatbot nội bộ Google làm trước GPT. Tin tức trở nên nổi tiếng vì một kỹ sư nghĩ rằng nó có trí tuệ.
KHÔNG CÓ:
Vâng, chúng tôi đã đưa nó vào một số mô hình ngôn ngữ lớn, và sau đó có một tiếng vang trong công ty, và Mina được đổi tên thành LaMDA, và sau đó, chúng tôi đã rời đi, và có những người tin rằng nó vẫn tồn tại.
SARAH:
Tại sao nó không được phát hành sau đó, và những gì quan tâm?
KHÔNG CÓ:
Đối với một công ty lớn, việc tung ra một sản phẩm biết mọi thứ là hơi nguy hiểm. Tôi đoán đó chỉ là vấn đề rủi ro. Vì vậy, sau nhiều cân nhắc, bắt đầu kinh doanh dường như là một ý tưởng đúng đắn.
SARAH:
Câu chuyện nguồn gốc của nhân vật như thế nào?
KHÔNG CÓ:
Chúng tôi chỉ muốn xây dựng một cái gì đó và đưa nó ra thị trường càng nhanh càng tốt. Tôi đã thành lập một nhóm gồm các kỹ sư, nhà nghiên cứu, có một số sức mạnh tính toán và bắt đầu kinh doanh.
SỐNG:
Làm thế nào để bạn tuyển dụng?
KHÔNG CÓ:
Một số người mà chúng tôi gặp ở Google tình cờ được giới thiệu với Myat, người từng đến từ Meta, và anh ấy đã triển khai rất nhiều, đồng thời xây dựng rất nhiều công cụ mô hình ngôn ngữ lớn và cơ sở hạ tầng mô hình ngôn ngữ thần kinh của họ, và một số người khác từ Meta đi theo anh ấy, Họ rất tốt.
SỐNG:
Bạn có yêu cầu cụ thể hoặc phương pháp kiểm tra khi tìm kiếm nhân tài không? Hay đó chỉ là một cuộc phỏng vấn thông thường?
NOAM
Tôi nghĩ rằng nó phần lớn phụ thuộc vào động lực. Tôi nghĩ Daniel rất tập trung vào động lực, anh ấy đang tìm kiếm trạng thái giữa khao khát mạnh mẽ và ước mơ thời thơ ấu, vì vậy có rất nhiều người giỏi mà chúng tôi không thuê vì họ không đạt đến trình độ đó, nhưng chúng tôi cũng thuê rất nhiều người, Họ là những người hoàn hảo để gia nhập một công ty mới thành lập, họ rất tài năng và có định hướng.
Đã có Siri và Alexa trên thị trường, đừng cạnh tranh trực tiếp với các công ty lớn về chức năng
SARAH:
Nói về ước mơ thời thơ ấu, bạn muốn mô tả sản phẩm này? Bạn có những bot này, chúng có thể do người dùng tạo, chúng có thể do nhân vật tạo, chúng có thể là nhân vật của công chúng, nhân vật lịch sử, nhân vật hư cấu, làm thế nào bạn nghĩ ra mẫu này?
KHÔNG CÓ:
Người dùng thường biết rõ hơn bạn những gì họ muốn làm với thứ này. ** Siri và Alexa và Google Assistant đã có mặt trên thị trường, không cần phải cạnh tranh về chức năng với các công ty lớn này. **
Nếu bạn cố gắng thể hiện một nhân vật công khai mà mọi người yêu thích, thì cuối cùng bạn sẽ chẳng nhận được gì ngoài sự nhàm chán. Và mọi người không thích bị nhàm chán, họ muốn tương tác với những thứ mà họ cảm thấy giống như mọi người.
Vì vậy, về cơ bản, bạn cần tạo nhiều ký tự và để mọi người phát minh ra các ký tự theo ý muốn của họ, và tôi thích cái tên Ký tự có một số ý nghĩa khác nhau: văn bản, ký tự, ký tự.
SARAH:
Vì vậy, những gì mọi người muốn? một người bạn? viết tiểu thuyết? Bất cứ điều gì khác hoàn toàn mới?
KHÔNG CÓ:
Một số người dùng sẽ trò chuyện với những nhân vật ảo của công chúng và những người có ảnh hưởng trên các sản phẩm của chúng tôi. Người dùng có thể tạo một nhân vật và nói chuyện với nó. Trong khi một số người dùng có thể cảm thấy cô đơn và cần ai đó để nói chuyện, thì nhiều người lại không có ai để nói chuyện. Một số người sẽ nói rằng vai trò này bây giờ là cố vấn mới của tôi.
SARAH:
Hai cách suy nghĩ về cảm xúc, phải không? Chẳng hạn như mối quan hệ giữa mọi người với các nhân vật quan trọng như thế nào, hay chúng ta đang ở mức độ nào khi thể hiện cảm xúc mạch lạc?
KHÔNG CÓ:
Vâng, ** Ý tôi là có lẽ bạn không cần trình độ trí tuệ cao cấp đó để hỗ trợ tinh thần. Cảm xúc là điều tuyệt vời và cực kỳ quan trọng, nhưng một chú chó cũng có thể hỗ trợ tinh thần rất tốt. Chó cung cấp hỗ trợ tinh thần tuyệt vời nhưng có ít khả năng bằng lời nói, **
SỐNG:
Bạn nghĩ điều gì sẽ xảy ra với hệ thống khi bạn mở rộng quy mô?
KHÔNG CÓ:
Tôi nghĩ chúng ta có thể làm cho nó thông minh hơn theo nhiều cách khác nhau. Có thêm sức mạnh tính toán, đào tạo một mô hình lớn hơn và đào tạo lâu hơn sẽ trở nên thông minh hơn, hiểu biết hơn, hiểu rõ hơn những gì mọi người muốn, những gì mọi người đang tìm kiếm.
SARAH:
Bạn có một số người dùng sử dụng Ký tự nhiều giờ mỗi ngày. đối tượng mục tiêu của bạn là ai? mô hình sử dụng dự kiến của bạn là gì.
KHÔNG CÓ:
Chúng tôi sẽ để người dùng quyết định. Mục tiêu của chúng tôi luôn là đưa mọi thứ ra khỏi đó và để người dùng quyết định xem họ nghĩ nội dung đó tốt cho việc gì.
Chúng tôi thấy rằng những người hiện đang truy cập trang web Nhân vật, thời gian hoạt động trung bình là hai giờ. Đây là người đã gửi thông điệp ngày hôm nay, điều này thật điên rồ nhưng có ý nghĩa, và nó nói rằng mọi người đang tìm thấy một loại giá trị nào đó.
Và như tôi đã nói, thật khó để nói chính xác giá trị đó là gì bởi vì nó thực sự giống như một thứ hỗn hợp lớn. Nhưng mục tiêu của chúng tôi là làm cho thứ này trở nên hữu ích hơn để mọi người có thể tùy chỉnh nó và quyết định xem họ muốn làm gì với nó. Hãy đưa nó đến tay người dùng và xem điều gì sẽ xảy ra.
Đốt tiền cho scale TOC là ưu tiên hàng đầu
SARAH:
Bạn nghĩ thế nào về thương mại hóa?
KHÔNG CÓ:
**Chúng tôi mất tiền cho mỗi người dùng và bù đắp bằng số lượng. **
SARAH:
Tốt. Đây là chiến lược tốt.
KHÔNG CÓ:
Không, tôi đùa đấy.
SỐNG:
Giống như mô hình kinh doanh truyền thống của những năm 1990, vậy là ổn.
SARAH:
Đây cũng là mô hình kinh doanh cho năm 2022.
SỐNG:
Bạn nên phát hành mã thông báo và biến nó thành một thứ tiền điện tử.
KHÔNG CÓ:
** Chúng tôi sẽ sớm kiếm tiền vào một thời điểm nào đó. Đây là một doanh nghiệp được hưởng lợi từ rất nhiều sức mạnh tính toán. Thay vì đốt tiền của các nhà đầu tư, chúng tôi hy vọng sẽ cung cấp giá trị cho đủ người dùng và kiếm tiền trên đường đi. Một số dịch vụ như loại đăng ký cao cấp có thể được dùng thử sau. Khi chúng tôi phát triển một số tính năng mới, các khoản phí tiếp theo có thể tăng giá. **
SỐNG:
Ý tôi là, Nhân vật như một dịch vụ TOC đã thực sự phát triển theo một cách thực sự ấn tượng. Nếu bạn nhìn vào số lượng người dùng và thời gian sử dụng trên mỗi người dùng, thì thật điên rồ. Bạn sẽ bắt đầu kinh doanh TOB trong tương lai chứ? Giống như một robot dịch vụ khách hàng?
KHÔNG CÓ:
Hiện tại chúng tôi có 22 nhân viên nên chúng tôi cần ưu tiên và chúng tôi đang tuyển dụng. Ưu tiên hàng đầu là TOC.
SARAH:
Vì vậy, bạn đã nói một trong những lý do chính tại sao LaMDA không được tung ra ngay lập tức là bảo mật. các bạn nghĩ sao?
KHÔNG CÓ:
Có những lý do khác. Ví dụ: Google không muốn mọi người làm tổn thương chính họ hoặc làm tổn thương người khác và Google cần chặn nội dung khiêu dâm. Đã có một số phản đối xung quanh điều này.
SỐNG:
Bạn có nghĩ rằng tất cả điều này là con đường dẫn đến AGI hoặc siêu trí tuệ? Đối với một số công ty, đây dường như là một phần của mục tiêu và đối với những công ty khác, nó dường như không phải là một mục tiêu rõ ràng.
KHÔNG CÓ:
Đúng vậy, AGI là mục tiêu của nhiều công ty khởi nghiệp AI. ** Lý do thực sự là tôi muốn thúc đẩy công nghệ phát triển. Có rất nhiều vấn đề kỹ thuật trên thế giới có thể được giải quyết, chẳng hạn như các bệnh nan y. Chúng tôi có thể đưa ra các giải pháp kỹ thuật. **
Đó là lý do tại sao tôi nghiên cứu về trí tuệ nhân tạo,** bởi vì thay vì nghiên cứu trực tiếp về y học, tốt hơn là nghiên cứu về trí tuệ nhân tạo, và sau đó trí tuệ nhân tạo có thể được sử dụng để tăng tốc các nỗ lực nghiên cứu khác. Vì vậy, về cơ bản, đó là lý do tại sao tôi đang làm việc rất chăm chỉ với AI, tôi muốn thành lập một công ty vừa ưu tiên AGI vừa ưu tiên sản phẩm. **
Sản phẩm của bạn phụ thuộc hoàn toàn vào chất lượng của AI. Yếu tố quyết định lớn nhất đến chất lượng sản phẩm của chúng tôi là mức độ thông minh của sản phẩm. Vì vậy, bây giờ chúng tôi hoàn toàn có động lực để làm cho AI tốt hơn, làm cho sản phẩm tốt hơn.
SỐNG:
Vâng, đó là một vòng phản hồi mua hàng thực sự thú vị vì theo quan điểm của bạn, khi bạn làm cho một sản phẩm tốt hơn, nhiều người tương tác với nó hơn, điều này giúp làm cho sản phẩm tốt hơn. Vì vậy, đó là một cách tiếp cận rất thông minh. Bạn nghĩ chúng ta còn cách trí tuệ nhân tạo thông minh bằng hoặc thông minh hơn con người bao xa? Rõ ràng là chúng đã thông minh hơn con người ở một số khía cạnh, nhưng tôi chỉ đang nghĩ về điều gì đó tương tự.
KHÔNG CÓ:
Chúng ta luôn ngạc nhiên trước những cách mà trí tuệ nhân tạo có thể vượt trội hơn con người. Một số AI hiện có thể làm bài tập về nhà cho bạn. Tôi ước tôi có một cái gì đó như thế này khi tôi còn là một đứa trẻ.
SỐNG:
Bạn sẽ đưa ra lời khuyên nào cho những người có nền tảng tương tự như bạn? Chẳng hạn như bạn đã học được điều gì với tư cách là người sáng lập mà bạn không nhất thiết phải học khi làm việc tại Google hoặc nơi khác?
KHÔNG CÓ:
câu hỏi hay. Về cơ bản, bạn học hỏi từ những sai lầm khủng khiếp của mình. Mặc dù tôi không nghĩ rằng chúng tôi đã mắc phải bất kỳ sai lầm rất, rất tồi tệ nào, hoặc ít nhất chúng tôi đã bù đắp cho nó.
SARAH:
Bạn đang tìm kiếm loại tài năng nào?
KHÔNG CÓ:
cho đến nay? 21 trong số 22 là kỹ sư. Chúng tôi cũng sẽ thuê thêm kỹ sư. Cho dù đó là deep learning hay front-end và back-end, hãy đảm bảo thuê thêm người ở mảng kinh doanh và sản phẩm.
SỐNG:
Hai hoặc ba câu hỏi nhanh cuối cùng, ai là nhà toán học hoặc nhà khoa học máy tính yêu thích của bạn.
KHÔNG CÓ:
Tôi làm việc với Jeff Dean (trưởng bộ phận Google Brain) rất nhiều tại Google. Anh ấy thực sự tốt và vui vẻ khi làm việc cùng. Tôi nghĩ rằng anh ấy đang làm việc trên mô hình ngôn ngữ lớn của họ ngay bây giờ. Thật đáng tiếc khi rời khỏi Google và tôi hy vọng sẽ được làm việc với anh ấy trong tương lai.
SỐNG:
Bạn có nghĩ rằng toán học đã được phát minh hoặc khám phá?
KHÔNG CÓ:
Tôi nghĩ có lẽ nó đã được khám phá, có thể mọi thứ đã được khám phá, và chúng ta chỉ đang khám phá thôi.
Xem bản gốc
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
22 người được định giá 1 tỷ! Đối thoại với CEO Character.ai: Thay vì trực tiếp học y, học trí tuệ nhân tạo sẽ tốt hơn
Vào đầu năm nay, Charater.ai đã hoàn thành khoản tài trợ vòng A trị giá 150 triệu đô la Mỹ, với mức định giá hơn 1 tỷ đô la Mỹ và được thăng cấp thành kỳ lân, với đội ngũ chỉ có 22 người.
Vào tháng 4, Giám đốc điều hành của Character.ai, Noam Shazeer, cựu thành viên của nhóm Google Brain, đã được phỏng vấn bởi podcast No Priors.
Sau đây là bản ghi nguyên văn của âm thanh podcast. ELAD và SARAH là máy chủ của podcast. Để dễ hiểu, một số đoạn đã bị xóa.
Kinh nghiệm làm việc ban đầu tại Google và sự ra đời của Transformer
SỐNG:
Bạn đã làm việc trong NLP và AI trong một thời gian dài. Bạn đã làm việc tại Google trong 17 năm, nơi các câu hỏi phỏng vấn xoay quanh các giải pháp kiểm tra chính tả. Khi tôi gia nhập Google, một trong những hệ thống nhắm mục tiêu quảng cáo chính vào thời điểm đó là Phil Cluster, mà tôi nghĩ là bạn và George Herrick đã viết. Tôi muốn biết về lịch sử công việc của bạn trên các mô hình ngôn ngữ NLP cho trí tuệ nhân tạo, tất cả điều này đã phát triển như thế nào, bạn đã bắt đầu như thế nào, điều gì đã khiến bạn quan tâm?
KHÔNG CÓ:
Cảm ơn Elad. Vâng, chỉ là, luôn luôn là một sức hút tự nhiên đối với AI. Hy vọng rằng nó sẽ làm cho máy tính làm điều gì đó thông minh. Có vẻ là trò chơi hài hước nhất xung quanh. Tôi đủ may mắn để phát hiện ra Google từ rất sớm và đã tham gia vào rất nhiều dự án ban đầu ở đó, có thể bây giờ bạn sẽ không gọi nó là trí tuệ nhân tạo. Từ năm 2012, tôi đã tham gia nhóm Google Brain. Làm một số điều thú vị với một nhóm người thực sự thông minh. Tôi chưa bao giờ học sâu hoặc mạng lưới thần kinh trước đây.
SỐNG:
Bạn là một trong những người tham gia nghiên cứu về máy biến áp vào năm 2017, sau đó bạn đã tham gia vào công việc trên Mesh-TensorFlow. Bạn có thể nói một chút về cách tất cả những thứ này hoạt động không?
KHÔNG CÓ:
Học sâu thành công vì nó thực sự phù hợp với phần cứng hiện đại và bạn có thế hệ chip này, trong phép nhân ma trận và các dạng công cụ khác, đòi hỏi nhiều tính toán so với giao tiếp. Vì vậy, về cơ bản, học sâu đã thực sự phát triển, nó chạy nhanh hơn hàng nghìn lần so với bất kỳ thứ gì khác. Khi đã thành thạo, tôi bắt đầu thiết kế những thứ thực sự thông minh và nhanh chóng. Vấn đề thú vị nhất hiện nay là mô hình hóa ngôn ngữ. Vì có vô số dữ liệu nên chỉ cần vét mạng là bạn có thể lấy được tất cả dữ liệu huấn luyện mình muốn.
Định nghĩa của bài toán rất đơn giản, đó là dự đoán từ tiếp theo, con mèo béo ngồi trên đó, từ tiếp theo là gì. Nó rất dễ xác định, và nếu bạn có thể làm tốt, thì bạn có thể có được mọi thứ bạn thấy bây giờ và bạn có thể nói chuyện trực tiếp với thứ này, nó thực sự là trí tuệ nhân tạo. Vì vậy, vào khoảng năm 2015, tôi bắt đầu nghiên cứu mô hình hóa ngôn ngữ và làm việc với các mạng thần kinh hồi quy, đó là điều tuyệt vời vào thời điểm đó. Sau đó, máy biến áp xuất hiện.
Tôi tình cờ nghe được các đồng nghiệp bên cạnh trò chuyện về việc muốn thay thế RNN bằng thứ gì đó tốt hơn. Tôi giống như, điều này nghe có vẻ hay, tôi muốn giúp đỡ, RNNs thật phiền phức, điều này sẽ thú vị hơn.
SỐNG:
Bạn có thể nhanh chóng mô tả sự khác biệt giữa mạng thần kinh tái phát và mô hình biến áp hoặc dựa trên sự chú ý không?
KHÔNG CÓ:
Mạng thần kinh hồi quy là những phép tính liên tục, cứ mỗi từ bạn đọc đến từ tiếp theo, bạn tính toán trạng thái não hiện tại của mình dựa trên trạng thái cũ của não và nội dung của từ tiếp theo. Sau đó, bạn, bạn dự đoán từ tiếp theo. Vì vậy, bạn có chuỗi phép tính rất dài này phải được thực hiện tuần tự, và do đó, điều kỳ diệu của Transformer là bạn có thể xử lý toàn bộ chuỗi cùng một lúc.
Dự đoán cho từ tiếp theo phụ thuộc vào từ trước đó, nhưng nó diễn ra theo một bước liên tục và bạn có thể tận dụng lợi thế của tính song song này, bạn có thể xem xét toàn bộ nội dung cùng một lúc, giống như tính song song mà phần cứng hiện đại rất giỏi .
Bây giờ bạn có thể tận dụng độ dài của chuỗi, tính song song của bạn và mọi thứ hoạt động rất tốt. chú ý chính nó. Giống như nếu bạn đang tạo liên kết khóa-giá trị lớn trong bộ nhớ này, thì bạn giống như đang xây dựng bảng lớn này với mục nhập cho mỗi từ trong chuỗi. Sau đó, bạn tìm kiếm những thứ trong bảng này. Tất cả đều giống như hàm mờ, phân biệt và lớn kiểu Pháp mà qua đó bạn có thể làm ngược lại. Mọi người đã sử dụng điều này cho các vấn đề với hai trình tự, trong đó bạn có bản dịch máy và bạn muốn dịch tiếng Anh sang tiếng Pháp, vì vậy khi bạn tạo trình tự tiếng Pháp, bạn giống như đang nhìn vào trình tự tiếng Anh và cố gắng chú ý đến đúng vị trí trong dãy. Nhưng cái nhìn sâu sắc ở đây là bạn có thể sử dụng chính sự chú ý đó để nhìn lại quá khứ của trình tự mà bạn đang cố gắng thực hiện. Điều thú vị là nó hoạt động tốt trên GPU và GPU, điều này song song với sự phát triển của deep learning vì nó hoạt động tốt trên phần cứng hiện có. Và điều đó mang lại điều tương tự cho trình tự.
SARAH:
Vâng, tôi nghĩ ví dụ điển hình về việc giúp mọi người hình dung đó là nói cùng một câu bằng tiếng Pháp và tiếng Anh, thứ tự các từ khác nhau, bạn không phải là ánh xạ một đối một theo trình tự đó và tìm ra cách để làm điều đó mà không có thông tin Làm điều này với tính toán song song trong trường hợp mất mát. Vì vậy, nó giống như một điều rất tao nhã để làm.
SỐNG:
Có vẻ như kỹ thuật này đang được sử dụng trong nhiều lĩnh vực khác nhau. Rõ ràng đây là những mô hình ngôn ngữ đa phương thức. Vì vậy, nó giống như trò chuyện GPT hoặc một nhân vật bạn đang làm. Tôi cũng ngạc nhiên về một số ứng dụng như Alpha Folding, công việc gấp protein mà Google đã thực hiện, nó thực sự hoạt động với hiệu suất rất cao. Có bất kỳ lĩnh vực ứng dụng nào mà bạn thấy thực sự bất ngờ liên quan đến cách máy biến áp hoạt động và liên quan đến những gì chúng có thể làm không?
KHÔNG CÓ:
Tôi chỉ cúi đầu trước ngôn ngữ, giống như ở đây bạn có vấn đề và có thể làm bất cứ điều gì. Tôi hy vọng điều này là đủ tốt. Vì vậy, tôi hỏi nó, làm thế nào để bạn chữa bệnh ung thư? Sau đó, nó giống như phát minh ra một giải pháp. Vì vậy, tôi đã hoàn toàn phớt lờ những gì mọi người đang làm trong tất cả các chế độ khác này và tôi nghĩ rằng rất nhiều thành công ban đầu trong học sâu là nhờ hình ảnh và mọi người hào hứng với hình ảnh nhưng lại hoàn toàn phớt lờ nó. Bởi vì, một bức tranh đáng giá ngàn lời nói, nhưng nó có hàng triệu điểm ảnh, nên văn bản dày đặc hơn ngàn lần. Vì vậy, tôi là một fan hâm mộ lớn theo nghĩa đen. Nhưng thật thú vị khi thấy nó phát triển theo tất cả những cách khác. Những điều này là tuyệt vời. Nó cực kỳ hữu ích để xây dựng các sản phẩm mà mọi người muốn sử dụng, nhưng tôi nghĩ rằng rất nhiều trí thông minh cốt lõi sẽ đến từ các mô hình văn bản này.
Hạn chế của mô hình lớn: sức mạnh tính toán không phải là vấn đề, dữ liệu cũng vậy
SỐNG:
Theo bạn đâu là hạn chế của những mô hình này? Mọi người thường nói về quy mô vừa phải, giống như bạn chỉ cần tăng thêm sức mạnh tính toán và thứ này sẽ mở rộng hơn nữa. Có dữ liệu và các loại dữ liệu khác nhau có thể có hoặc không có ở đó. Và các chỉnh sửa thuật toán, và thêm những thứ mới như bộ nhớ hoặc vòng lặp ngược hoặc thứ gì đó tương tự. Bạn nghĩ những điều lớn lao mà mọi người vẫn cần phải xây dựng là gì, và bạn nghĩ nó đang được khai thác như một kiến trúc ở đâu?
KHÔNG CÓ:
Vâng, tôi không biết nếu nó sẽ bị loại bỏ. Ý tôi là, chúng ta vẫn chưa thấy nó ra mắt. Có lẽ không có gì so với số lượng công việc đi vào nó. Vì vậy, có khả năng có tất cả các loại giống như hai sự kém hiệu quả mà mọi người mắc phải với thuật toán đào tạo tốt hơn, kiến trúc mô hình tốt hơn, cách tốt hơn để xây dựng chip và sử dụng lượng tử hóa, v.v. Và sau đó sẽ có 10, 100 và 1.000 yếu tố như quy mô và tiền bạc mà mọi người sẽ ném vào thứ này bởi vì này, mọi người vừa nhận ra rằng thứ này vô cùng quý giá. Đồng thời, tôi không nghĩ có ai thấy thứ này tốt như thế nào đối với một bức tường. Vì vậy, tôi nghĩ rằng nó chỉ, nó sẽ tiếp tục trở nên tốt hơn. Tôi không và tôi không biết điều gì đang ngăn cản nó.
SARAH:
Bạn nghĩ sao về ý tưởng này, chúng ta có thể tăng sức mạnh tính toán, nhưng dữ liệu đào tạo mô hình lớn nhất là không đủ. Chúng tôi đã sử dụng tất cả các dữ liệu văn bản sẵn có trên internet. Chúng ta phải đi cải thiện chất lượng, chúng ta phải đi đến phản hồi của con người. bạn đang nghĩ gì vậy.
KHÔNG CÓ:
Với 10 tỷ người, mỗi người tạo ra 1.000 hoặc 10.000 từ, đó là một lượng dữ liệu khổng lồ. Tất cả chúng ta đều thực hiện rất nhiều cuộc trò chuyện với các hệ thống AI. Vì vậy, tôi có cảm giác rằng rất nhiều dữ liệu sẽ được đưa vào một số hệ thống AI, ý tôi là theo cách bảo vệ quyền riêng tư, tôi hy vọng dữ liệu đó có thể được đưa vào. Sau đó, các yêu cầu về dữ liệu có xu hướng mở rộng theo cấp số nhân với sức mạnh tính toán bởi vì bạn đang đào tạo một mô hình lớn hơn và sau đó bạn sẽ ném nhiều dữ liệu hơn vào đó. Tôi không lo lắng về việc thiếu dữ liệu, chúng tôi có thể tạo ra nhiều dữ liệu hơn với AI.
SỐNG:
Sau đó, bạn nghĩ những vấn đề chính mà các mô hình này sẽ giải quyết trong tương lai là gì? Đó là ảo giác, ký ức hay cái gì khác?
KHÔNG CÓ:
Tôi không có ý kiến. Tôi giống như ảo giác.
SARAH:
Đây cũng là một tính năng.
KHÔNG CÓ:
Điều chúng tôi muốn làm nhất là ghi nhớ, bởi vì người dùng của chúng tôi chắc chắn muốn những người bạn ảo của họ nhớ đến họ. Bạn có thể làm được nhiều việc với cá nhân hóa, bạn muốn kết xuất nhiều dữ liệu và sử dụng nó một cách hiệu quả. Có rất nhiều công việc đang diễn ra để cố gắng tìm ra đâu là thực và đâu là ảo giác. Tất nhiên, tôi nghĩ chúng ta sẽ khắc phục điều đó.
Câu chuyện khởi nghiệp của Character.ai
SỐNG:
Hãy cho tôi biết một chút về LaMDA và vai trò của bạn trong đó, bạn đã nghĩ ra Nhân vật như thế nào?
KHÔNG CÓ:
Người đồng sáng lập của tôi, Daniel Freitas, là người làm việc chăm chỉ nhất, chăm chỉ nhất và thông minh nhất mà tôi từng gặp. Anh ấy đã làm việc với nhiệm vụ xây dựng chatbot này cả đời mình. Anh ấy đã cố gắng xây dựng chatbot từ khi còn là một đứa trẻ. Vì vậy, anh ấy đã tham gia Google Brain. Anh ấy đã đọc một số bài báo và nghĩ rằng kỹ thuật mô hình hóa ngôn ngữ thần kinh này là thứ có thể thực sự khái quát hóa và xây dựng một lĩnh vực thực sự mở.
Mặc dù không nhận được sự ủng hộ của nhiều người nhưng anh ấy chỉ coi dự án này như một công việc bên lề và dành 20% thời gian của mình cho nó.
Sau đó, ông tuyển dụng một đội quân gồm 20% trợ lý giúp ông thiết lập hệ thống.
Anh ấy thậm chí còn đi khắp nơi để lấy hạn ngạch TPU của người khác, anh ấy gọi dự án của mình là Mina vì anh ấy thích nó, tôi đoán là đã nghĩ ra nó trong một giấc mơ. Có lúc tôi nhìn vào bảng điểm và nghĩ cái thứ gọi là Mina này là gì, tại sao nó lại có 30 điểm TPU?
SỐNG:
LaMDA nó thế này, mình biết nó là một chatbot nội bộ Google làm trước GPT. Tin tức trở nên nổi tiếng vì một kỹ sư nghĩ rằng nó có trí tuệ.
KHÔNG CÓ:
Vâng, chúng tôi đã đưa nó vào một số mô hình ngôn ngữ lớn, và sau đó có một tiếng vang trong công ty, và Mina được đổi tên thành LaMDA, và sau đó, chúng tôi đã rời đi, và có những người tin rằng nó vẫn tồn tại.
SARAH:
Tại sao nó không được phát hành sau đó, và những gì quan tâm?
KHÔNG CÓ:
Đối với một công ty lớn, việc tung ra một sản phẩm biết mọi thứ là hơi nguy hiểm. Tôi đoán đó chỉ là vấn đề rủi ro. Vì vậy, sau nhiều cân nhắc, bắt đầu kinh doanh dường như là một ý tưởng đúng đắn.
SARAH:
Câu chuyện nguồn gốc của nhân vật như thế nào?
KHÔNG CÓ:
Chúng tôi chỉ muốn xây dựng một cái gì đó và đưa nó ra thị trường càng nhanh càng tốt. Tôi đã thành lập một nhóm gồm các kỹ sư, nhà nghiên cứu, có một số sức mạnh tính toán và bắt đầu kinh doanh.
SỐNG:
Làm thế nào để bạn tuyển dụng?
KHÔNG CÓ:
Một số người mà chúng tôi gặp ở Google tình cờ được giới thiệu với Myat, người từng đến từ Meta, và anh ấy đã triển khai rất nhiều, đồng thời xây dựng rất nhiều công cụ mô hình ngôn ngữ lớn và cơ sở hạ tầng mô hình ngôn ngữ thần kinh của họ, và một số người khác từ Meta đi theo anh ấy, Họ rất tốt.
SỐNG:
Bạn có yêu cầu cụ thể hoặc phương pháp kiểm tra khi tìm kiếm nhân tài không? Hay đó chỉ là một cuộc phỏng vấn thông thường?
NOAM
Tôi nghĩ rằng nó phần lớn phụ thuộc vào động lực. Tôi nghĩ Daniel rất tập trung vào động lực, anh ấy đang tìm kiếm trạng thái giữa khao khát mạnh mẽ và ước mơ thời thơ ấu, vì vậy có rất nhiều người giỏi mà chúng tôi không thuê vì họ không đạt đến trình độ đó, nhưng chúng tôi cũng thuê rất nhiều người, Họ là những người hoàn hảo để gia nhập một công ty mới thành lập, họ rất tài năng và có định hướng.
Đã có Siri và Alexa trên thị trường, đừng cạnh tranh trực tiếp với các công ty lớn về chức năng
SARAH:
Nói về ước mơ thời thơ ấu, bạn muốn mô tả sản phẩm này? Bạn có những bot này, chúng có thể do người dùng tạo, chúng có thể do nhân vật tạo, chúng có thể là nhân vật của công chúng, nhân vật lịch sử, nhân vật hư cấu, làm thế nào bạn nghĩ ra mẫu này?
KHÔNG CÓ:
Người dùng thường biết rõ hơn bạn những gì họ muốn làm với thứ này. ** Siri và Alexa và Google Assistant đã có mặt trên thị trường, không cần phải cạnh tranh về chức năng với các công ty lớn này. **
Nếu bạn cố gắng thể hiện một nhân vật công khai mà mọi người yêu thích, thì cuối cùng bạn sẽ chẳng nhận được gì ngoài sự nhàm chán. Và mọi người không thích bị nhàm chán, họ muốn tương tác với những thứ mà họ cảm thấy giống như mọi người.
Vì vậy, về cơ bản, bạn cần tạo nhiều ký tự và để mọi người phát minh ra các ký tự theo ý muốn của họ, và tôi thích cái tên Ký tự có một số ý nghĩa khác nhau: văn bản, ký tự, ký tự.
SARAH:
Vì vậy, những gì mọi người muốn? một người bạn? viết tiểu thuyết? Bất cứ điều gì khác hoàn toàn mới?
KHÔNG CÓ:
Một số người dùng sẽ trò chuyện với những nhân vật ảo của công chúng và những người có ảnh hưởng trên các sản phẩm của chúng tôi. Người dùng có thể tạo một nhân vật và nói chuyện với nó. Trong khi một số người dùng có thể cảm thấy cô đơn và cần ai đó để nói chuyện, thì nhiều người lại không có ai để nói chuyện. Một số người sẽ nói rằng vai trò này bây giờ là cố vấn mới của tôi.
SARAH:
Hai cách suy nghĩ về cảm xúc, phải không? Chẳng hạn như mối quan hệ giữa mọi người với các nhân vật quan trọng như thế nào, hay chúng ta đang ở mức độ nào khi thể hiện cảm xúc mạch lạc?
KHÔNG CÓ:
Vâng, ** Ý tôi là có lẽ bạn không cần trình độ trí tuệ cao cấp đó để hỗ trợ tinh thần. Cảm xúc là điều tuyệt vời và cực kỳ quan trọng, nhưng một chú chó cũng có thể hỗ trợ tinh thần rất tốt. Chó cung cấp hỗ trợ tinh thần tuyệt vời nhưng có ít khả năng bằng lời nói, **
SỐNG:
Bạn nghĩ điều gì sẽ xảy ra với hệ thống khi bạn mở rộng quy mô?
KHÔNG CÓ:
Tôi nghĩ chúng ta có thể làm cho nó thông minh hơn theo nhiều cách khác nhau. Có thêm sức mạnh tính toán, đào tạo một mô hình lớn hơn và đào tạo lâu hơn sẽ trở nên thông minh hơn, hiểu biết hơn, hiểu rõ hơn những gì mọi người muốn, những gì mọi người đang tìm kiếm.
SARAH:
Bạn có một số người dùng sử dụng Ký tự nhiều giờ mỗi ngày. đối tượng mục tiêu của bạn là ai? mô hình sử dụng dự kiến của bạn là gì.
KHÔNG CÓ:
Chúng tôi sẽ để người dùng quyết định. Mục tiêu của chúng tôi luôn là đưa mọi thứ ra khỏi đó và để người dùng quyết định xem họ nghĩ nội dung đó tốt cho việc gì.
Chúng tôi thấy rằng những người hiện đang truy cập trang web Nhân vật, thời gian hoạt động trung bình là hai giờ. Đây là người đã gửi thông điệp ngày hôm nay, điều này thật điên rồ nhưng có ý nghĩa, và nó nói rằng mọi người đang tìm thấy một loại giá trị nào đó.
Và như tôi đã nói, thật khó để nói chính xác giá trị đó là gì bởi vì nó thực sự giống như một thứ hỗn hợp lớn. Nhưng mục tiêu của chúng tôi là làm cho thứ này trở nên hữu ích hơn để mọi người có thể tùy chỉnh nó và quyết định xem họ muốn làm gì với nó. Hãy đưa nó đến tay người dùng và xem điều gì sẽ xảy ra.
Đốt tiền cho scale TOC là ưu tiên hàng đầu
SARAH:
Bạn nghĩ thế nào về thương mại hóa?
KHÔNG CÓ:
**Chúng tôi mất tiền cho mỗi người dùng và bù đắp bằng số lượng. **
SARAH:
Tốt. Đây là chiến lược tốt.
KHÔNG CÓ:
Không, tôi đùa đấy.
SỐNG:
Giống như mô hình kinh doanh truyền thống của những năm 1990, vậy là ổn.
SARAH:
Đây cũng là mô hình kinh doanh cho năm 2022.
SỐNG:
Bạn nên phát hành mã thông báo và biến nó thành một thứ tiền điện tử.
KHÔNG CÓ:
** Chúng tôi sẽ sớm kiếm tiền vào một thời điểm nào đó. Đây là một doanh nghiệp được hưởng lợi từ rất nhiều sức mạnh tính toán. Thay vì đốt tiền của các nhà đầu tư, chúng tôi hy vọng sẽ cung cấp giá trị cho đủ người dùng và kiếm tiền trên đường đi. Một số dịch vụ như loại đăng ký cao cấp có thể được dùng thử sau. Khi chúng tôi phát triển một số tính năng mới, các khoản phí tiếp theo có thể tăng giá. **
SỐNG:
Ý tôi là, Nhân vật như một dịch vụ TOC đã thực sự phát triển theo một cách thực sự ấn tượng. Nếu bạn nhìn vào số lượng người dùng và thời gian sử dụng trên mỗi người dùng, thì thật điên rồ. Bạn sẽ bắt đầu kinh doanh TOB trong tương lai chứ? Giống như một robot dịch vụ khách hàng?
KHÔNG CÓ:
Hiện tại chúng tôi có 22 nhân viên nên chúng tôi cần ưu tiên và chúng tôi đang tuyển dụng. Ưu tiên hàng đầu là TOC.
SARAH:
Vì vậy, bạn đã nói một trong những lý do chính tại sao LaMDA không được tung ra ngay lập tức là bảo mật. các bạn nghĩ sao?
KHÔNG CÓ:
Có những lý do khác. Ví dụ: Google không muốn mọi người làm tổn thương chính họ hoặc làm tổn thương người khác và Google cần chặn nội dung khiêu dâm. Đã có một số phản đối xung quanh điều này.
SỐNG:
Bạn có nghĩ rằng tất cả điều này là con đường dẫn đến AGI hoặc siêu trí tuệ? Đối với một số công ty, đây dường như là một phần của mục tiêu và đối với những công ty khác, nó dường như không phải là một mục tiêu rõ ràng.
KHÔNG CÓ:
Đúng vậy, AGI là mục tiêu của nhiều công ty khởi nghiệp AI. ** Lý do thực sự là tôi muốn thúc đẩy công nghệ phát triển. Có rất nhiều vấn đề kỹ thuật trên thế giới có thể được giải quyết, chẳng hạn như các bệnh nan y. Chúng tôi có thể đưa ra các giải pháp kỹ thuật. **
Đó là lý do tại sao tôi nghiên cứu về trí tuệ nhân tạo,** bởi vì thay vì nghiên cứu trực tiếp về y học, tốt hơn là nghiên cứu về trí tuệ nhân tạo, và sau đó trí tuệ nhân tạo có thể được sử dụng để tăng tốc các nỗ lực nghiên cứu khác. Vì vậy, về cơ bản, đó là lý do tại sao tôi đang làm việc rất chăm chỉ với AI, tôi muốn thành lập một công ty vừa ưu tiên AGI vừa ưu tiên sản phẩm. **
Sản phẩm của bạn phụ thuộc hoàn toàn vào chất lượng của AI. Yếu tố quyết định lớn nhất đến chất lượng sản phẩm của chúng tôi là mức độ thông minh của sản phẩm. Vì vậy, bây giờ chúng tôi hoàn toàn có động lực để làm cho AI tốt hơn, làm cho sản phẩm tốt hơn.
SỐNG:
Vâng, đó là một vòng phản hồi mua hàng thực sự thú vị vì theo quan điểm của bạn, khi bạn làm cho một sản phẩm tốt hơn, nhiều người tương tác với nó hơn, điều này giúp làm cho sản phẩm tốt hơn. Vì vậy, đó là một cách tiếp cận rất thông minh. Bạn nghĩ chúng ta còn cách trí tuệ nhân tạo thông minh bằng hoặc thông minh hơn con người bao xa? Rõ ràng là chúng đã thông minh hơn con người ở một số khía cạnh, nhưng tôi chỉ đang nghĩ về điều gì đó tương tự.
KHÔNG CÓ:
Chúng ta luôn ngạc nhiên trước những cách mà trí tuệ nhân tạo có thể vượt trội hơn con người. Một số AI hiện có thể làm bài tập về nhà cho bạn. Tôi ước tôi có một cái gì đó như thế này khi tôi còn là một đứa trẻ.
SỐNG:
Bạn sẽ đưa ra lời khuyên nào cho những người có nền tảng tương tự như bạn? Chẳng hạn như bạn đã học được điều gì với tư cách là người sáng lập mà bạn không nhất thiết phải học khi làm việc tại Google hoặc nơi khác?
KHÔNG CÓ:
câu hỏi hay. Về cơ bản, bạn học hỏi từ những sai lầm khủng khiếp của mình. Mặc dù tôi không nghĩ rằng chúng tôi đã mắc phải bất kỳ sai lầm rất, rất tồi tệ nào, hoặc ít nhất chúng tôi đã bù đắp cho nó.
SARAH:
Bạn đang tìm kiếm loại tài năng nào?
KHÔNG CÓ:
cho đến nay? 21 trong số 22 là kỹ sư. Chúng tôi cũng sẽ thuê thêm kỹ sư. Cho dù đó là deep learning hay front-end và back-end, hãy đảm bảo thuê thêm người ở mảng kinh doanh và sản phẩm.
SỐNG:
Hai hoặc ba câu hỏi nhanh cuối cùng, ai là nhà toán học hoặc nhà khoa học máy tính yêu thích của bạn.
KHÔNG CÓ:
Tôi làm việc với Jeff Dean (trưởng bộ phận Google Brain) rất nhiều tại Google. Anh ấy thực sự tốt và vui vẻ khi làm việc cùng. Tôi nghĩ rằng anh ấy đang làm việc trên mô hình ngôn ngữ lớn của họ ngay bây giờ. Thật đáng tiếc khi rời khỏi Google và tôi hy vọng sẽ được làm việc với anh ấy trong tương lai.
SỐNG:
Bạn có nghĩ rằng toán học đã được phát minh hoặc khám phá?
KHÔNG CÓ:
Tôi nghĩ có lẽ nó đã được khám phá, có thể mọi thứ đã được khám phá, và chúng ta chỉ đang khám phá thôi.