📢 Gate广场 #NERO发帖挑战# 秀观点赢大奖活动火热开启!
Gate NERO生态周来袭!发帖秀出NERO项目洞察和活动实用攻略,瓜分30,000NERO!
💰️ 15位优质发帖用户 * 2,000枚NERO每人
如何参与:
1️⃣ 调研NERO项目
对NERO的基本面、社区治理、发展目标、代币经济模型等方面进行研究,分享你对项目的深度研究。
2️⃣ 参与并分享真实体验
参与NERO生态周相关活动,并晒出你的参与截图、收益图或实用教程。可以是收益展示、简明易懂的新手攻略、小窍门,也可以是行情点位分析,内容详实优先。
3️⃣ 鼓励带新互动
如果你的帖子吸引到他人参与活动,或者有好友评论“已参与/已交易”,将大幅提升你的获奖概率!
NERO热门活动(帖文需附以下活动链接):
NERO Chain (NERO) 生态周:Gate 已上线 NERO 现货交易,为回馈平台用户,HODLer Airdrop、Launchpool、CandyDrop、余币宝已上线 NERO,邀您体验。参与攻略见公告:https://www.gate.com/announcements/article/46284
高质量帖子Tips:
教程越详细、图片越直观、互动量越高,获奖几率越大!
市场见解独到、真实参与经历、有带新互动者,评选将优先考虑。
帖子需原创,字数不少于250字,且需获得至少3条有效互动
王小川公布最新大模型,号称全球最长上下文,是GPT-4的14倍
原文来源:钛媒体
作者:林志佳
国内大模型技术竞争加速,继讯飞星火、智谱推出最新产品之后,百川也迎来了新的大模型成果。
**钛媒体获悉,**10月30日上午,王小川创立的 AI 大模型公司“百川智能”宣布,推出Baichuan2-192K大模型,其上下文窗口长度高达192K,能够处理约35万个汉字。
**百川智能称,Baichuan2-192K是目前全球最长的上下文窗口,也是目前支持长上下文窗口最优秀大模型Claude2(支持100K上下文窗口,实测约8万字)的4.4倍,更是GPT-4(支持32K上下文窗口,实测约 2.5万字)的14倍(1400%)。**这不仅在上下文窗口长度上超越Claude2,在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。
据悉,Baichuan2-192K将以API调用和私有化部署的方式提供给企业用户。目前百川智能已经启动该大模型的API内测,并开放给法律、媒体、金融等行业的核心合作伙伴。
过去200多天,百川智能平均每28天发布一款大模型,已连续Baichuan-7B/13B,Baichuan2-7B/13B四款开源可免费商用大模型及Baichuan-53B、Baichuan2-53B两款闭源大模型,在写作、文本创作等领域能力已达到行业较好水平。目前,Baichuan-7B/13B两款开源大模型在多个权威评测榜单均名列前茅,累积下载量超过600万次。
对于建立 AI 大模型公司,王小川曾表示,其团队已有的技术工具可以用来建造大模型,公司的竞争对手就是大公司的开源方案。王小川还认为,整个团队不用太大,百人足够。
8月31日,百川智能率先通过国家《生成式人工智能服务管理暂行办法》备案,是首批八家公司中唯一一家今年成立的大模型初创公司,并于9月25日开放Baichuan2-53B API接口,正式进军To B企业端领域,开启商业化进程。
10月17日,百川智能宣布已完成A1轮3亿美元的战略融资,阿里、腾讯、小米等科技巨头及多家顶级投资机构均参投了本轮。加上天使轮的5000万美元,百川智能累计融资额已达3.5亿美元(约合人民币25.43亿元)。
百川智能未透露当前具体估值,仅表示本轮融资后,公司跻身于科技独角兽行列。根据一般定义,独角兽估值超过10亿美元(约合人民币72.66亿元)。
此次发布的Baichuan2-192K,百川智能表示在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异,有7项取得SOTA,显著超过其他长窗口模型,全面领先Claude2。
算法方面,百川智能提出了一种针对RoPE和ALiBi动态位置编码的外推方案,在保证分辨率的同时增强了模型对长序列依赖的建模能力,而且当窗口长度扩大,Baichuan2-192K的序列建模能力持续增强;工程方面,在自主开发的分布式训练框架基础上,百川智能整合优化多个技术,独创了一套全面的4D并行分布式方案,能够根据模型具体的负载情况,自动寻找最适合的分布式策略,极大降低了长窗口训练和推理过程中的显存占用。
Baichuan2-192K便能够与更多的垂直场景深度结合,真正在人们的工作、生活、学习中发挥作用,助力行业用户更好的降本增效。比如它可以帮助基金经理总结和解释财务报表,分析公司的风险和机遇;帮助律师识别多个法律文件中的风险,审核合同和法律文件;帮助技术人员阅读数百页的开发文档,并回答技术问题;还能帮助科员人员快速浏览大量论文,总结最新的前沿进展等。
目前,Baichuan2-192K以API调用的方式开放给百川智能的核心合作伙伴,已经与财经类媒体及律师事务所等机构达成了合作,称不久后将全面开放。
王小川团队表示,百川智能Baichuan2-192K在算法和工程上针对长上下文窗口进行创新,验证了长上下文窗口的可行性,为大模型性能提升开拓出了新的科研路径。同时,其更长的上下文还将为行业探索Agent、多模态应用等前沿领域打下良好技术基础。