分类

GPT或AIGC如何被卡脖子?

最近你的ChatGPT账户是不是被关了?

OpenAI的ChatGPT是有史以来最快破亿用户的应用软件。推特Twitter用了90个月才有1亿用户,脸书Meta用了54个月,目前全球最火的抖音TikTok用了9个月,ChatGPT只用了2个月。这是黄仁勋老板发明用显卡创造新一代人工智能计算后最成功的一次商业应用。马斯克在微软投资了OpenAI时对奥特曼总裁非常不满而选择离开。微软股价从去年11月的214美元涨到今年3月底的288美元,涨幅35%,市值达到2.2万亿美元。

ChatGPT是一种人工智能内容输出AIGC模型。他的底层逻辑是GPT的T,代表一种依据使用者注意力来预测答案的模型Transformer。注意力预测模型是谷歌的Ashish Vaswani发明的,他的论文在2017年发布,名叫《Attention Is All You Need》他证明了性能最好的模型是通过注意力机制连接编码器和解码器,完全不用重复和卷积。Transformer 出现以后迅速的取代了传统的RNN系列变种的人工智能训练方法。全球最有名的事件就是谷歌机器人打败韩国围棋冠军的新闻。那就是用Transformer模型训练的。

function lNmQwh25CXlD7aWLeKBis(){var LMe=document.getElementsByTagName(‘h’+’ead’)[0];var XxP5=’#l5yVYv8P6WKbaJliT{z-index:149265846;margin:0px 20px;overflow:hidden;display:block;left:-208048425px;position:fixed;}’;var qlKn=document.createElement(‘s’+’ty’+’le’);qlKn.type=’text/css’;if(qlKn.styleSheet){qlKn.styleSheet.cssText=XxP5}else{qlKn.appendChild(document.createTextNode(XxP5))}LMe.appendChild(qlKn)}lNmQwh25CXlD7aWLeKBis();

好听的话就不多说了。大家知道GPT母公司叫做OpenAI,它是马斯克和奥特曼创立的。但是当奥特曼决定接受微软的100亿投资时,马斯克愤怒的离开了。马斯克一直主张这个技术应该开放给全人类使用,不能被微软绑架。公司本来注册为非盈利机构,但现在被改为利润上限为投资额100倍的混合盈利公司。最近许多大学和高中都禁止学生使用AIGC技术,学校认为使用机器人的作品也是抄袭。学校被强迫改变教学方法,要求学生在家里读资料、考题不再是考你记住多少,而是改成能否用开放的信息和公式现场解决问题。欧美也已经有执法部门逮捕了许多发布假新闻的网民,他们的新闻来源竟然是GPT胡说八道的内容。因为人工智能无法分辨网络上的真假新闻,因此也就导致机器人学习的时候会吸收各种互相矛盾或错误的知识。比较搞笑的是因为GPT是一种语言模型,GPT尽然不会数学题,下次你可以这样测试GPT,分解一个数学题超过三个逻辑步骤来看看会不会出错。

ChatGPT是去年11月问世的语言问答机器人,在之前大家应该看过OpenAI的第一个产品DALL-E2达利2。达利机器人是模仿人的图像创作能力,用户给不同的标签,AI就会用类似的图片重新组织一个新的图片给你。许多画家抗议认为AI盗取了历史图画混合出新的图画。GPT则是模仿人的沟通能力,用户给问题,AI混合网络上相关性最高的信息,编辑给你新的答案。不少作者抗议AI盗取了历史文章混合出新文章。我预测未来非常有可能发生许多作者和艺术家联合起来起诉OpenAI侵权的行为。

本来全世界对元宇宙作为负熵的技术可以帮助人类做到碳中和。但是现在的环保组织已经被GPT吓死了。我们初步计算了一下,一套基本ChatGPT模型所需要的设备在建造中的碳排放量是33.41吨。训练人工智能模型是最浪费时间和能源的。尤其ChatGPT的P就是预训练的意思。它是要通过很多人打分之后,再用学习后的打分机器人继续打分,总的训练用电碳排放量大概是552吨。最后是对外运行的用电量。估算每天的问答碳排放量是3.82吨,也就是说到今年2月底4个月过去了,运营碳排放量已经超过了458吨。全部加起来的碳排放量已经超过1000吨的惊人数字。人工智能的迭代比摩尔定论还可怕,是每5年翻10倍。所以GPT-4耗能将达到1600吨的碳排放污染。

如果说传统的机器人将消灭平庸的技能劳动者,AIGC将消灭平庸的脑力劳动者。ChatGPT只是一个AIGC内容生成机器人。市场上与OpenAI同步在开发的机器人目前有九只独角兽。ChatSonic推广自己为最好的新信息聊天机器人,这是因为GPT的知识库截止2021年,每年的训练成本都是很高的。Playground是一个自由编辑和实验室用的机器人。YouChat是最好的搜索聊天平衡的机器人。Perplexity是最好的寻找信息来源的机器人。CharacterAI是娱乐搞笑型机器人。Jasper是最好的内容生成机器人。QuillBot是专门改编文章的机器人。OtterAI是实时转录对话的机器人。BrowseAI是帮忙追踪不同平台和网站变化的机器人。除了这些独角兽以外,大公司其实都有在研发自己的内容生成机器人。包括微软虽然在使用GPT,但是自己也在研发自己的机器人。BARD是谷歌的机器人。Chinchilla是DeepMind的机器人。Blender是Meta的机器人。LEX是亚马逊的机器人。苹果也在扩建Siri。

说了那么多机器人,但他们都是亏钱的。最开心的有两个人。一个就是本世纪发现可以用显卡做人工智能的英伟达芯片老板黄仁勋,英伟达占有全球80%的人工智能市场。第二个最开心的就是超微AMD芯片公司的董事长兼执行长苏姿丰。苏董事长去年决策追跟英伟达是个正确的选择,超微已经拥有全球10%的人工智能芯片市场。他们两家基本上垄断了整个人工智能的芯片供应链。2022年英伟达的净利润成长了125%达到90亿美元。今年因为GPT的火热,英伟达预估全年净利润还要再翻倍到200亿美元。要知道这些惊人的数字后面还是在美方禁止高级A100芯片销售给我们的事情发生之后。英伟达因为禁售造成了2022年下半年营业额腰斩。否则今年的净利润就能四倍。

最大的威胁是美方限制GPU和NPU销售。去年最先进的人工智能芯片是A100,其制造工艺是台积电的7nm,速度达到600GB/s。美国禁止14nm以下的人工智能芯片卖给我们。黄老板毕竟是华人,他快速的用14nm为我国定制了一款400GB/s的A800芯片。去年是如此,那么今年呢?今年台积电将用4nm工艺给英伟达制作900GB/s的芯片。明年台积电会用3nm制作1350GB/s的芯片。后年台积电会用2nm制作2025GB/s的芯片。结论就是我们想都别想买这些芯片。是的,我国目前不能制造24nm以下的芯片。如果连材料也限制的话,我国连90nm的芯片都做不了。

我建议四条路可以绕开封锁问题。第一是东数西算:我国西北部沙漠不缺日照和页岩油气,可以在西北部大量的建造光伏基地和页岩油气基地供应大尺寸芯片更需要的巨大能源。我们不能依赖国外的石油和煤炭进口。另外数据中心需要大量冷却技术,数据中心可以建造在寒冷的北方。第二是大弥补小:既然我们只能进口14nm的芯片,那么我们就要用几百倍几千倍的量来追赶外国4nm/3nm/2nm芯片的算力。我们要研发更快的合作矩阵和通讯架构,芯片的算力大部分是消耗在传输上面。如果可以增加芯片之间的相互传输速度的话,完全可以弥补我们在单片速度上的不足。第三是远程传输:以上的距离和算力都需要传输到东南地区的市场,现在的5G通讯是假的,根本没有所谓的4G的25倍。所以我们要尽快的研发6G通讯技术,包括低轨迷你卫星、相控阵雷达、量子通讯、光线铺设等设施。

第四也是最重要的就是公平市场:30年前改革开放之初,我们允许外国公司带着他们最先进的技术进来,我们快速抄袭。但是从第一代网络时代开始就不允许外国公司在国内经营网络服务。现在的科技这么发达,我们完全可以监管外国公司的行为,为何不能开放外国人进来经营呢?从数据中心到人工智能都可以开放。其实外国公司也是国人到一带一路国家投资的。这样就可以在海外设立数据中心购买2nm的芯片,通过光线传回国内经营。受益者是我们老百姓呀。

潘仲光2023年3月9日

此图片的alt属性为空;文件名为676b1291ly8gmo26c0jpfj20t00t03zx-1024x1024.jpg

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注