整理｜吴莹
OpenAI遭FTC正式调查；马斯克宣布成立xAI人工智能公司；七部门联合公布《生成式人工智能服务管理暂行办法》；GPT-4模型架构等关键信息被曝光；英特尔推出云端AI芯片；消息称英伟达正与Arm谈判，希望拓展CPU业务；比尔·盖茨称AI风险可控……点击收听本期AIGC周观察
当地时间7月13日，据美国CNN报道，美国联邦贸易委员会（Federal Trade Commission ，简称“FTC”）正在调查OpenAI是否违反消费者保护法，并要求OpenAI提供有关其处理个人数据、向用户提供不准确信息的可能性以及“对消费者造成损害（包括声誉损害）的风险”的大量记录。一份文件显示，美国联邦贸易委员会本周向OpenAI发出了一份长达20页的要求，包括“如何获取用于训练大型语言模型的数据”，到描述ChatGPT的“生成有关真实个人的虚假陈述的能力”等，以及要求OpenAI提供其收到的任何公众投诉、其涉及的诉讼清单还包括该公司于2023年3月披露的数据泄露细节的证词，该证词曾暴露了用户的聊天记录和支付数据。据悉，该文件最早由《华盛顿邮报》曝光，随后，一位知情人士向CNN证实了该文件的真实性。
当地时间7月13日，马斯克宣布xAI公司正式成立。马斯克表示，推出xAI的原因是想要“了解宇宙的真实本质”。xAI联合创始人之一的Greg Yang表示，公司将深入研究人工智能（AI）中的“深度学习的数学”，探索AI的“万物理论”，进而将整个AI技术推向新的高度。官网显示，xAI团队成员曾经分别在DeepMind、OpenAI、谷歌研究、微软研究、特斯拉等前沿公司或多伦多大学等学术机构任职过，曾经参与过AlphaStar、AlphaCode、Inception、Minerva、GPT-3.5和GPT-4项目。此前，马斯克曾称，有必要打造一家能够与微软、谷歌抗衡的第三大人工智能（AI）公司，可能会整合特斯拉和推特的资源，二者的关系就像微软和OpenAI。
近日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》（以下简称《办法》），该办法将自2023年8月15日起施行。
《办法》提出对生成式人工智能服务实行包容审慎和分类分级监管，明确了提供和使用生成式人工智能服务总体要求。明确了训练数据处理活动和数据标注等要求。明确生成式人工智能服务提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务，按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识，发现违法内容应当及时采取处置措施等。
7月13日消息，外媒Semianalysis近日对OpenAI今年3月发布的GPT-4大模型进行了揭秘，其中包括GPT-4模型架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型（Mixture of Experts）等具体的参数和信息。外媒表示，GPT-4在120层中总共包含了1.8万亿参数，而GPT-3只有约1750亿个参数。而为了保持合理的成本，OpenAI采用混合专家模型来进行构建。据悉，GPT-4使用了16个混合专家模型（mixture of experts），每个有1110亿个参数，每次向前传递有2个专家模型进行路由。GPT-4预训练阶段的上下文长度为8k，32k版本是对8k微调的结果，训练成本相当高，以H100物理机每小时1美元计算，那么一次的训练成本就高达6300万美元（约4.51亿元人民币）。对此，OpenAI选择使用云端的A100 GPU训练模型，将最终训练成本降至2150万美元（约1.54亿元人民币）左右，用稍微更长的时间，降低了训练成本。7月11日，英特尔在中国市场推出云端AI训练芯片——Habana Gaudi2。该芯片可满足大规模语言模型、多模态模型及生成式AI模型的需求。据现场介绍，该芯片性能在一些关键指标上胜过英伟达A100。据了解，该Gaudi2处理器及Gaudi2夹层卡HL-225B以第一代Gaudi高性能架构为基础，具有24个可编程Tensor处理器核心（TPCs）。每颗芯片集成了21个专用于内部互联的100Gbps（RoCEv2 RDMA）以太网接口，配置96GB HBM高速内存及2.4TB/秒的总内存带宽，满足大规模语言模型、多模态模型及生成式AI模型的需求。
7月12日消息，软银旗下的芯片设计商Arm被认为有望创造2023年的最大IPO。据此前报道，软银正在为该公司9月上市积极准备，希望吸纳更多的锚定投资人。几名了解情况的消息人士对英国《金融时报》透露，芯片制造商英伟达正在与Arm进行谈判，其可能成为Arm最新的主要投资者。此前，英伟达曾希望以660亿美元的价格全购Arm，但由于涉及垄断问题，被欧美的监管机构反对。即便如此，英伟达一直是Arm的客户，最近其使用了Arm的设计生产了首款CPU芯片，专用于人工智能和高性能计算。据消息人士透露，英伟达希望以350亿~400亿美元的估值入场持有Arm股权，但软银希望将估值提高至接近800亿美元。
GatesNotes官网显示，微软创始人比尔・盖茨（Bill Gates）7月11日在其个人博客中发文，阐述了他对当下AI发展的一些看法。他认为，AI确实存在风险，但这些风险是可以控制的。文章中，他指出AI可能带来的风险。这些风险包括：AI生成的深度伪造信息、错误信息可能会欺骗民众，进而破坏选举和民主；AI模型将帮助黑客检索计算机漏洞，使网络攻击变得更加容易；AI可能会夺走人们的工作；AI的幻觉与偏见可能会延续人类偏见，带来事实性错误；学生可能会用AI代替对写作等基础性工作的学习，同时AI的运用可能会扩大教育差距。针对上述风险，比尔·盖茨提出了两点建议。第一，政府需要积累AI方面的专业知识，以出台相应的法律法规；第二，私营AI企业需要安全、负责任地开展工作，包括保护人们的隐私，确保AI模型符合人类价值观，最大限度地减少偏见，使技术尽可能惠及大众且防止犯罪分子或恐怖分子使用该技术。
7月11日，百川智能正式推出参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。这是百川智能发布的第二款通用大语言模型，而在前不久的6月15日，百川智能就已经推出了首款70亿参数量的中英文语言模型Baichuan-7B。相比此前发布的Baichuan-7B，Baichuan-13B在1.4万亿token数据集上训练，超过LLaMA-13B40%，是当前开源13B尺寸下训练数据量最大的模型。Baichuan-13B上下文窗口长度为4096，不同于Baichuan-7B的RoPE编码方式，Baichuan-13B使用了ALiBi位置编码技术，能够处理长上下文窗口，甚至可以推断超出训练期间读取数据的上下文长度，从而能够更好地捕捉文本中上下文的相关性，做出更准确的预测或生成。
