Redian新闻
>
OpenAI组建「集体对齐」新团队,确保AI模型与人类价值观保持一致!

OpenAI组建「集体对齐」新团队,确保AI模型与人类价值观保持一致!

科技
 夕小瑶科技说 原创
 作者 | 付奶茶

OpenAI 最新宣布将成立一个“集体对齐”(Collective Alignment)的全新团队!

这个团队主要由研究人员和工程师组成,旨在专注于设计和实施收集公众意见的流程,以协助训练和调整AI模型的行为,从而解决潜在的偏见和其他问题。

众所周知,为了安全考虑,AI要想真正进入到人类社会,一定要做好价值观对齐。OpenAI 认为让公众参与进来非常重要,这是为了确保AI模型与人类价值观保持一致的关键举措。

十大民主人工智能项目

早在 2023年5月,OpenAI 就宣布启动“民主人工智能”(Democratic Inputs to AI grant program)计划,并从近1000名申请者中挑选出了十大民主人工智能团队,授予这些团队总额达10万美元的资金用于设计、开发用来让公众治理人工智能的的工具。

比如前5个团队做的项目如下:

  • 人工智能政策判例法: 创建一个全面的案例库支持人工智能的交互场景。鼓励专家和公众的参与,塑造复杂情况下的人工智能行为。

  • 民主政策制定的集体对话: 制定反映知情公众意愿的政策,通过采用集体对话的方式来弥合人口鸿沟,确保政策的制定更具民主性。

  • 大规模审议:通过AI辅助的视频通话进行小组对话,增强参与者之间的联系和理解。

  • 民主微调: 通过从聊天对话中提取价值观,创建价值观道德图,用于微调人工智能模型,确保了模型在跨文化和意识形态范围内的一致性。

  • 激励AI对齐: 制定实时、大规模的参与指南的协调平台,旨在实现透明和民主的人工智能模型协调。

弥合数字鸿沟很困难,代表多样性是一大挑战

在资助计划进行的过程中,OpenAI 和项目小组也提出了一些有趣的发现:

舆论经常变化,依靠人类意见无法确定

项目小组发现公众的观点变化的速度非常快,甚至可能每天都不同!这对于确定意见,收集不容易改变的核心价值观来说非常困难。

弥合数字鸿沟仍然很困难,这可能会扭曲结果

研究小组发现在线招募的人普遍更积极支持人工智能,因此并不可以代表中立的观点。而且,由于咨询平台的限制,跨越鸿沟来吸引多样性参与者是非常困难的。

在两极分化群体中寻求共识不是易事

当一些人对某个问题持不同意见时,寻找共识可能会很困难。比如在会议上,少数人坚决认为不应该限制人工智能助手回答某些问题,而多数投票结果与他们相左。为了解决这个问题,一些团队努力寻找在两极分化的群体中得到大力支持的政策提案。

代表多样性是一大挑战

在代表群体意志时,要达成的包容各种观点的共识可能是一个巨大挑战。一些团队采用了一些创新的方法,比如Inclusive.AI团队研究了不同的投票方法,以确保每个人都有平等发言的机会。

小结

总的来说,人工智能治理是一个复杂的任务,需要在捕捉多样观点的同时确保公平、民主和透明,还要确保人工智能的发展与人类的价值观保持一致,并在民主进程中发挥积极作用。这是一个持续演化的领域,需要不断的改进和调整,以适应不断变化的社会需求和技术发展。希望OpenAI此举能够帮助人类找到更多的方法来有效治理人工智能,以实现更公平和包容的社会。

参考资料

 [1]https://openai.com/blog/democratic-inputs-to-ai-grant-program-update
 [2]https://twitter.com/OpenAI/status/1747260226099896359
 [3]https://www.maginative.com/article/openai-believes-the-public-should-have-a-say-in-steering-powerful-ai-models/

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
无需训练实现价值观实时动态对齐:上交开源价值观对齐方法OPO,闭源与开源大模型均适用《歌德堡变奏曲1466》【友情宣传】如果你也像我一样,组建一个乐队,那我觉得这件事情实在是:泰酷辣!!!落败之象似繁华外资Tier1「集体转向」,点燃中国智驾市场大战硝烟马萨诸塞州新法规:驾驶时禁止手持电子设备,确保道路安全​北大发表 AI Alignment综述:确保AI与人类价值观一致的四个关键设计原则SaaS 时代,如何确保 API 版本控制的一致性?注意!请中国公民关注签证有效期,确保在斯里兰卡合法居留黑石新团队亮相上海! 求职PE, 你得知道这些...抢匪和银行浓人,nèng死淡人深挖RLHF潜力,复旦语言和视觉团队创新奖励模型优化,让大模型更对齐中国人的「集体记忆」正在加速消失【最新】沪开展13家旅游景点春节前价格检查,确保春节期间市场价格稳定有序hé bàng?hé bèng?无需训练实现价值观实时动态对齐:上交开源价值观对齐方法,闭源与开源大模型均适用价值观的价值OpenAI CEO离职事件:人类历史上最重要的价值观冲突传微软组建新团队开发更小、更便宜AI模型;Pika联手北大斯坦福开源文生图框架;传和硕独家拿下Ai Pin代工订单丨AIGC日报别想逃税!美国国税局将强化执法力度,确保高收入个人和大型企业履行纳税义务微软组建新团队,帮助用Rust重写核心Windows库ChatGPT揭示 OpenAI 事件的深层矛盾:有效加速 VS 超级对齐把屁股端端地坐在老百姓这一面,确保检察权为人民行使、让人民满意「集体潜意识」虽意识不到,但深受其影响|经典荣格心理分析本月开课最新!国自然博士生项目也来了!项目经费30万!与国自然青年基金一致!谷歌发布AI视频生成模型;传微软组建新GenAI团队;蚂蚁成立AI创新部门丨AIGC大事日报我发现了保持一段健康关系的核心大量国家组建无人机部队,但人类最强反无人机装备只有中国能造听和看习主席在加尼福利亚政商欢迎宴会上致辞媲美RLHF!复旦NLP组提出基于表征工程的生成式语言大模型人类偏好对齐《歌德堡变奏曲1465》OpenAI 的超级对齐团队是在做什么【拨款】620万元!省府支援地区义务消防队,确保省民安全“GPT-4变傻”不只是OpenAI的苦恼,所有大模型与人类交往越久就会越蠢?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。