Redian新闻
>
OpenAI组建「集体对齐」新团队,确保AI模型与人类价值观保持一致!

OpenAI组建「集体对齐」新团队,确保AI模型与人类价值观保持一致!

科技
 夕小瑶科技说 原创
 作者 | 付奶茶

OpenAI 最新宣布将成立一个“集体对齐”(Collective Alignment)的全新团队!

这个团队主要由研究人员和工程师组成,旨在专注于设计和实施收集公众意见的流程,以协助训练和调整AI模型的行为,从而解决潜在的偏见和其他问题。

众所周知,为了安全考虑,AI要想真正进入到人类社会,一定要做好价值观对齐。OpenAI 认为让公众参与进来非常重要,这是为了确保AI模型与人类价值观保持一致的关键举措。

十大民主人工智能项目

早在 2023年5月,OpenAI 就宣布启动“民主人工智能”(Democratic Inputs to AI grant program)计划,并从近1000名申请者中挑选出了十大民主人工智能团队,授予这些团队总额达10万美元的资金用于设计、开发用来让公众治理人工智能的的工具。

比如前5个团队做的项目如下:

  • 人工智能政策判例法: 创建一个全面的案例库支持人工智能的交互场景。鼓励专家和公众的参与,塑造复杂情况下的人工智能行为。

  • 民主政策制定的集体对话: 制定反映知情公众意愿的政策,通过采用集体对话的方式来弥合人口鸿沟,确保政策的制定更具民主性。

  • 大规模审议:通过AI辅助的视频通话进行小组对话,增强参与者之间的联系和理解。

  • 民主微调: 通过从聊天对话中提取价值观,创建价值观道德图,用于微调人工智能模型,确保了模型在跨文化和意识形态范围内的一致性。

  • 激励AI对齐: 制定实时、大规模的参与指南的协调平台,旨在实现透明和民主的人工智能模型协调。

弥合数字鸿沟很困难,代表多样性是一大挑战

在资助计划进行的过程中,OpenAI 和项目小组也提出了一些有趣的发现:

舆论经常变化,依靠人类意见无法确定

项目小组发现公众的观点变化的速度非常快,甚至可能每天都不同!这对于确定意见,收集不容易改变的核心价值观来说非常困难。

弥合数字鸿沟仍然很困难,这可能会扭曲结果

研究小组发现在线招募的人普遍更积极支持人工智能,因此并不可以代表中立的观点。而且,由于咨询平台的限制,跨越鸿沟来吸引多样性参与者是非常困难的。

在两极分化群体中寻求共识不是易事

当一些人对某个问题持不同意见时,寻找共识可能会很困难。比如在会议上,少数人坚决认为不应该限制人工智能助手回答某些问题,而多数投票结果与他们相左。为了解决这个问题,一些团队努力寻找在两极分化的群体中得到大力支持的政策提案。

代表多样性是一大挑战

在代表群体意志时,要达成的包容各种观点的共识可能是一个巨大挑战。一些团队采用了一些创新的方法,比如Inclusive.AI团队研究了不同的投票方法,以确保每个人都有平等发言的机会。

小结

总的来说,人工智能治理是一个复杂的任务,需要在捕捉多样观点的同时确保公平、民主和透明,还要确保人工智能的发展与人类的价值观保持一致,并在民主进程中发挥积极作用。这是一个持续演化的领域,需要不断的改进和调整,以适应不断变化的社会需求和技术发展。希望OpenAI此举能够帮助人类找到更多的方法来有效治理人工智能,以实现更公平和包容的社会。

参考资料

 [1]https://openai.com/blog/democratic-inputs-to-ai-grant-program-update
 [2]https://twitter.com/OpenAI/status/1747260226099896359
 [3]https://www.maginative.com/article/openai-believes-the-public-should-have-a-say-in-steering-powerful-ai-models/

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
抢匪和银行外资Tier1「集体转向」,点燃中国智驾市场大战硝烟ChatGPT揭示 OpenAI 事件的深层矛盾:有效加速 VS 超级对齐传微软组建新团队开发更小、更便宜AI模型;Pika联手北大斯坦福开源文生图框架;传和硕独家拿下Ai Pin代工订单丨AIGC日报无需训练实现价值观实时动态对齐:上交开源价值观对齐方法OPO,闭源与开源大模型均适用媲美RLHF!复旦NLP组提出基于表征工程的生成式语言大模型人类偏好对齐浓人,nèng死淡人深挖RLHF潜力,复旦语言和视觉团队创新奖励模型优化,让大模型更对齐【最新】沪开展13家旅游景点春节前价格检查,确保春节期间市场价格稳定有序落败之象似繁华中国人的「集体记忆」正在加速消失听和看习主席在加尼福利亚政商欢迎宴会上致辞注意!请中国公民关注签证有效期,确保在斯里兰卡合法居留无需训练实现价值观实时动态对齐:上交开源价值观对齐方法,闭源与开源大模型均适用【拨款】620万元!省府支援地区义务消防队,确保省民安全hé bàng?hé bèng?最新!国自然博士生项目也来了!项目经费30万!与国自然青年基金一致!“GPT-4变傻”不只是OpenAI的苦恼,所有大模型与人类交往越久就会越蠢?OpenAI CEO离职事件:人类历史上最重要的价值观冲突价值观的价值别想逃税!美国国税局将强化执法力度,确保高收入个人和大型企业履行纳税义务《歌德堡变奏曲1466》谷歌发布AI视频生成模型;传微软组建新GenAI团队;蚂蚁成立AI创新部门丨AIGC大事日报OpenAI 的超级对齐团队是在做什么把屁股端端地坐在老百姓这一面,确保检察权为人民行使、让人民满意「集体潜意识」虽意识不到,但深受其影响|经典荣格心理分析本月开课​北大发表 AI Alignment综述:确保AI与人类价值观一致的四个关键设计原则马萨诸塞州新法规:驾驶时禁止手持电子设备,确保道路安全黑石新团队亮相上海! 求职PE, 你得知道这些...SaaS 时代,如何确保 API 版本控制的一致性?微软组建新团队,帮助用Rust重写核心Windows库我发现了保持一段健康关系的核心《歌德堡变奏曲1465》【友情宣传】如果你也像我一样,组建一个乐队,那我觉得这件事情实在是:泰酷辣!!!大量国家组建无人机部队,但人类最强反无人机装备只有中国能造
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。