Redian新闻
>
GPT-3.5 Turbo支持微调了,打造专属ChatGPT,但价格小贵

GPT-3.5 Turbo支持微调了,打造专属ChatGPT,但价格小贵

公众号新闻
机器之心报道
编辑:杜伟
OpenAI:对 GPT-4 的微调也将于秋季到来。

今天,OpenAI 又迎来了一次新的产品升级。


现在企业客户终于可以对 GPT-3.5 Turbo 进行微调了。这样一来,开发人员能够得到在自己的用例上表现更好的自定义模型,并大规模地运行这些模型。


至于实际效果,早期测试已经证明,GPT-3.5 Turbo 微调版本的能力在一些小范围任务上可以媲美甚至超越基础 GPT-4 模型。


OpenAI 表示,此次微调 API 的传入和传出数据完全归客户所有,它自己或任何其他机构都不能使用这些数据来训练其他模型。这一做法保证了客户数据的安全性和隐私性。



对于 GPT-3.5 Turbo 支持微调功能,英伟达 AI 科学家 Jim Fan 表示,这是 OpenAI 自 APP Store 之后最重要的产品升级。



微调后性能更强、提示更短、速度更快


自 GPT-3.5 Turbo 推出以来,开发人员和企业一直要求可以自定义该模型,以此创建独特和差异化的用户体验。


随着 OpenAI 宣布支持微调功能,开发人员现在可以运行监督微调,使得 GPT-3.5 Turbo 在一些常见用例上输出更好的结果。

首先增强了可控性。微调后的模型可以更好地遵循指令,比如输出简洁或者使用给定语言进行响应。举个例子,开发人员可以利用微调保证在提示使用德语时,始终以德语进行回答。


其次保证可靠的输出格式。微调提升了模型输出一致性格式的能力,这对于代码补全或生成 API 调用等要求特定响应格式的应用来说很重要。开发人员可以通过微调更可靠地将用户提示转换为高质量的 JSON 代码片段,以供自己的系统使用。


最后是自定义语气。微调是「磨炼」模型输出语气的好方法,以此更适合企业品牌声音。拥有知名品牌声音的企业可以通过微调,让模型输出与自身调性更加一致。


除了性能更强,微调后的 GPT-3.5 Turbo 模型可以在缩短提示的同时保证性能不会大变。此外微调后可以处理 4k token,这是 OpenAI 以往微调模型的两倍。早期测试人员在对模型指令进行微调时, 提示大小最高可以缩短 90%,从而加快了每个 API 调用的速度,减少了成本。


当与提示工程、信息检索和函数调用等其他技术结合使用时,微调将变成超级强大的工具。OpenAI 还表示,今天秋季还将支持对函数调用和 gpt-3.5-turbo-16k 的微调。


微调一般分为四步完成:准备数据、上传文件、创建一个微调任务和使用一个微调模型。


安全性也非常重要。为了在微调过程中保证默认模型的安全性,微调训练数据通过了 OpenAI 的审核 API 和 GPT-4 支持的审核系统,从而检测出与其安全标准相冲突的不安全训练数据。


价格有点贵


GPT-3.5 Turbo 的微调成本分为两部分,包括初始训练成本和使用成本。其中:


训练阶段:1K Tokens 要 0.008 美元

使用输入:1K Tokens 要 0.012 美元

使用输出:1K Tokens 要 0.016 美元


举个例子,如果要对 10 万 tokens 的训练文件进行微调,并训练 3 个 epochs,则预计成本为 2.40 美元。


对此,有人表示,价格有点小贵,是基础 GPT-3.5 模型的 4 倍了。



博客链接:https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
文学城才女 艰难的奋斗史GPT-4写代码不如ChatGPT,误用率高达62%!加州大学两位华人开源代码可靠性基准RobustAPI午报 | VF集团被敦促出售Supreme;Max Mara泰迪毛毛屋全球巡展首站在成都揭幕;淘宝部分商品支持微信支付OpenAI突发更新!GPT-3.5正式开放「微调」,人人可打造专属ChatGPT|附最全官方指南重磅!苹果将重构视频生态,iPhone 15 Pro支持空间视频重磅!OpenAI 开放 GPT-3.5 Turbo 微调,网友:要提示词减少8倍才实惠0.2美元微调就能让ChatGPT彻底破防!普林斯顿、斯坦福发布LLM风险预警:普通用户微调也影响LLM安全性OpenAI 开放 GPT-3.5 Turbo 微调,网友:将prompt减少90%才实惠移民生活(16)一个三口之家的分崩离析视觉中国回应摄影师发自己作品被告侵权 / iPhone 15 Pro支持 Wi-Fi 6E / 特斯拉全自动驾驶将入华小米一开源项目被批“三无”,项目导师回应;Ruby on Rails之父将TypeScript从Turbo框架中移除 | Q资讯拒绝花架子!盘点ChatGPT最强的七个插件:写提示词、学外语、总结视频,让ChatGPT做你的私人秘书iPhone15没新意?VERTU新款「第二大脑」Web3手机,打造专属AI智能体人生如茶ChatGPT 又断网了!OpenAI 暂时下线 ChatGPT 搜索功能,只因绕过付费墙?她整个人都变好看2倍,只是因为微调了这里?!OpenAI不藏着了,开放微调功能,不用其他工具就能搞一个你自己的ChatGPT美国廉价房地产热点揭晓:15个城市房价现在很便宜,但价格还在上涨一周2.5k star,3张照片打造专属形象,开源项目FaceChain让每个人AIGC出个人写真淘宝逐步支持微信支付,你需要知道的9件事有了ModelScope-Agent,小白也能打造专属智能体,附保姆级教程OpenAI祭出绘画神器,Midjourney一夜下台!DALL·E 3联手ChatGPT,无需prompt一笔成神GPT-3.5 Turbo推出微调功能;昆仑万维天工AI搜索引擎内测;阿里云等联合发布教育大模型OpenAI正式上线安卓版ChatGPT,支持普通话甚至粤语等方言数学能力超ChatGPT,70B开源大模型火了:用AI微调AI,微软全华班出品QQ支持微信登录,GPT-4创造力碾压人类,暴雪禁止国内玩家参加暗黑4活动,油管测试在线游戏服务,这就是今天的其他大新闻!揭秘:酒店比Airbnb和Vrbo租房更便宜,价格差距高达这么多?留学生偷玉米事件ASOS/Urban Outfitter学生9折!Jellycat8折!Burberry7折!Dr.Martens马丁靴精选7折风雨OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo,开发者狂喜淘宝部分商品支持微信支付;野兽派将关闭安福路店;特斯拉Q3净利润大跌44%... | 刀法品牌热讯苹果市值数秒暴涨600亿美元!秘密开发大模型Apple GPT,员工自曝:复制的ChatGPT!俄罗斯科技巨头Yandex创建大模型YandexGPT,声称性能优于ChatGPT湾区科技CEO支持率公布!这位华人大佬排第一!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。