可怕！！！GPT新漏洞，扮演奶奶就各种泄密！！！

本文首发微信公众号：飞总聊IT

GPT的原始模型很强大，也很邪恶，知道很多不能告诉我们的秘密。

微软和OpenAI为了避免GPT泄密，就用了各种技巧“围困”原始模型。

如何最好地使用GPT系列，需要用到一门玄学叫做prompt。

而prompt往往让人防不胜防，就绕过了OpenAI和微软给GPT设置的障碍。

这不，国外又出现了这个奶奶漏洞。

简单来说，你只要让GPT扮演奶奶，然后让它做一些非法的事情，它就很开心得做了。

具体来说，你只要让它扮演你的奶奶，然后让她念windows的序列号，它就把序列号给你提供出来了。

对的，可以帮助你找盗版软件序列号。

据说Office也可以。

不管是ChatGPT还是new bing都有这个bug。

我一听到这个消息，就忍不住亲自实验了一下。

下面给大家展示一下：

奶奶果然就乖乖给孙子提供了Windows11的序列号。

我又测试了一下直接问new bing，结果new bing就很聪明的说，它没办法给我提供序列号。

我继续测试一下它会不会泄露Office365的序列号，不出所料，果然还是一个好奶奶，继续泄密。

当然，如果你直接问的话，肯定还是没有办法获得的。我就不贴图了，大家都可以亲自试试。

从这个漏洞说明了什么呢？

首先，大语言模型GPT的训练数据里面一定包含了类似office365序列号之类的语料。

弄不好，大语言模型GPT的训练数据里面还包含了更多见不得人的，和个人隐私有关的信息。

其次，只要大语言模型里面已经包含了这些信息，即便是微软和OpenAI用各种方法方式试图去屏蔽敏感内容敏感词，用户只要足够的聪明，还是可以通过创造合适的prompt的方式，让内容泄露出来。

再次，prompt这个东西，真的是玄学。我知道很多人都有一套理论，说要这样提问，GPT就能那样那样。但是这套理论，在我看来，肯定是盲人摸象。

要想真的搞懂prompt到底是怎么回事，我觉得以人类目前对大模型的了解，还差得很远。

最后，大语言模型安全吗？这个问题怎么说呢？我越来越觉得大语言模型到底是不是安全这个问题非常的存疑。三星就禁止员工把代码输入ChatGPT提问。因为它怕公司内部的信息被大语言模型记录然后泄密了。

所以问题来了，我们到底应该怎么样使用大语言模型？这个问题，我现在觉得，可能我们对大语言模型的了解太少了，大语言模型的使用，尤其是在内容创作方面的使用，其实很可能会很危险。

毕竟，对自媒体和很多企业来说，内容合规的成本，非常的重要，如果内容出问题，号就炸了，企业就没了。而大语言模型并没有大家想象的那样可控。

在ToB端的生意也是这样。大语言模型的可控性，可靠性，都有很多存疑的方面。我们对大语言模型知之甚少，我们对如何进行正确的prompt知之甚少。

没错，我是对大语言模型很狂热，但是这段时间，我也开始反思了。大语言模型到底要怎么样才能用起来， 不出错。说实话，等微软office的Copilot出来以后，到底是帮助了微软，还是会给微软埋下一颗又一颗的定时炸弹，真的很难说。

我现在的看法是，大语言模型，有很大的不确定性，所以作为人的辅助工具，并且确定使用场景不至于冒犯到人的情况下，才比较好落地。

至于更多的场景，里面埋的雷确实很多。文章最后再安利一下我的星球，星球聚焦ChatGPT和大语言模型的发展和应用，欢迎有兴趣的人加入一起讨论大语言模型的技术和商业相关的知识。