首页 > 日志 > 随笔 > 什么是生成式人工智能?简单聊聊大语言模型(LLM)概念

什么是生成式人工智能?简单聊聊大语言模型(LLM)概念

生成式人工智能和其他人工智能的决定性不同,就如名字所说,他干的不是统计、归档、索引、摘要之类传统人工智能干的事情,而是根据前文【预测】后文。

像我们常说的大语言模型,就是由人工神经网络组成,本质是一堆数字和参数,彼此相连,就像我们大脑里的脑细胞相连。他只处理数字,你对神经网络发送数字,取决于参数的设置方式,语言模型将新的数字输出(Transformer)。然而我们知道,任何类型的内容都可以转化成数字,起码在程序世界里,所有东西都是0和1组成的。这就代表你传入文本、图片,语言模型也可以将其转化成数字,然后经过处理,再将结果数字转换回来。

有趣的是,如果将输出的结果数字结合输入数字,重新输入进模型中的话,它又可以在其之上添加新的内容,形成一种递归的形式,直观的说,比如,让GPT作答时,他就会一小段一小段生成,而非经过某种超牛逼的函数处理后一次性把答案返回给你。

 

一个大语言模型可能有上千亿、上万亿的参数,这就是他们被称为大的原因,这些参数自然不可能是码农手敲的,它们都是通过【训练】得来。

在训练期间,程序员爬取了大量的互联网内容供其学习,然后神经网络会用这些来猜测下一个单词,一遍又一遍,在这期间,参数会自动调整,直到他变得非常善于预测下个词语。

在这基础上呢,也需要人工的干预,不然就太泛泛了,有一个术语叫做反向传播(Back-propagation),意思就是“猜错了,需要改变一些东西”,一个大语言模型要变得真正的有用,就需要接受人类的训练,这就是所谓的“基于人类反馈的强化学习”,每个你听得到名字的大语言模型都代表了人类调参侠数千小时的精心测试、输出评估、反馈调参。尤其对于政治类、违法犯罪类的内容生成,人类调参侠都花了很多功夫去设计,最终当训练完成后,模型就知道什么东西能回应,什么东西不能。

最初的语言模型只是单词预测器,是实际用途有限的统计机,但随着它们接受更多的神经网络训练还有人类训练后,它们开始获得了新兴能力(涌现)

就像一个婴儿学习世界一样,训练得够多了,它们就能理解更高级层次的概念。

 

目前的模型均基于“训练”和“微调”,而非一种自发的自学习,所以目前还不到传说中AGI的层次,不过就算如此他也已经足够强大、足够智慧。

你可以把他当成你的同事,天才般的同事,人类+AI,是 1+1>2 的组合。只是你需要处理一些他的怪癖,因为他会用非常符合人类直觉的语言提供反馈,包括向你伪造信息。

按我接触多点的地方来说,比如翻译这块,用GPT翻译也好,或者Claude翻译也好,错误是很多的,但是他却偏偏能给你翻译得完全没有违和感,看起来和真的一样。

拿日语举例,简单的句子都翻得还行,但是日语是非常灵活的语言,主语宾语随便切换位置,甚至经常不带主语,这种情况下,哪怕是有上下文,他也只能给你输出错误结果,像是ならいい,日本人这个いい日常中既可以表示行又可以表示不行,用法很多,根据不同的语境和语气可以表达截然相反的意思,用AI翻译的话你就只能靠人工校对,翻译一些日常内容的还好,如果涉及的元素复杂点,情景微妙一点,AI甚至还比不上人工 —— 因为他可以牛头不对马嘴的缝合出通顺的语句,哪怕这是错误的,很轻易就能蒙骗别人,这很离谱。

所以,你一定是需要把各种边界、上下文等都做好处理,才能放心的使用他。

为了有效的使用生成式人工智能,你需要擅长提示词工程,提示词工程本质就是清晰有效的沟通。

比如一个经典的提示词示例:Task+Context+Questions

  • Task:告诉AI,我的目标是什么
  • Context:这个目标的背景是什么,我要通过它去做什么,为什么会有这个目标
  • Questions:为了帮助我,你还需要知道什么?(让AI反过来问我)

 

按照上面的思路,首先,写一个提示看看效果。

接着,添加后续提示以提供更多信息,或编辑原来的提示。

最后,反复的冲洗并重复,直到获得一个好的结果。

 

一套操作下来,基本上可以拿到你需要的东西。

玩AI,其实最大的限制不是技术,是你的想象力,比如你能做什么,你该怎么做。

目前来看,主要还是在日常工作的效率提升上使用最多,比如AI抠图、文书处理、代码提示等,还有很多没玩过的呢…… 只能说,发展得太快咯。

 

           


CAPTCHAis initialing...
EA PLAYER &

历史记录 [ 注意:部分数据仅限于当前浏览器 ]清空

      00:00/00:00