秒速生图火爆全网
近来，正在各大社交平台上，一款叫作“匪梦师”的AI绘画小步伐火了。
详细火到什么水平呢？据以往团队的采访得知，9月产物刚上线一周工夫，匪梦师便缔造了日增5万用户的记录。
由Midjourney到Stable Diffusion，再到中国如比比皆是般出现的AI绘画平台，正在利用体式格局上差别不大，均采纳「以文生图」的体式格局。「以文生图」不求甚解便是只要你把设法主意、脑洞以文字输入为AI，这一些文字描述就会被算法驱动，酿成一张张生动、精美的图片。
而真正能让匪梦师从浩瀚AI绘画平台中颖脱而出的，当属其明显的技术优势取舒服的产物体验。
由输入描写到输出图片，全过程仅不到5秒，比拟其他产品动辄几十秒乃至几分钟的时候，可谓霄壤之别。
与此同时也有多种绘画气势派头、多图批量输出、多尺寸高分辨率、画师参考等功能帮助用户展开创作，使得全部绘画历程更便利、风趣和惠普。加上其免费的新手体验，上线以来便在用户间产生了优越的口碑。
最快，有多快
据了解，匪梦师由前谷歌人工智能研究院科学家、NLP自然言语处置惩罚范畴预练习言语模子“ALBERT”第一作者——蓝振忠博士带队研发。
终极由西湖大学深度进修实验室和西湖心辰高新科技有限公司（西湖大学深度进修实验室孵化的AIGC创业公司）配合推出。
依托于西湖大学精良的科研和结果转化环境、足够的科研资金及软硬件设备，西湖心辰组建了一支持久致力于研讨自然语言处置惩罚，计算机视觉及深度进修的联合取利用的团队。
正在Stable Diffusion的基础上，匪梦师凭仗团队正在AI范畴好多年的深耕和西湖大学实验室的成熟算力，找到了一个可施展自有技术优势的地带，并根据“秒生图，生精图”的特色快速占据AI画画高地。
我们根据原生stable diffusion正在pytorch、TensorRT取Oneflow三个框架下的实现取匪梦师自有模子对照能够看到：
pytorch上原生的Stable diffusion生成一张图须要3.4s，第三方Oneflow须要1.4s生成工夫。而匪梦师的自有模子只须要0.8s，而且不容易危害生成结果。
这是由于匪梦师针对速度和质量两个方面辨别做了手艺优化，正在提速侧，进行了算子重写、模子量化、采样函数优化；正在提质侧，采用了自有中文言语模子、多尺寸弹性锻炼等。这才使得匪梦师正在生成图片时，不但速度上有了质的提拔，终究的出现结果也是有显明优化。
各大模子剖析
由本年8月宣布至今，Stable Diffusion仍是最火的开源AI生图模子。取其他开源图片生成模子相比，其拥有出图速度快、质量高档特色。
但在绘人物层面，Stable Diffusion的坏处还很明显，如常常存在多头、多只手、多条腿或人物部份肢体丧失等题目。
原生Stable-Diffusion（左）取匪梦师（右）对照
与此同时，原生Stable Diffusion仅撑持英文作为独一输入言语，关于海内用户而言还非常不友好。
针对语言障碍的题目，中国曾有团队开源了支撑中文的stable diffusion模子——“太乙Stable Diffusion”。但经测试发明，太乙Stable Diffusion虽然可以明白中文共同的文化表达，但语义明白层面仍有所短缺，会给出取输入prompt没有婚配的图片。
如输入：雾气满盈的丛林，中世纪气概霍比特人村落
太乙Stable Diffusion（左）取匪梦师（右）比较
并且不管关于哪一种模子，图片质量的利害都与输入的关键词密切关系，专业、适度的输入词需求用户有大批的经历，新手通常用户难以克服。
是以，转变模子是一切问题的基础解。
匪梦师改变了什么
如上文所说，文生图结果由模子的图象生成才能取自然语言了解才能配合决意。因而，匪梦师团队正在练习图象生成才能的取此同时偏重加强了机械了解层的才能，使本人区分于市面上的其他平台。
正在图象生成层面，匪梦师依据过往正在AI生成行业积存的履历，正在前期做了大批科研和练习事情。而且使用了取Stable Diffusion分歧的练习计划，使得匪梦师生成的图片加倍精密，不容易发生截断等题目。
正在语义了解层面，依赖于西湖心辰正在NLP范畴的大批手艺取数据堆集，匪梦师自有模子没有仅能更好地了解用户输入词，还扩大了原生Stable Diffusion的文本长度限定，撑持更长的文本输入。
另外，针对没有明白若何撰写关键词的新用户，匪梦师还开发了“梦乡加强形式”，可以对用户的输入词干遐想加强，作用新手画师更轻易地画出冷艳的图片。
固然，匪梦师现在仍旧存在一些业内广泛的待办理的题目，例如家喻户晓的AI绘手、AI吃面绘的缺点
正在蓝振忠看来，今朝AI绘画仍处于初期阶段，虽然今朝的图片生成AI本领确切抵达了历史上的峰值，但照样须要更大的范围的数据和更长工夫的锻炼。
延续迭代后的AI，绘画速度会更快，能够立即调控的才能还会更强。以匪梦师自我学习的速度和深度来看，我们有理由信任它将是将来引领AIGC潮水的前锋。