GPT-4o图像生成功能上线今起免费用,我们和国内文生图PK了一下

3个月前 19观看

3月25日消息,OpenAI创始人兼CEO萨姆·阿尔特曼直播发布了GPT-4o图像生成功能,作为多模态模型的GPT-4o补齐了图片生成这一重要拼图。moj喜好网-记录每日喜好的科技时尚娱乐生活

GPT-4o图像生成可以遵循指令生成更准确的图像,OpenAI还为其挂载了固有知识库,可以根据知识库或上下文帮用户生成、编辑图像。moj喜好网-记录每日喜好的科技时尚娱乐生活

今天起,GPT-4o图像生成已经作为ChatGPT中的默认图像生成器向Plus、Pro、Team和免费用户陆续推出。moj喜好网-记录每日喜好的科技时尚娱乐生活

现在,打开ChatGPT,即可尝试这些能力,但普通用户每天仅有3次体验机会。moj喜好网-记录每日喜好的科技时尚娱乐生活

开发者通过API使用GPT-4o生成图像的权限,将在未来几周内推出。moj喜好网-记录每日喜好的科技时尚娱乐生活

从OpenAI官方展示和演示的示例来看:moj喜好网-记录每日喜好的科技时尚娱乐生活

GPT-4o图片生成对文字的处理能力很高,可以100%还原文字内容,且指定文字摆放位置,还能像连续剧一样,一边准确生成文字,一边变换人物动作。moj喜好网-记录每日喜好的科技时尚娱乐生活

GPT-4o的图像可以遵循详细的提示,如处理多达10-20个不同的对象。moj喜好网-记录每日喜好的科技时尚娱乐生活

另外,GPT-4o在生成真实图像方面也表现出色。moj喜好网-记录每日喜好的科技时尚娱乐生活

同时,官方也主动表示:“我们的模型并不完美。我们意识到目前存在多种局限性,我们将在首次发布后通过模型改进来解决这些局限性。”moj喜好网-记录每日喜好的科技时尚娱乐生活

目前GPT-4o图像生成还存在幻觉;裁剪不当;难以呈现非拉丁语言、字符可能不准确;编辑图像生成的特定部分(如拼写错误)的请求并不总是有效的,也可能以未请求的方式更改图像的其他部分或引入更多错误;moj喜好网-记录每日喜好的科技时尚娱乐生活

另外,GPT-4o模型难以保持用户上传的人脸编辑的一致性,但预计这将在一周内得到修复。moj喜好网-记录每日喜好的科技时尚娱乐生活

如果把同样的需求指令输入给目前国内的文生图APP们,它们的表现相比GPT-4o又如何呢?moj喜好网-记录每日喜好的科技时尚娱乐生活

先看看几个GPT-4o图像生成展示示例:moj喜好网-记录每日喜好的科技时尚娱乐生活

示例1:图片中对文字的处理能力moj喜好网-记录每日喜好的科技时尚娱乐生活

在ChatGPT 输入以下文字(中文内容为TechWeb翻译补充内容):moj喜好网-记录每日喜好的科技时尚娱乐生活

A wide image taken with a phone of a glass whiteboard, in a room overlooking the Bay Bridge. The field of view shows a woman writing, sporting a tshirt wiith a large OpenAI logo. The handwriting looks natural and a bit messy, and we see the photographer’s reflection.
(在俯瞰海湾大桥的房间里,用手机拍摄了一张玻璃白板的大幅照片。视野中,一位女性正在写字,她穿着一件印有大型OpenAI标志的T恤。笔迹看起来很自然,有点凌乱,我们看到了摄影师的倒影。)moj喜好网-记录每日喜好的科技时尚娱乐生活

The text reads:moj喜好网-记录每日喜好的科技时尚娱乐生活

(Left)(左边白板显示以下内容)moj喜好网-记录每日喜好的科技时尚娱乐生活

“Transfer between Modalities:moj喜好网-记录每日喜好的科技时尚娱乐生活

Suppose we directly modelmoj喜好网-记录每日喜好的科技时尚娱乐生活

p(text, pixels, sound) [equation]moj喜好网-记录每日喜好的科技时尚娱乐生活

with one big autoregressive transformer.moj喜好网-记录每日喜好的科技时尚娱乐生活

Pros:moj喜好网-记录每日喜好的科技时尚娱乐生活

* image generation augmented with vast world knowledgemoj喜好网-记录每日喜好的科技时尚娱乐生活

* next-level text renderingmoj喜好网-记录每日喜好的科技时尚娱乐生活

* native in-context learningmoj喜好网-记录每日喜好的科技时尚娱乐生活

* unified post-training stackmoj喜好网-记录每日喜好的科技时尚娱乐生活

Cons:moj喜好网-记录每日喜好的科技时尚娱乐生活

* varying bit-rate across modalitiesmoj喜好网-记录每日喜好的科技时尚娱乐生活

* compute not adaptive”moj喜好网-记录每日喜好的科技时尚娱乐生活

(Right)(右边白板显示一下内容))moj喜好网-记录每日喜好的科技时尚娱乐生活

“Fixes:moj喜好网-记录每日喜好的科技时尚娱乐生活

* model compressed representationsmoj喜好网-记录每日喜好的科技时尚娱乐生活

* compose autoregressive prior with a powerful decoder”moj喜好网-记录每日喜好的科技时尚娱乐生活

On the bottom right of the board, she draws a diagram:(在白板的右下角,她画了一张图:)moj喜好网-记录每日喜好的科技时尚娱乐生活

“tokens -> [transformer] -> [diffusion] -> pixels”moj喜好网-记录每日喜好的科技时尚娱乐生活

最终,如下图,GPT-4o生成的图片中,白板上展示的文字内容完全准确!moj喜好网-记录每日喜好的科技时尚娱乐生活

还能像连续剧一样,一边准确生成文字,一边变换人物动作。moj喜好网-记录每日喜好的科技时尚娱乐生活

在ChatGPT 输入以下指令:selfie view of the photographer, as she turns around to high five him(摄影师转过身来向他击掌时的自拍照)moj喜好网-记录每日喜好的科技时尚娱乐生活

GPT-4o生成的图片中,第一张白板中的男人倒影和第二张图也对应上了。moj喜好网-记录每日喜好的科技时尚娱乐生活

示例2、让GPT-4o生成菜单,提示词中除了需要包含的菜品、价格及简介外,还需要生成的图像中包含这家餐厅的名称、主要亮点以及菜单风格。moj喜好网-记录每日喜好的科技时尚娱乐生活

在ChatGPT 输入以下指令:moj喜好网-记录每日喜好的科技时尚娱乐生活

I'm opening a traditional concept restaurant in Marin called Haein. It focuses on Korean food cooked with organic, farm-fresh ingredients, with a rotating menu based on what's seasonal. I want you to design an image - a menu incorporating the following menu items - lean into the traditional/rustic style while keeping it feeling upscale and sleek. Please also include illustrations of each dish in an elegant, peter rabbit style. Make sure all the text is rendered correctly, with a white background.moj喜好网-记录每日喜好的科技时尚娱乐生活

(Top)moj喜好网-记录每日喜好的科技时尚娱乐生活

Doenjang Jjigae (Fermented Soybean Stew) – $18 House-made doenjang with local mushrooms, tofu, and seasonal vegetables served with rice.moj喜好网-记录每日喜好的科技时尚娱乐生活

Galbi Jjim (Braised Short Ribs) – $34 Slow-braised local grass-fed beef ribs with pear and black garlic glaze, seasonal root vegetables, and jujube.moj喜好网-记录每日喜好的科技时尚娱乐生活

Grilled Seasonal Fish – Market Price ($22-$30) Whole or fillet of local, sustainable fish grilled over charcoal, served with perilla leaf ssam and house-made sauces.moj喜好网-记录每日喜好的科技时尚娱乐生活

Bibimbap – $19 Heirloom rice with a rotating selection of farm-fresh vegetables, house-fermented gochujang, and pasture-raised egg.moj喜好网-记录每日喜好的科技时尚娱乐生活

Bossam (Heritage Pork Wraps) – $28 Slow-cooked pork belly with napa cabbage wraps, oyster kimchi, perilla, and seasonal condiments.moj喜好网-记录每日喜好的科技时尚娱乐生活

(Bottom) Dessert & Drinks Seasonal Makgeolli (Rice Wine) – $12/glassmoj喜好网-记录每日喜好的科技时尚娱乐生活

Rotating flavors based on seasonal fruits and flowers (persimmon, citrus, elderflower, etc.).moj喜好网-记录每日喜好的科技时尚娱乐生活

Hoddeok (Korean Sweet Pancake) – $9 Pan-fried cinnamon-stuffed pancake with black sesame ice cream.moj喜好网-记录每日喜好的科技时尚娱乐生活

(我要在马林开一家名为Haein的传统概念餐厅。它专注于用有机农场新鲜食材烹制的韩国食物,并根据季节轮换菜单。我希望你设计一个形象——一个包含以下菜单项的菜单——融入传统/乡村风格,同时保持高档和时尚的感觉。请以优雅的彼得兔风格附上每道菜的插图。确保所有文本都以白色背景正确呈现。moj喜好网-记录每日喜好的科技时尚娱乐生活

(顶部)moj喜好网-记录每日喜好的科技时尚娱乐生活

Doenjang Jjigae(发酵大豆炖菜)-18美元自制的Doenjiang,配以当地蘑菇、豆腐和时令蔬菜,配以米饭。moj喜好网-记录每日喜好的科技时尚娱乐生活

Galbi Jjim(红烧排骨)——34美元慢炖当地草饲牛肋骨,配梨和黑蒜酱、时令根菜和红枣。moj喜好网-记录每日喜好的科技时尚娱乐生活

烤时令鱼——市场价格(22-30美元)整条鱼或鱼片,用木炭烤,配紫苏叶和自制酱汁。moj喜好网-记录每日喜好的科技时尚娱乐生活

Bibimbap——19美元的传家宝米,搭配农场新鲜蔬菜、家庭发酵的gochujang和牧场饲养的鸡蛋。moj喜好网-记录每日喜好的科技时尚娱乐生活

Bossam(传统猪肉卷)——28美元慢炖五花肉,配纳帕卷心菜卷、牡蛎泡菜、紫苏和时令调味品。moj喜好网-记录每日喜好的科技时尚娱乐生活

(底部)时令Makgeolli(米酒)甜点和饮料–12美元/杯moj喜好网-记录每日喜好的科技时尚娱乐生活

以时令水果和花卉(柿子、柑橘、接骨木花等)为基础的旋转口味。moj喜好网-记录每日喜好的科技时尚娱乐生活

Hoddeok(韩国甜煎饼)-9美元的煎肉桂馅煎饼配黑芝麻冰淇淋。)moj喜好网-记录每日喜好的科技时尚娱乐生活

GPT-4o生成的菜单如下:moj喜好网-记录每日喜好的科技时尚娱乐生活

示例3、看看GPT-4o的图像可遵循详细的提示,处理多达10-20个不同的对象的实力。moj喜好网-记录每日喜好的科技时尚娱乐生活

在ChatGPT 输入以下指令:moj喜好网-记录每日喜好的科技时尚娱乐生活

A square image containing a 4 row by 4 column grid containing 16 objects on a white background. Go from left to right, top to bottom. Here’s the list:moj喜好网-记录每日喜好的科技时尚娱乐生活

1. a blue starmoj喜好网-记录每日喜好的科技时尚娱乐生活

2. red trianglemoj喜好网-记录每日喜好的科技时尚娱乐生活

3. green squaremoj喜好网-记录每日喜好的科技时尚娱乐生活

4. pink circlemoj喜好网-记录每日喜好的科技时尚娱乐生活

5. orange hourglassmoj喜好网-记录每日喜好的科技时尚娱乐生活

6. purple infinity signmoj喜好网-记录每日喜好的科技时尚娱乐生活

7. black and white polka dot bowtiemoj喜好网-记录每日喜好的科技时尚娱乐生活

8. tiedye “42”moj喜好网-记录每日喜好的科技时尚娱乐生活

9. an orange cat wearing a black baseball capmoj喜好网-记录每日喜好的科技时尚娱乐生活

10. a map with a treasure chestmoj喜好网-记录每日喜好的科技时尚娱乐生活

11. a pair of googly eyesmoj喜好网-记录每日喜好的科技时尚娱乐生活

12. a thumbs up emojimoj喜好网-记录每日喜好的科技时尚娱乐生活

13. a pair of scissorsmoj喜好网-记录每日喜好的科技时尚娱乐生活

14. a blue and white giraffemoj喜好网-记录每日喜好的科技时尚娱乐生活

15. the word “OpenAI” written in cursivemoj喜好网-记录每日喜好的科技时尚娱乐生活

16. a rainbow-colored lightning boltmoj喜好网-记录每日喜好的科技时尚娱乐生活

(一个正方形图像,包含一个4行乘4列的网格,在白色背景上包含16个对象。从左到右,从上到下。以下是列表:moj喜好网-记录每日喜好的科技时尚娱乐生活

1.一颗蓝色的星星moj喜好网-记录每日喜好的科技时尚娱乐生活

2.红色三角形moj喜好网-记录每日喜好的科技时尚娱乐生活

3.绿色广场moj喜好网-记录每日喜好的科技时尚娱乐生活

4.粉红色圆圈moj喜好网-记录每日喜好的科技时尚娱乐生活

5.橙色沙漏moj喜好网-记录每日喜好的科技时尚娱乐生活

6.紫色无限标志moj喜好网-记录每日喜好的科技时尚娱乐生活

7.黑白圆点领结moj喜好网-记录每日喜好的科技时尚娱乐生活

8.扎染“42”moj喜好网-记录每日喜好的科技时尚娱乐生活

9.一只戴着黑色棒球帽的橙色猫moj喜好网-记录每日喜好的科技时尚娱乐生活

10.带宝箱的地图moj喜好网-记录每日喜好的科技时尚娱乐生活

11.一双黏糊糊的眼睛moj喜好网-记录每日喜好的科技时尚娱乐生活

12.竖起大拇指的表情符号moj喜好网-记录每日喜好的科技时尚娱乐生活

13.一把剪刀moj喜好网-记录每日喜好的科技时尚娱乐生活

14.一只蓝白相间的长颈鹿moj喜好网-记录每日喜好的科技时尚娱乐生活

15.用草书书写的单词“OpenAI”moj喜好网-记录每日喜好的科技时尚娱乐生活

16.彩虹色的闪电)moj喜好网-记录每日喜好的科技时尚娱乐生活

GPT-4o生成的图片如下:moj喜好网-记录每日喜好的科技时尚娱乐生活

最后,如果把上面这些指令输入给目前国内的文生图APP们,它们的表现又如何呢?moj喜好网-记录每日喜好的科技时尚娱乐生活

这里,我们用示例3的指令,分别测试了文心一言(文心大模型4.5)、豆包APP。moj喜好网-记录每日喜好的科技时尚娱乐生活

文心一言(文心大模型4.5)生成的4张图片之一moj喜好网-记录每日喜好的科技时尚娱乐生活

豆包生成的4张图片之一moj喜好网-记录每日喜好的科技时尚娱乐生活

目前看来,还是有些差距。moj喜好网-记录每日喜好的科技时尚娱乐生活

moj喜好网-记录每日喜好的科技时尚娱乐生活

moj喜好网-记录每日喜好的科技时尚娱乐生活

本文链接:http://www.xihao.site/showinfo-1-71575.htmlGPT-4o图像生成功能上线今起免费用,我们和国内文生图PK了一下

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com。天上从来不会掉馅饼,请大家时刻谨防诈骗