查看原文
其他

ControlNet仅靠一张照片完成“旧房改造” | GitHub热榜第一

abbs建筑招标智库 ABBS 2023-04-05
【重要提醒】有很多朋友私信小编,最近收不到我们的推送,因为微信又双叒叕改版了!为避免错过深度好文,请大家给ABBS加上星标吧!随手点击下方名片-点右上角弹出菜单栏-点“设为星标”即可。
转自公众号:量子位(ID:QbitAI)
这是同一个房间改装前后的样子:
一下子质感Up,从凌乱过时变成了有腔有调的现代风。
至于设计费嘛,其实是…一分钱都没花!
因为这并不是专业设计师做的方案,而全靠一只AI完成。
——只用给AI一张照片,它就能搞定的那种。
还可以选择不同风格。
如此实用的“旧房改造”AI,很快引来大波网友驻足围观;原帖登上了GitHub热榜第一,目前已收获2700+颗星。
还在HackerNews上引起热议。
有网友称,这个应用让他觉得很惊喜,并表示:
如果这种AI还能添加一些功能就更好了,比如给生成图片中各设施进行估价,这样就有机会落地商用了。
还有网友指出:
这实际上就是一种生成式预训练Transformer,和其他Transformer本质是一样的。


01

 一张图就能搞定房间设计 


不管怎么说,这个AI确实在现有技术上整出了实用且新颖的用法。量子位没忍住也亲自上手试了试
我先找来几张破旧房间的照片,然后开始和AI共同设计改造。
说是共同改造,但其实我要做的,就只用给AI一张图,然后点击两个选项:风格和房间用途。
比如,这里选择现代风的客厅:
几秒钟后,我眼前一亮。不仔细对比左右两张图的格局,真的很难相信这是同一个房间。
除了现代风,还有其他选择,于是我又试了试极简风:
虽然这似乎不太“简”,但很精美,甚至比上面的现代风更胜一筹。(给我看得都心动了…)
不过需要说明的是,目前此AI一个IP每天最多只能用3次——实在想多弄几张的话,可以换台电脑。
看到这里,话说一只小小的AI,为何短短几秒就能设计好一整个房间?
其实,这主要得益于它背后一种强大的新晋机器学习模型:ControlNet。
ControlNet,由斯坦福大学研发,是一种通过添加额外条件,来控制扩散模型的神经网络。
这个模型,可以将神经网络块的不同权重,分别复制到“锁定”副本(locked copy)和“可训练”副本(trainable copy)中。
锁定副本,会保留输入信息的一些关键特征;可训练副本,则会通过训练、学习来调节其他特征。然后,这两部分还会连接起来协同工作。
对于可训练副本而言,其训练的方向包括:物体的准确边缘、语义分割、人体姿势等等。
简单来说,就是AI能够判定,一张图中各个要素是否可以改变;然后会在原图某些核心要素不变的前提生成新的内容,不会导致生成图和原图看起来毫无联系。
另外,这个模型搭配文字“食用”效果更佳——比如刚才我选择的房间用途和装修风格,其实就是在给AI添加一点文字提示。
总而言之,基于这样的原理,ControlNet不仅可以胜任室内设计,还有可以玩出别的花样。
比如,一键涂色:
还有“一键换猫”(猫换了,但可爱的歪头杀不变)
“一键换牛”:
Emmm,那某些游戏皮肤是不是……?
值得一提的是,如果你嫌专门登陆官网(见传送门)比较麻烦,可以通过API将这个AI应用连到你的本地应用上。
按这种用法,首先需要下载数据库。
git clone https://github.com/Nutlope/roomGPT
接着去Replicate网站上创建一个帐户,并获取 API 密钥。注意,然后需要把将API 密钥存储在 .env 文件中,如 .example.env。
再安装依赖项:
npm install
然后你就能在命令行中运行该AI了:
npm run dev



02

 开发者简介 

最后,来认识一下此AI的幕后开发者:其实一共就3个人。
其中,最主要的贡献者Hassan El Mghari,本科毕业于德雷塞尔大学计算机工程系,现在是一名全栈软件工程师。
除了开发各种应用,这哥们儿还曾创立了一家游戏营销公司,在Steam上拥有500,000+名用户。
官网传送门:
https://www.roomgpt.io/
Relicatec传送门:
https://replicate.com/
参考链接:
[1]https://github.com/Nutlope/roomGPT
[2]https://news.ycombinator.com/item?id=35001046
[3]https://levelup.gitconnected.com/controlnet-control-your-ai-art-generation-616c86c88964
[4]https://www.elmghari.com/about


ABBS建筑招标智库

最新招标

最近有朋友问我们:为什么没有及时看到推文?因为微信改了推送规则,没有点『赞』『在看』、没有把我们『星标』,都有可能出现这种状况。


『星标』,不迷路!重要的事情说三遍!不想错过精彩推文,看完文章顺手点『赞』『在看』,把ABBS设为『星标』,就可以每天准时与我们见面了。


更多招聘


中建西南院:诚聘建筑师、实习生厚石招聘:主创设计师、建筑设计师、助理设计师NAN建筑招聘: 建筑师、媒体运营、实习生
济南缔筑建筑:建筑效果图、模型制作人员、渲染后期江苏省建筑园林设计院:诚聘建筑师、实习生同济设计TJAD:建筑模型师、UE美术师
诠境建筑有岗位:项目建筑师、助理设计师
LUKSTUDIO芝作室有岗位:驻场建筑师
平介设计有岗位:合伙人、设计师、实习生
基准方中有岗位:建筑师 Perkins&Will有岗位:中高级室内设计师CROX阔合有岗位:建筑师、室内设计师
米凹工作室有岗位:建筑师、实习生

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存