特大号

其他

太意外了!国内80%大模型都存在鹅厂!

“国内80%的头部大模型,都选用了腾讯云存储!”讲真,看到这则信息,我有两点意外↓1、大模型对存储要求真的挺高吗?2、鹅厂云存储都整了啥幺鹅子,能圈住介么多大模型?为了回答这俩问题,我们先来对齐一下认知。常有圈里朋友说,搞大模型的核心挑战,还是算力,至于存储,其实要求不高。甚至,很多人还拿了GPT来说事,比如1750亿参数量的GPT-3,训练数据才区区570GB!570GB啥概念?几百块钱的U盘都能装下。570GB不假,但人家没告诉你的是:这个570GB是经过层层提纯得到的,这些数据在未经清洗之前,是45TB。而这个45TB,要攒起来可相当不容易,那是从PB级的原始数据、各种五花八门的源头采集过来的。所以这背后,是数个PB→45TB→570GB,光在数据准备阶段,采集和清洗,就很考验存储的战斗力,而这只是万里长征的第一步。你千辛万苦准备好训练数据,挑战才刚开始,后面存储的坑儿,多着哩~接下来,我们以鹅厂云存储支撑AIGC大模型的训练和应用实践为例,来详细掰扯掰扯大模型存储的门道↓简单说,AI大模型的研发生产流程,分成数据采集与清洗、模型训练、模型推理与内容治理三大环节,每个环节都涉及海量的数据处理,对存储也都提出了超高却又不一样的需求。一、数据采集与清洗环节这是一个数据从多到少、从粗到精、层层萃取沉淀的过程,但这个过程可不能像提取蒸馏水那么慢吞吞。采集数据时,原始训练数据的规模是海量的,通常基于公网采集,而且来源和格式五花八门,文本数据、网页内容、书籍和出版物、社交媒体数据、多媒体音视频(多模态)。存储作为“蓄水池”和“净化池”,需要支持多协议、高性能、大带宽,同时公网访问能力也很重要。而腾讯云对象存储COS,提供POSIX、HDFS、对象语义协议支持,并具备便捷、高效的公网接入能力。作为数据湖的存储底座,COS支持单集群管理百EB级别存储规模,轻松拿捏大模型PB级别的海量数据采集,确保“采得快,存得下”。到了数据清洗环节,大数据引擎需要快速地读取并过滤出有效数据,此时要求在10几秒内就要把上TB数据加载到计算引擎,存储带宽会有很大压力。采用传统方案,加载时间要30+分钟,等不起,伤不起~而用COS体验就不一样了,通过鹅厂自研的数据加速器GooseFS,数据访问性能大大提升。听听这名字,GooseFS,大鹅出马,一个顶俩!“大鹅加速器”(GooseFS)采用了分层存储机制↓根据不同需求,将需要高频或快速调用的数据加载到内存、本地盘、可用区全闪存储集群中等不同级别的缓存中,缩短IO路径,提升数据访问性能。如此,实现亚毫秒级的数据访问延迟、百万级的IOPS和Tbps级别的吞吐能力支撑计算高速运行,大模型的数据清洗效率能够提升1倍。二、模型训练环节在AI大模型训练场景下,需要反复地将训练数据从对象存储COS拉取到文件存储中。然后,再从文件存储读取到缓存中用于模型训练与计算,在这个过程中需要大量的读取、写入或者删除等操作。此时,需要保证文件存储有超高IOPS和OPS,以便为每个胃口超大的GPU训练节点提供足量的数据。如果文件存储性能不够,算力节点吃不饱,就会“摸鱼”,昂贵的算力就会被白白浪费。同时,训练是个以月为单位大工程,保不齐哪个GPU算力节点会挂掉,“从头再来”那还得了?!为了便于在GPU故障时回滚,通常需要每2-4小时保存一次训练成果(checkpoint),此时,上千台训练节点机并发,会带来百GB/s的读写吞吐。如果文件存储性能跟不上(高并发、高吞吐、高元数据OPS),就没法快速保存和恢复checkpoint文件,节点就得闲着,训练进度就被拖慢。看到这里明白了,训练的这个环节,对存放训练数据的文件存储,要求相当高。而市面上常规文件存储,无论是并发连接数、总读写吞吐/带宽,还是元数据OPS性能,都跟不上这样的节奏。鹅厂怎么破呢?腾讯云自主研发了并行文件存储CFS
4月8日 下午 4:19
其他

一道电梯题,暴打国产大模型!

下班的时候等电梯,无聊拍了一张图,于是拿来“调戏”下各家的大模型。我把这张照片PO给大模型,问了ta们这样一个问题↓我在30层等电梯,图片描述了当前电梯的运行状态。假设电梯每1秒钟可以上升或下降一层,不考虑开关门的时间,其他楼层也不存在乘坐电梯的人。那么,我最快要多久才能乘坐该电梯到达地面一层?这个问题看似简单,实则一点也不复杂,主要考察大模型这几个知识点。1、读图能力:能不能精准识别和理解图片内容。2、NLP能力:能否准确理解我的问题,拆解语法并转化成任务。3、逻辑和算术:需要基本逻辑和小学水平的算术能力,以便计算出正确的时间。4、场景知识:需要了解电梯的运行原理。5、综合推理:结合1、2、3、4来得出最终的正确答案。废话不说,我们来看看考试结果吧↓先上一个最近比较火的免费模型:智谱清言。关注到它是因为我的一个朋友今年52岁了,今年利用智谱+ChatGPT4.0辅导考研,结果成功通过了全国研究生统考(398分)。那么智谱清言在电梯考题中表现如何?这个答案让我有点懵逼,直接忽略了我在30层的关键信息,给出14秒的错误答案。看来,图+文的双重信息,给它造成了困扰。再看第二个:讯飞星火同样,读图和对题目的理解都不正确,这里面的核心是无法理解人乘坐电梯和电梯运行之间的关系。导致答题失败。第三个,阿里系的通义千问且不论答案正确与否,整个回答前后语言逻辑就不通,属于答非所问。本来还想调戏下腾讯混元和字节豆包,可惜这俩家伙现在还不支持「图片+文字」的混合式提问,没给我机会。几个测下来,怎么说呢,都是一根筋,给人“一种大脑发育不完全,小脑完全不发育”的感觉。不过,上面三个大模型都是免费的,既然是白嫖,那么咱不能要求太高。所以,来看看收费的文心一言怎么样↓看完这个回答,怎么说,第一感觉是有点东西,似乎比别人多动了点脑子。但仔细一看,也不是太灵光。首先读图理解不准确,电梯明明是在下行,小度却没有给出明确的判断。接下来,持续加戏,把答案分成了两种情况,但答越多就错得越多。比如连从“30层下降到1层需要经过几层楼”这种基本常识都没搞清楚。文心一言就像是个遇到了难题的考生:这题不会怎么办,把试卷写满,不管对不对,诚意在那里,给老师留个印象分吧。讲真,我第一遍看答案的时候,看到满满一屏,差点被它蒙住了。文心一言的费用是59.9元每月,从答题结果看,这价格真不便宜。玩到这里我有点不甘心,是不是这道题太难了,超过了当前大模型的能力?于是,我决定再去调戏一下ChatGPT↓这个答案还是非常令我吃惊,简明扼要,非常精准地给出了结论,楼层数的计算也没有出错。接下来,我又追问了ChatGPT几个问题↓这个问题是“为什么我在30层呼叫电梯,正在下行的电梯要先回到1层再返回30层”,ChatGPT给出了非常详实的判断依据。然后我接着问一个电梯的运行常识,这个问题跟上面一个问题有相关性,ChatGPT的回答说明这家伙有非常丰富的场景化知识,很懂电梯呀,个人认为这种场景知识对AI的细分行业落地很有必要。最后一问,那就是ChatGPT4为什么能做出正确判断?所以,小小一个读图题,其实涉及到很多知识点,任何一个环节有短板,都会导致最后的错误判断。而这其中,我认为最NB的还是综合推理。最近,我也在不断试用前面那些国产大模型,按我的使用体验,如果询问一些单点问题、知识点,国产大模型都能回答得头头是道,甚至和ChatGPT没有太大差别。比如我问通义千问、文心一言同样的电梯运行逻辑的问题,它们也能回答得滴水不漏。甚至很多偏门、晦涩的问题,也都可以有问必答。【通义千问的回答↑】【文心一言的回答↑】可是,当需要他们把所有知识点串联起来,进行综合推理的时候,学霸和学渣的差距就出来了.有人只会死记硬背,而ChatGPT却能够融会贯通、举一反三。我并不是个“GPT吹”,过去一年,也确实能够看到国产大模型们在互卷中持续进步,更希望他们在这种“比学赶帮超”中,早日吊打GPT、Claude3们。毕竟GPT4很贵(140块一个月),访问还很不方便、不稳定。而像Claude3这样的新贵,你想体验一下都很不容易。比如我周末想试试号称吊打GPT4的Claude3,结果发现中国大陆和中国香港的账户是无法使用的。(当然像羊驼那些“老破小”模型,是不受限制的)据说这个限制是Claude3母公司Anthropic的规定,类似的,微软copilot中国区用户也无法访问。高端算力不让你用,先进的AI应用也不让你用,真是无了个大语呀。崭新的「人工智能+」时代开启了!国产大模型们,加油吧!
3月12日 上午 10:29
其他

运营商大模型,后劲太大了!

大消息,2月26日,中国联通在MWC2024现场,重磅发布「元景大模型」。行家一瞅,惊呼不得了!吃瓜群众说,如今大模型实在是太多,已经“看麻了”。但看完联通这个「元景」,却纷纷表示“赢麻了”。作为2024开年第一个大模型,元景果然“有点东西”,联通慢工出细活,这是要后发制人啊。的确,仔细研究下,你会发现元景大模型,后劲实在太大了!总结起来就是三点:模型基础能力后劲大,模型行业落地后劲大,模型应用前景后劲大!那么,这个后劲极大的「元景大模型」,具体长啥样?联通元景大模型采用【1+1+M大模型体系】,简单三层,明明白白,只为落地↓1套基础大模型+1个大模型底座+M种行业大模型拆开细看,越看越上头,后劲真得大~一、最底层,一套基础大模型,好比是地基。由两大“基石”组成:语言大模型和多模态大模型。❶
3月4日 上午 8:30
其他

如何打造一个拖垮公司的大模型?

今年大模型实在太火如何打造一个拖垮公司的大模型?不多不少,一共分10步▼▼做大模型,要有大格局舍不得孩子套不着狼什么X100、Y100…专挑算力强的买正规渠道没货了?不能怂!加价也要整起来▼必须是业界扛把子级别的大牛就职于顶流AI公司比如“CloseAI”经常在各种会议上高光出镜的那种能把整个团队都带过来最好成建制、好管理、出活儿快▼模型参数至少要万亿级别当不成卷王,就只能被卷死再来个「智算中心」算力至少达要1000PFLOPS自己训练完大模型还能把算力开放出来给同行数据不够怎么整?公开一部分,自有一部分,交易一部分拿到数据后,得清洗处理全体动员做标注老板亲自下场,主打一个陪伴服务器挂了,存储速度跟不上了跨卡性能不行、梯度消失、梯度爆炸....什吗?!Checkpoints没保存?反复回退,反复调参,反复排雷问题一多,团队就乱了人都变得很浮躁公司原有的主营业务停滞不前,业绩下滑“我们来了”广告要全渠道、全媒体覆盖必须要业界感知到我们来势汹汹的霸气先结盟5000家合作伙伴达成意向合作第二天大家联合发发新闻稿必须让吃瓜群众充满期待练是练出来了看上去有点不对劲莫不是个“大傻子”吧落地实施,那叫一个难不知道给谁用,不知道往哪儿用然后开始复盘多么痛的领悟大牛来了又走了算力卡买了又卖了智算中心建了又拆了大模型炼了又废了短视频版
2023年9月20日
其他

从此,大模型不敢瞎BB了

今天,国家互联网信息办公室发布了一则重磅消息生成式人工智能服务管理办法(征求意见稿)吃瓜群众热议说“出台正当时”↓在这份文件中我们看到几个有趣的点↓01什么是“生成式人工智能服务”?你可以理解为,像ChatGPT这类的东西,都是“生成式人工智能”。原文定义本办法所称生成式人工智能,是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。02考验大模型【真技术】的时候到了!文件明确指出,不能生成这些内容↓原文第四条
2023年4月11日
其他

如何看待腾讯打榜TPCC,并创造了8.14亿战斗力?

TPC-C的榜单,又被刷新了,这一次,创造纪录的是鹅厂。刚刚传来消息,腾讯云数据库TDSQL以8.14亿的“战斗力”,成功登顶TPC-C测试榜首。TPC.org官网新鲜出炉的的结果我截了屏(为方便展示删掉了几列不重要的),大家就看点关键的吧↓打榜选手(参测品牌):腾讯云战斗力(tpmC):814854791次战力消耗(Price/tpmC):1.27元人民币战斗阵型(集群节点数):1650
2023年3月30日
其他

ChatGPT发展历程、原理、技术架构详解和产业未来

这几天,ChatGPT彻底杀疯了满世界的人都在和ChatGPT撩骚但很多小伙伴还是一头雾水这玩意到底是个啥?能干啥?这里有篇雄文详细介绍了ChatGPT的来龙去脉看完你也能成半个砖家啦以下为正文,作者陈巍博士去年12月1日,OpenAI推出人工智能聊天原型ChatGPT,再次赚足眼球,为AI界引发了类似AIGC让艺术家失业的大讨论。ChatGPT
2023年2月9日
其他

东数西算的技术攻坚和政策解读!

从年初「东数西算」炸圈至今,已经过去整整半年,半年来的“战绩”如何?未来的前景怎样?主要玩家都有哪些?出现了哪些数据和算力应用新范式…特大号将推出系列专题文章,本文为系列第一期:政策解读与技术攻坚。01TIPS从政策源头看东数西算的意义2022年2月,多部委联合发布8个《同意启动建设全国一体化算力网络国家枢纽节点的复函》,并规划了10个国家数据中心集群,得到了政府和央媒确认。国家发改委网站截图其中发改委高技术司对于东数西算工程的答记者问最清晰有意义,摘句总结一下:▌全社会算力需求持续增长,算力成为国民经济发展的重要基础设施。▌西部地区资源充裕,特别是可再生能源丰富,具备发展数据中心、承接东部算力需求的潜力。▌“东数西算”工程的意义就是:推动数据中心合理布局、优化供需、绿色集约和互联互通。02TIPS政策目的解读国家政策发布后,我们需要先解读和推演,才能更好的学习和实践。我对政策公告中的三个关键立场做了解读。▌解读1:东数西算政策所说的“数据中心”,就是公有云和混合云厂商。上述政策新闻的对象都是“数据中心”,但国家级政策的影响不止是一堆机房。公有云要合规经营,也要以IDC的名义申请B11类增值电信业务经营许可证,所以这里的“数据中心”就是要包括公有云。▌解读2:推进全国数据中心的“适度集聚、集约发展”,这是要发挥规模效应而不是合并垄断。该目标的行为指导是“提升整体算力规模和效率,打通数据高速传输网络,强化云网融合、多云协同,促进东西部算力高效互补和协同联动”。只要各个云节点聚积到了8大枢纽,可以同楼层不同产权,可以共用风火水电,可以云上做云多云互备,更能实现“适度集聚、集约发展”的目的。▌解读3:东部仍然留有三大数据中心,东数西算是务实规划而不是粗暴搬迁。以最早发布的《粤港澳大湾区枢纽启动》为例,我们要“引导温冷业务向西部迁移”,但也要在韶关高新区“积极承接广州、深圳等地实时性算力需求”。东部数据中心在满足绿碳和上架率等前提下,仍然要继续运行。03TIPS资源整合需要技术攻坚东数西算是一次大规模资源整合重分布,但重大资源整合并不是简单的排列组合,而是带了两个关键技术攻坚——“低碳节能”和“高延迟网络”。这两个关键点带来的难题在全球范围内无解,根源上是过去的IT需求太娇气太昂贵了,我们从未想过计算机会如此耗电,网络延迟一直被当做“现象”而非“问题”。▌网络搜索“中国数据中心耗电量”,可查到截至2020年底,数据中心耗电占全国总用电量的2.7%,预计2022年耗电量将达到2700亿千瓦时。如果操作系统和业务应用层能为低碳节能和网络延迟做优化设计,东数西算数据中心能更广泛的应用、更环保的使用。▌东数西算的“低碳节能”可以用服务器柔性错峰来化解,西部节点的“高延迟网络”是个应用架构难题。▌为此做技术攻坚说“颠覆式创新”都太保守了,应该是“颠覆式重构”,国际上缺乏成功先例,国内巨头们也只停留在实验室概念阶段。这些技术难题的主要工作是需求侧IT架构重构,只能交给云厂商用5年、10年甚至一代人的时间来解决。如果中国云厂商借着“东数西算”的磨砺突破了这些技术限制,很快就会出现跨时区、跨半球冬夏季的云计算平台,中国云厂商就能更好的服务人类命运共同体。04TIPS低碳节能的需求优化▌数据中心是耗电大户,东数西算也多次提及电力能耗问题,电力资源有这几个特殊属性:✓和硬件、软件、带宽相比,电力是货真价实的资源,砸钱并不能“快速凭空产生”能源。✓电力资源很难像石油一样储存,也无法简便调整发电场的功率。国内有长距离输电技术和大范围电网,但电网跨国和跨海洋的难度,还是比铺设网络光缆难的多。✓绿碳新能源比拼的是大国科技树而非地下有矿,对我国长期发展非常有利,但绿电的稳定性一直受到自然环境影响,很多绿碳电力浪费得很可惜。▌现在的绿碳数据中心,制冷温控的能耗在迅猛降低,硬件的单位功耗亦步亦趋的降低,但这些节能手段是“支撑计算机的非计算机技术”。IT技术常识是,底层资源盲目支撑上层业务效率很低,需求侧做优化效率更高。如果要从需求侧做到节能环保,云厂商需要开发出新的计算群集框架和操作系统优化。✓现在的技术水平下,即使离线型计算群集,其设计思路仍然把断电当故障对待。我们需要研发出时而100%节点满载,时而99%节点灭灯,但始终能保持平滑工作的任务群集,群集内任务切分要细腻,结果合并要高效可累计。只有这样的软件群集才能错峰用好绿电。✓冰存储通过硬盘批量下电来节能,但冰存储读取数据的延迟太久,更适合人工调档和批量导入导出。如果能增强存储数据的内容描述,针对大型计算任务做好存储读写优化,让存储读写数据的频率变得可控有序,此时冰存储才会又冷又快。✓操作系统或者其他runtime要把“电力不足”或者“温度过高”当做“正常业务动作”,并为这个动作主动发起安全关机,当电力充足启动重启时还能重载旧状态或快速重建。05TIPS高延迟网络有待突破▌公网带宽是一种配置性约束而非资源,但是传输延迟是一个硬性技术限制。✓一条建设完成的链路,一次性建设成本很快就摊销完了,售出10M和1G带宽几乎没有成本波动。✓光纤中光速的物理极限是每毫秒200公里,加上光纤布线和设备损耗,网络延迟没有跨数量级优化的空间了。▌发改委的“东数西算”答记者问中,也很务实的承认了网络延迟难题:✓受限于网络长距离传输造成的时延,对于后台加工、离线分析、存储备份等对网络要求不高的业务,可率先向西转移,由西部数据中心承接。(本段有删减编辑但不曲解原意)▌云厂商不能指望光纤网络的延迟减半,只能从计算机架构技术上降低对延迟的需求,让东西部节点的价值靠近直至拉平。✓无论是多知名的互联网公司还是多重要的金融业务,挖掘机随手一掏就是停服停业的大新闻。我们习惯的“两地三中心”是“远端灾备中心”,“异地多活的活”是“快速复活业务”,本质就是远端那个灾备中心的网络延迟太高,远端中心拖累了本地双中心的可用性。✓当前IT技术时代设计出的“高性能分布式群集”,主要关注内网带宽而忽略内网延迟,各种角色协商、宣告、容错、重负载机制都没做高延迟调优。长传光纤恰好是带宽管够而延迟较高,和旧环境反过来了,而一些大数据类任务是按分钟到小时异步输出任务结果,我们有可能研发出一种“跨广域网高性能分布式群集”技术。✓东数西算大战略下,哪个中国企业能最先研发出“8地10中心+实时多活+高性能+通用架构”的技术,这个企业就能再造一个微软或者Oralce,代表中国IT业制定全球技术标准。06TIPS当下该做的政策引导前文谈相对遥远的技术攻坚,在眼前有一个很犀利的宏观政策引导问题:▌西部节点应该更便宜,还是,东部节点应该更贵?我认为,从国家统筹、运营商到云厂商、互联网公司甚至社会公益多方面考虑,东部热门区域应该涨价,东数西算的核心节点不要降价来吸引客户。▌如果西部向东部特高压输电,2000公里的电力损耗低于10%;但因为2000公里的距离产生了25-40ms网络延迟,这导致西部节点云产品的价格比东部节点低了超过10%,这个经济账就不合算。▌公网带宽是一种配置约束而非硬性资源,且公网带宽的控制归口在三大运营商,很容易做好基于“全国统一市场”的宏观调控,带宽政策调控的力度和敏捷性也远快于其他实体资源。▌大部分点直播业务的操作延迟都是0.1甚至1秒起步的,这些业务的广域网延迟多30ms毫无影响。西部的大带宽节点,有能力让北上广用户像访问本地节点一样流畅追剧和刷短视频。现在客户对点直播网络延迟的畸形要求,只是云厂商恶性竞争带来的畸形评价标准。▌西部节点相对东部节点降价,云厂商管理层看到的是采购部门找到廉价替代资源,技术部门只是配合采购部门做实施迁移,很难借此主张长周期技术革新规划。但如果东部节点的资源明确要逐渐涨价,云厂商才有动力逼着技术部门去推动东数西算相关的技术革新。▌云厂商并不反对上游资源普遍涨价,各云平台最稳定的营收都来自资源转售,供应商降价才会威胁到他们的财报。两年前某运营商给带宽普遍调价,各云只是短期慌乱,但很快就适应了新环境。▌最终为带宽和机柜买单的是互联网巨头们,也该支付更多的数据中心成本。中国互联网近十年的爆炸式增长,中国互联网网企能教育指导欧美同行,靠的是中国有一张规模够大技术够好的个人网络,靠的是足够便宜的4G套餐和家庭光纤。你们一年在IDC上多支出几十亿,定向反哺5G部署和6G开发,这才符合社会公义和财富再分配。中国运营商有充裕的IDC收入去补贴更便宜、更高效、规模更大的个人互联网,对互联网巨头们是长期收益远大于眼前支出。07TIPS看到天边,志当高远我们今天在东数西算上拥抱绿碳、拥抱高延迟多出口做的技术创新,将来都能用到一带一路的海外双循环体系中。▌海外很多区域的网络延迟更不可控、而全球能稳定供电的地区也不多。✓2021年9月21日,国家领导人在联合国大会上宣布:“中国将大力支持发展中国家能源绿色低碳发展,不再新建境外煤电项目”。煤电和核电是最稳定的供电方式,发展中国家以后就要用波动的绿电。✓海外很多地区处于动荡之中,断电断网都是常态;而且海外很多小国人口密度太低,不值得在当地建设数据中心;能稳定供电和覆盖足够网民的数据中心,可能跨越数个国家在千里之外。一个事情“有难度”也“有用途”,那就值得吾辈去拼搏努力。本文特约作者曹亚孟,云计算行业资深从业者,在产品设计、技术评估、战略规划等多个领域拥有成功经验并进行大量分享,著有公众号“云算计”。
2022年8月19日
其他

万字长文:AWS如何跨越“鸿沟”

市场驱动型研发顺便提一下,字节的这种需求管理方法就很好,各团队均可以看到没有加工过的、原始的客户需求,避免各个团队均拿着片面的客户需求,都说自己代表客户而产生争执,导致需求收敛过程过长~图表
2022年7月7日
其他

甲方不选你,只需1条理由!选你,却需100条!

↓甲方选你,可能需要100条理由…但甲方不选你,只需要1条理由!至于是什么理由,千奇百怪哪怕是看你长得不顺眼也算一条理由我今天就讲讲自己做超融合的过程中是如何被客户挑剔的?❶
2022年6月22日
其他

到底是谁杀死了SDN?!

我的名字叫做“SDN”曾经贵为一代网红在IT圈,无人不知无人不晓真可谓风光无限我的成名绝技,叫作“转控分离”整了个被称为“控制器”的大脑对整个网络进行统一指挥这样搞起来网络架构比传统分布式简单多了这种解耦合的开放理念让更多“白盒”网络有了用武之地大家可以摈弃门户之见统一听从控制器口令,傻快狂奔也正因为有了更聪明的「大脑」我克服了传统网络对应用不敏感的毛病一边关注上层业务需求一边指挥下层更有目的性奔跑上通各种应用,下揽万千白盒一切看起来都很完美这些优点,让我成为过去十几年来最最重要的网络创新技术,广受追捧各大网络厂商,也纷纷入坑加持我以为,只要这样野蛮生长一统网络江湖,指日可待哪知道,好景不长业界风云变,SDN不香了!仿佛一夜之间我突然不受待见了各种口诛笔伐连搞兵器谱的,都不给我出榜单了为什么会发生这种180°大转弯?起初,我也是百思不得其解直到某天我看到一份SDN产品招标书被标底参数深深惊到了↓我勒个去,恍然大悟了原来,我就是这么被“卖”的↓几乎所有的网络厂商都把我们SDN当成了一个噱头是控标利器,是产品加分项你以为他们在卖SDN其实他们只是换了个方式卖交换机一句“控制器与交换机统一品牌”一句“用我家交换机,效果更好”就让SDN成了绑定客户的新利器我那颗开放、解耦的真心终究还是错付了…没错,我们SDN就是被高举SDN大旗的网络大厂们一步一步束缚了手脚,逼上“死路”的不过,天无绝人之路云大佬加持,SDN重获新生一群搞云计算的老铁冲过来他们觉得我还可以再抢救一下云大佬一顿猛药💊灌下去竟然让我又活出了新境界不光满血复活还完成了进化↓云大佬们都是实战派他们在踩坑填坑的过程中悟出SDN的自动化能力可以极大提升云产品的交付水准来看云大佬如何拯救SDN首先,他们在云数据中心内部大量使用SDN技术配合网络虚拟化来实现大二层网络的部署和升级而不同数据中心之间互联他们也会用我们SDN来加持SDN可以更好滴完成流量调度并为大规模跨站点迁移提供支撑更重要的是云大佬们践行了中立解耦的理念完全摈弃门户之见不光支持各类白盒和品牌网络产品还让我和各类云平台深度融合(虚拟化引擎、云平台、容器编排工具等)因为云大佬们都想的都很明白他们不卖单一网络设备或者SDN控制器而是要交付一站式的云服务能力,比如↓为租户提供个性化安全服务/网络服务这种需求用SDN+NFV来干最合适先整出一个服务资源池池子可大可小,能力无限扩展然后再把咱SDN马达开起来小车嗖嗖嗖一跑各种NFV功能按需供给,要啥有啥不管网络流量从哪来往哪去东西向or南北向,租户间or租户内都可以把相应安全服务信手拈来形成一条条灵活的服务链(Service
2022年5月12日
其他

2022安全圈的最新鄙视链,出炉!

安全圈,历来是有鄙视链的大家熟知的安全“三大件”防火墙、IDPS、杀毒软件个个都惨遭鄙视
2022年2月10日
其他

云原生的王炸组合,够狠!

IT圈总有一些怪事新技术炒得贼火可到客户处却不受待见比如:云原生虽然在客户处兜售云原生概念屡屡碰壁但是,所有的云计算厂商是的,所!有!厂!商!都在哭着喊着、上蹿下跳地给大家“安利”云原生嘿嘿,他们才不傻云原生不能简单看成一个技术或方法论而是新一轮的IT“供应链”的洗牌不仅席卷数字化增量市场还会彻底颠覆原有的存量市场而当下,恰是这个“变盘”节点大量头部企业客户,已经纷纷入坑在这个变盘节点之下我们看到不少厂商的“狂野”操作比如,在去年年末的开源圈就有一笔云原生相关的重磅收购↓骨灰级的Linux老宗师,SUSE顶流的K8S小鲜肉,Rancher
2021年5月11日
自由知乎 自由微博
其他

中国科技企业,研发投入TOP250排行榜!

欧盟委员会上月发布了《2020版欧盟工业研发投资记分牌》这份报告,根据全球企业的2019财报统计了全球研发投入最多的2500家公司↓其中总共有624家中国企业入榜不废话了大家直接看图吧↓根据报告我们筛选了TOP250泛IT企业其中华为年度研发投入1327亿名列全球第三,中国第一阿里巴巴投入435.78亿名列全球第26,中国第二腾讯投入307.39亿名列全球第46,中国第三这份报告中缺失了京东、滴滴等公司也没有统计尚未上市的字节跳动全球研发投入前两位的是ALPHABET/谷歌和微软公众号后台,回复“250”下载2500家公司完整榜单
2021年1月4日
其他

2020 ToB 年终总结!哈哈哈哈哈

2020年就要翻篇了那些toB圈的人,今年过得怎么样?问了一圈,大家的答案是在toB圈打拼,一路全是坎儿不光没收获,还搭进去不少↓都说toB现在是风口其实是喝西北风的风口↓做toB销售不容易一年来项目参与了不少标投了无数个↓可是每到关键节点就会掉链子↓有时候单一来源采购的单子都有可能中不了↓好不容易中了标公示期间想庆祝一下尼玛,却被翻盘了↓做toB售前不容易销售看见单子就往上冲也不管产品是否满足↓客户不再轻信的产品宣传动不动就要你先来个“POC”↓给客户做产品DEMO经常有不可控的事情发生↓做toB产品规划不容易要不断创新,深入场景提供各种定制化产品↓要向toC厂商学习挖空心思,改善产品UI体验↓还要根据外界大环境变化快速应变比如推出人工智能测温产品↓做toB研发不容易一会儿要搞云原生↓一会儿要搞数据中台↓一会儿要搞低代码开发↓新技能、新语言学了不少可产品bug还是改到崩溃↓做toB产品运维和售后不容易经常会接到前线甩来的锅不想接也得接↓每次产品割接上线都忙得热火朝天、通宵达旦↓在家里明明没问题的产品一到交付验收就bug无数↓做个细小的配置变更却没想到竟然删了库↓你以为只是toB厂商不容易?其实toB渠道也不容易!谁说云计算时代不压货?厂商压货一波接一波↓厂商甩过来的单子没有一个是容易做的↓好不容易自己培育了一个项目却被厂商给顺走了↓你以为只是toB乙方不容易?其实B端甲方更不容易!比如金融行业,名副其实大甲方引领着整个B端数字化转型方向↓作为“重IT”行业金融生产离不开稳定的IT基础架构↓他们历经多年IT建设设备异构、历史包袱多,每天各种锅↓他们既要支撑复杂关键的金融传统业务↓又要兼顾炙手可热的金融创新业务↓稳态业务一刻不能松懈↓敏态业务随时可能井喷↓他们希望加大科技转型投入却又要考虑ROI,循序渐进↓他们希望借助厂商外力又怕被厂商产品锁定↓好不容易找到合作伙伴却又担心对方能力不够搞砸了↓……这些金融“大甲方”的痛谁来解?新华三说“toB无难事,只要不放弃”↓新华三躬身入局,深扎金融行业↓基于紫光云2.0打造了全场景金融云平台↓新华三具备6大核心竞争力①同构混合云公有云、私有云同根同源一致性体验、一体化管理↓②私有云可解耦支持软硬件解耦、分层解耦每个独立组件可与其他云平台适配↓③个性化定制满足金融用户上云的云平台功能定制、结合业务的个性化定制、安全性定制↓④强大的异构管理能力对各类高端设备进行对接适配,统一纳管实现金融全数据中心运营运维一体化↓⑤最低总体拥有成本产品组件模块化设计,任意组合没有豪华套餐,提供最佳TCO↓⑥技术可持续演进从极简部署开始,平滑升级,佛系成长一步一步夯实金融云的基础↓最终,新华三「全场景金融云」成为了最match金融客户痛点的那朵云↓截止2020年底已有上百家金融机构选择了新华三全场景金融云涵盖央行系、商业银行、证券、基金、保险让我们用一张图来回顾这些最佳实践↓
2020年12月30日
其他

新基建全家桶,一桶在手,天下我有

近期,我们陆续发布了新基建系列专题,盘点7+1大领域“新基建生态图谱”发布后得到了圈内专业人士的热烈反馈根据建议,我们对图谱进行修正和增补现在,作为“全家桶”,发布全景图谱完整图谱大图下载方式后台回复:new各个细分领域的简要分析参见往期文章
2020年4月17日
其他

数据湖这个大坑,是怎么挖的?

这是第❹篇神扯:说个神秘的概念——数据湖。从前,数据少的时候,人们拿脑子记就可以了,大不了采用结绳记事:后来,为了更有效率的记事和工作,数据库出现了。数据库核心是满足快速的增删改查,应对联机事务。比如你用银卡消费了,后台数据库就要快速记下这笔交易,更新你的卡余额。日子久了,人们发现,库里的数据越来越多了,不光要支持联机业务,还有分析的价值。但是,传统数据库要满足频繁、快速的读写需求,并不适合这种以读取大量数据为特征的分析业务。于是,人们在现有的数据库基础上,对数据进行加工。这个加工过程,被称为:“ETL”
2020年4月16日
其他

招聘:新华三、锐捷、蚂蚁金服、腾讯云、阿里云、青云、金山云、OPPO、华云、中国电信…

今年IT职场行情如何有没有受到疫情影响别慌,一大波好职位来啦20+牛公司,强势招人抢地盘Q2稳了以下招聘公司排名不分先后▌解决方案架构师-城市轨道交通方向职责描述:1、主导城市轨道交通行业解决方案,对行业解决方案竞争力负责;2、针对行业信息化发展趋势,定期提出分析报告,并可输出开发需求;3、支撑办事处城轨信息化项目技术交流以及方案落地。任职要求:1、本科以上学历,3年以上解决方案售前从业经历,对城轨行业熟悉,有城轨云项目参与经验者优先,了解业主需求、行业发展技术路线;2、擅长方案编写,有主观能动性,可积极同团队沟通交流;3、熟悉ICT基础知识,对云、大数据主流平台和相关解决方案架构有所了解。招聘人数:2~3人
2020年4月15日
其他

“新基建”生态图谱:充电桩、轨道交通、特高压、北斗导航

我们的新基建专题已经盘点了4大类产业链5G、大数据中心、工业互联网和人工智能本来已经暂告一段落毕竟其它几项,跟IT人关系不大但很多特大粉在后台留言希望我们能够做个统一梳理“宁滥勿缺”于是我们又对其余几项做了盘点再加上大家热议的北斗导航凑成“新八仙”这部分除了充电桩设备商、运营商我们还补充了新能源车企但是捋一遍会发现无论新锐还是老牌贵族大家都有不少新能源车型了btw:长安系和东风系看着眼晕目前,国内车桩比例为3.5:1相比《电动汽车充电基础设施发展指南
2020年4月7日
其他

鲲鹏,华为下了一盘大棋!

有人开玩笑说菊厂注册了整本《山海经》的确,华为很多产品名称来自上古神话而这其中「鲲鹏」,无疑是最引人注目的其实,鲲鹏源于《庄子·逍遥游》并不是《山海经》华为“鲲鹏”到底是啥?看罢上周声势震天的HDC.Cloud大会特大妹终于明白了鲲鹏,是华为下的一盘大棋棋盘之大,不知几千里也今天就把“这盘棋”一次说透未来的算力大棋盘这盘棋一落子华为就把重点聚焦到了“算力”上为什么“算力”这么重要?我们拿当下最火的“新基建”来说▼从前,我们衡量一个国家的工业化程度往往会把发电量作为重要指标如今,在“新基建”数字经济时代这个指标,除了电力,还有算力算力,成了基础中的基础百行百业新应用新场景催生了各色不同的算力需求算力,进入多样性异构时代也就是我们说的↓泛在计算,突出一个字“泛”计算无处不在不再仅仅集中于数据中心云-边-端,都需要算力支持▼
2020年4月2日
其他

POC虐我千百遍,我待POC如初恋!

在预训练模型基础之上,仅需要10行代码,就能完成一个全新AI项目的迁移学习,即使训练数据不足,也可以获得极高的模型精度。
2020年3月31日
其他

“新基建”生态图谱,人工智能篇

个左右试验区。截止目前,已经有北京、上海、合肥、杭州、深圳、天津、济南、西安、成都、重庆和浙江省德清县,共十市一县获批我国新一代人工智能创新发展试验区。新基建,新八仙👇
2020年3月30日
其他

G20的远程视频峰会,火了

这场会议,是基于网络视频会议进行的
2020年3月27日
其他

“新基建”生态图谱,工业互联网篇

图谱增补,请发邮件至:data@tedaniu.com成为“新基建八仙”本来工业互联网就很火了上周五,工信部刚刚又发文加码让工业互联网火上加火👇按个人理解挑出几个感兴趣的数字来↓▌
2020年3月23日
其他

“新基建”生态图谱,云计算大数据篇

今天我们继续新基建专题新八仙,新故事,新机遇👇这一回主角轮到“大数据中心”了云计算和大数据相伴相生so,在盘点大数据中心产业链的时候我们也顺带捎上了云计算产业链这个市场容量有多大?我们来看几个维度的数字吧👇①大数据市场规模2021年,中国大数据市场容量将达145亿美元(包括硬件、软件和服务)②IDC数据中心市场规模2021年,中国IDC市场规模近400亿美元2019-2021年CAGR超过30%③云计算市场规模到2021年,中国云计算市场规模达335亿美元其中公有云210亿美元,私有云135亿美元虽然不同维度,数据有交错但是都可以得出一个结论只要和大数据、云计算扯上关系前景都很值得期待这个市场都有哪些玩家?不废话,直接上图👇关注特大号,后台回复“big”可下载无码高清大图……这张产业链图谱包括4大板块,35个细分领域1、数据中心风火水电板块2、数据中心ICT软硬件板块3、IDC与云服务商板块4、云计算与大数据行业ISV板块囊括近千家国内外厂商、ISV、服务商…这个市场竞争激烈,却又生机勃勃“新基建”令旗一挥,千帆竞流特大号后台回复“big”,下载大图
2020年3月16日
其他

“新基建”生态图谱,5G篇

……让我们跟“八仙”一起畅游新基建的大海吧预告:即将推出↓新基建之云计算与大数据生态图谱新基建之工业互联网生态图谱新基建之人工智能生态图谱……
2020年3月10日
其他

凌晨两点,IT人的朋友圈!

朋友圈里纵论趋势、指点江山,技术交流却被怼得面红耳赤、语无伦次。
2019年11月22日
其他

不懂OpenShift,不足以谈云计算!

OpenShift底层以CRI-O等作为容器引擎驱动,以K8s作为容器编排引擎组件,并提供了开发语言,中间件,DevOps自动化流程工具,网络与存储的管理…,以及对Service
2019年11月14日
其他

如何看待蚂蚁金服OceanBase“击败”甲骨文?

我觉得“打破美国公司甲骨文保持了9年的世界纪录”、“Oracle数据库制霸9年之久”的说法,欠妥!
2019年10月5日
其他

大盘点:33所高校人工智能研究院

人工智能学院在智能图像处理、机器视觉、自然语言处理、大数据技术、网联汽车、云计算工业互联网、智能芯片、物联网应用等领域与业内知名企业共建了多个联合研究中心和学生校外实习实践基地。
2018年10月30日
其他

我一口气问了亚马逊CTO这10个问题

AWS技术峰会北京站期间,亚马逊CTO沃纳·威格尔博士来华,小黑羊有幸获得了与这位云计算大神面对面的机会。沃纳·威格尔博士曾服役于荷兰皇家海军,还曾是康奈尔大学计算机系的研究科学家,他在2004年就加入亚马逊担任系统研究总监,2005年被任命为CTO和副总裁至今,我们知道,亚马逊的公有云服务之路是从2006年开始的,沃纳大叔是AWS的灵魂人物,主要负责驱动亚马逊的技术创新。小黑羊在膜拜这位云计算大神的过程中,问了10个问题,沃纳大叔的回答让我对AWS的成功之道有了更深入的理解……1能谈谈您的T恤衫吗?在上午的主题演讲环节,大叔穿的T恤衫被网友热议,这件T恤上的LOGO是著名“吃鸡”游戏:,中文名《堡垒之夜》。截止2018年1月,Fortnite全球玩家超过4500万,2月同时在线人数突破340万人。更有意思的是,开发Fortnite的公司EPIC
2018年9月5日
其他

Gartner终于公布数据,全球公有云前三无悬念!

刚刚,Gartner发布了2017年度全球公有云IaaS市场份额分析报告,根据新鲜出炉的数据,AWS、微软(Azure)、阿里云位列前三甲。我们还是先来看看数字吧2017年度,AWS的IaaS营收达到122.21亿美金,市场份额超过50%,但因为基数较大,增长率放缓,只有25%;微软云IaaS营收达到31.3亿美金,增长率是亮点,接近100%(98.2%);阿里云位列第三,是唯一入选短名单的中国云服务商,2017年度IaaS营收为10.9亿美金,增长率也很可观,达到62.7%;“3A”合计垄断了66.5%的市场份额,而且这种垄断优势在加大——获得第4、5名的分别是Google和IBM,和此前业内传言的“谷歌云取代阿里云的第三位置”不同,从实际数据看,Google不光没有“取代”,反而与阿里云的差距略有拉大。特别值得关注的是,前五之外的“others”阵营,整体增长率只有“8%”,跟前五的高增长相比,这个数字格外刺眼。由此可见,公有云IaaS市场已经步入真正的寡头时代,马太效应凸显,强者愈强,弱者愈弱,后进者几乎没有翻盘的机会了。这一点,我们从Gartner前期发布的公有云IaaS魔力象限上,也能看出来。2017密密麻麻14家,2018稀稀疏疏6家,天下已定,洗牌完成,未来我们需要关注的是:领头羊AWS的市场份额,会被挑战者们蚕食多少?比较遗憾的是,Gartner这份报告只能体现全球视角,没有关于中国市场的详细数据,根据此前Synergy
2018年7月4日
其他

为啥芯片那么难搞?终于有人讲透了!

然而,使用以上这些封装法,会耗费掉相当大的体积。像现在的行动装置、穿戴装置等,需要相当多种元件,如果各个元件都独立封装,组合起来将耗费非常大的空间,因此目前有两种方法,可满足缩小体积的要求,分别为
2018年4月18日
其他

中美贸易战,对IT行业的深远影响

所以,我们清晰得看到,美国打击的是国家战略行业,《中国制造2025》中十大重点领域,高性能机械医疗、生物医药、新材料、农机装备、工业机器人、新一代信息技术、新能源汽车、航空产品、高铁装备等。
2018年3月26日
其他

2017年,43岁,我面试了15家公司(连载)

MBA同学TRACY,辞去了广州500强零售公司财务总监的稳定工作,跟着信任的师兄去一家民企做财务总监,赌了一把,奔着上市去的。辛苦干了一年,势头大好,投资方因为资金问题,突然撤资,期权变成了废纸。
2018年3月19日
其他

奇葩废标理由

有一次评委把投标方和甲方都diss了,招标文件要设备资料盖厂家章,然后几个投标人都用的戴尔,甲方也要这个服务器和以前用的一样。最后开标时候有一个评委宁死不屈,要把几家全废了,说章不是美国公司的章。
2018年1月3日
其他

注意:政府采购的质疑和投诉,有新法规了,3月1号施行

跨区域联合采购项目的投诉,采购人所属预算级次相同的,由采购文件事先约定的财政部门负责处理,事先未约定的,由最先收到投诉的财政部门负责处理;采购人所属预算级次不同的,由预算级次最高的财政部门负责处理。
2018年1月2日
其他

新鲜出炉的两个公有云“小”单子;中国移动完成公司改制,变为国有独资;

12月25日,全国工业和信息化工作会议在京召开,会议明确了2018年工作重心。其中,有关移动转售领域方面,会议明确将加快重点领域改革,实现移动通信转售业务正式商用,做好电信企业混合所有制改革。
2017年12月25日
其他

2018年云计算行业展望

架构技术人员。当程序员调用云平台提供的SDK时,谁还记得那些精雕细琢的基础类库和容错架构?比如说用对象存储,公司就不需要做存储架构设计了,纵然要做多云冗余备份等机制,但这些工作量已经很低很小了。
2017年12月25日
其他

我要,送你一顶特大号的圣诞帽

版的赞赏功能被关闭,可通过二维码转账支持公众号。
2017年12月23日
其他

那些佛系的IT人啊,我最服你们!

版的赞赏功能被关闭,可通过二维码转账支持公众号。
2017年12月21日
其他

天夏智慧联合中标17.06亿元大数据中心项目;国家第一批国家绿色数据中心名单公布,正在公示

百度与华为12月21日宣布达成全面战略合作,未来双方将在互联网服务和内容生态、AI平台和技术等方面展开全方位深入合作,共同构建多赢的移动和AI生态,推动人工智能应用和全场景终端产业迅速升级。
2017年12月21日
其他

最近,我觉得有点抑郁

“原谅你个大头鬼!小陈来得快,是长城物业效率变高了而已!携程贴心语音通知被你误会成这样,另外一张机票你别想要了!我们银行用了新的运维协作平台,工作没那么忙所以有时间休年假了!”
2017年12月21日
其他

这篇文章,总算把共享单车的“黑科技”讲透了

云端的共享单车应用系统集成外部的互联网功能(例如支付、二维码应用、电子地图等),将单车和用户连接起来,完成一套完整的租赁服务流程(地图寻车-二维扫码-用户解锁-骑行使用-合锁还车-支付结算)。
2017年12月20日
其他

360宣布永久关闭水滴直播;阿里云ET大脑在北京云栖大会发布;联想云正式落户天津

广东铁塔和中兴通讯将在物联网、新能源、互联街道、智慧社区以及多用途智慧杆、智慧停车、智慧水电等领域进行技术合作和业务拓展,共同推动以上业务在广东省内的落地,为建设资源节约型、环境友好型社会服务。
2017年12月20日
其他

运维的苦苦苦苦,谁懂懂懂懂?

010-62694173网址:www.dcits.com点击阅读原文访问神州信息官网
2017年12月20日
其他

中电信云计算集采:15000CPU授权服务器虚拟化软件;阿里在南通投资180亿建数据中心;

分析人士认为,阿里巴巴把南通作为华东地区的云计算基地,契合了南通打造华东地区重要信息港的定位,必将促进南通数据产业集聚和产业生态形成,为南通打造千亿级大数据产业起到强大的助推作用。
2017年12月19日
其他

爱快商用路由获千万级B轮融资,布局P2P CDN业务

借助资本与行业多方利好的情况下,爱快路由将不断稳固自身网络产品,并且大力开发边缘冗余资源和物联网领域。爱快路由的初心就是缩短用户与内容的距离,爱快也将秉承这份初心为更多的客户提供服务和创造价值。
2017年12月18日
其他

中国电信100亿成立投资公司;Gartner预测:2018全球安全支出达960亿美元;

Gartner2016年安全购买行为调查对此进行了验证。在53%的组织中,安全风险被认为是整体安全支出的头号推动因素,最高比例的受访者表示,安全漏洞是影响安全支出的主要因素。
2017年12月18日
其他

史上最污技术解读,我竟然秒懂了

假设你是个妹子,你男朋友风流倜傥,你总担心他出轨,于是你在他身上安装了一个窃听器,里面内置了一些可疑女生勾搭行为的特征库,只要出现疑似被勾搭的情况,就会立刻向你报警,这叫入侵检测系统(IDS)。
2017年12月15日