gbase 8a sql参考手册用什么实现的

可控&自主 武新谈GBase 8t核心技术--百度百家
可控&自主 武新谈GBase 8t核心技术
分享到微信朋友圈
“去年9月,国内数据库圈发生了一件大事,IBM把企业级数据库Informix的全部源代码授权给了国产数据库厂商南大通用,当时就引发一段时间的大讨论,憋了9个月之后,南大通用正式发布了基于Informix12.10最新版授权源代码自主构造而生面向高端事务处理领域的GBase8t”
“去年9月,国内数据库圈发生了一件大事,IBM把企业级数据库Informix的全部源代码授权给了国产数据库厂商南大通用,当时就引发一段时间的大讨论,憋了9个月之后,南大通用正式发布了基于Informix12.10最新版授权源代码自主构造而生面向高端事务处理领域的GBase8t”
众所周知,引进消化吸收再创新是提高自主创新能力的重要途径。今天中国高铁的发展历程,也在进一步佐证着这个道理。国产数据库自诞生至今,也有20多年的历程,一直在国际竞品夹缝中求生存。ITPUB(国内最大的DBA社区)调查显示,绝大多数DBA对于国产数据库始终抱有质疑的态度!“国产数据库能不能用?”“好不好用?”“抄的吧?”等质疑非议声不绝于耳。在老鱼看来,如果说,产品的模仿就是抄袭,老鱼相信国内互联网的从业者,没有谁是干净的,包括国外的谷歌facebook同样有这样的行为,争吵这些是没有意义的。老鱼认为可怕的不是模仿,而是只模仿不创新,只引进不吸收,导致一直在模仿从未能超越。
去年9月,国内数据库圈发生了一件大事,IBM把Informix数据库的全部源代码授权给了国产数据库厂商南大通用,当时就引发一段时间的大讨论,憋了9个月之后,就在前天,6月30日南大通用在北京国家会议中心召开发布会,正式发布了基于Informix国产化后诞生的面向金融、电信、政务等高端行业交易型数据库产品GBase8t,并展示了所取得的应用成果,包括:“两地三中心高可靠解决方案”、“基于磁盘共享的高可用解决方案”、“对国产CPU处理器平台的支持”等;同时也发布了“GBase高校行计划”,计划两年时间与国内100所高校共建人才培养合作计划。
至此,南大通用形成了面向大数据分析市场的GBase8a和面向高端事务处理领域的GBase8t两个双子星核心产品布局。借着大会间歇,老鱼采访了南大通用CTO武新,并就GBase8t技术架构及优势,Informix技术消化吸收情况,数据库人才培养,国产数据库的生存空间等话题进行了探讨。
采访过程中,武新对国产数据库的市场机会有着相当深刻的认识,武新认为国产数据库有两个方面的机会。其一、政策红利,国内数据库市场基本上被国际厂商所把持,用户选择余地不大,从国家战略信息系统自主可控的角度来看,这是不可接受的;其二、市场机会,国际数据库产品相当昂贵,这给了国产数据库巨大的空间,武新开玩笑的说,如果某品牌数据库产品只要1美金,那他立马卷铺盖走人,没得做了。
以下为老鱼采访南大通用CTO武新实录:
老鱼:今天在发布会上发布了GBase8t,能否先给我们详细介绍下GBase8t及技术优势?
武新:好的,GBase8t是国内率先推出的一款与世界技术同级的国产事务型通用数据库系统,基于引进的IBM成熟商用企业级数据库Informix12.10最新版授权源代码自主构造而发行。原型产品Informix在世界各地金融、电信、政府、企业的核心业务系统中广泛应用,OLTP事务处理性能达到同代Oracle水平,能够在90%以上的场景中替代Oracle。
GBase8T产品架构图
GBase8t由Server、工具和接口三部分组成。GBase8t的产品优势有以下几点:
一、高性能
基于多进程多线程的结构,可更有效地利用CPU,且其多线程库不依赖操作系统。支持高并发用户连接和高并发事务处理。
动态共享内存技术:缓存数据表的数据,减少磁盘IO,并提供最快捷的基于共享内存的进程间通信,并且实现了内存的动态可扩展。
虚处理器技术:以虚处理器(virtualprocessor,VP)的方式管理系统物理CPU资源,按功能分成不同类型的VPClass,并且可进行实时动态的增加、减少CPUVP资源。每个VP管理和运行属于它的线程,提供扇入和扇出的并行机制,进而提高并行度。
磁盘技术:可动态扩展的逻辑存储空间DBSpace,物理上DBSpace由多个数据文件Chunk组成,Chunk以页page为基本单位,page是最小的IO单元,可提供2K,4K,8K,16K不同的Pagesize。并且提供可自管理的存储池功能。
二、高可用性
最高可用性级别达到99.999%,可满足金融、电信、安全等关键行业用户24*7业务不中断运行的系统稳定性需求,同时基于HDR+RSS可构建两地三中心远程异地容灾方案。GBase8t通过多种高可用解决方案实现,主要包括:
HDR(HighavailabilityDataReplication,高可用性数据复制)
RSS(RemoteStandaloneSecondary,远程实时容灾)
SDS(SharedDiskServers,共享磁盘数据库集群)
ER(EnterpriseReplication,企业级复制)
其中,SDS技术相当于Oracle的RAC技术。
三、高易用性
提供简单、易用的图形化管理工具,允许DBA在任何地点以安全方式接入网络,通过该图形化管理工具管理数据库,可完成以下操作:
监控运行状况
管理高可用功能
服务器管理
老鱼:GBase8t原型是Informix,据说Informix有上千万行的代码,从IBM去年9月授权给南大通用,到现在经过9个月的消化,南大通用大概掌握了多少?
武新:这个问题问的非常好,Informix的代码有几千万行。我们买的不仅仅是代码,数据库只买代码其实意义不大,要把整个设计文档,测试体系都买过来,这个比数据库代码本身更重要。核心代码我们现在最关注的是OLTP引擎,这是我们认为最有价值的代码,我们现在是优先去消化它。
到今天为止,实事求是讲,我觉得我们消化了还不到十分之一,消化吸收需要一个比较长的过程,我希望两三年的时间,对于最关键的代码能够消化掉,然后做一些改进,目前是这样一个规划。
老鱼:您觉得这种技术引进对南大通用的技术提升会有多大的帮助?
武新:这个技术的引进对于我们来说,主要是填补了我们产品线的空白。我们在引进Informix之前,主要还是面向数据分析,也就是GBase8a这款面向数据分析的数据库产品,我们缺乏一款有竞争力的高端交易型数据库,引进了Informix是补上了这块。
现在我们既有面向分析的一流的数据库,也有面向交易的通用数据库,除了这两款世界级的数据库产品外,其实我们还代理了一款数据库,也是世界一流的,这是我们三款产品,从产品线上来讲是比较全面的。
我们针对GBase8t,未来会开发更多新的产品形态,比如我们正在规划开发8t的一款基于MPP架构的产品,来支撑一些并发量要求很高但是比较简单的应用产品,这种需求我们认为是除了互联网公司以外,在行业用户里面也有,这对我们来说是很重要的一块。
老鱼:南大通用是如何看待自主可控?如何看待引进消化吸收再创新这个模式?
武新:其实我们刚才跟专家领导开了一个研讨会,研讨会的内容就是引进、消化、吸收、再创新这个模式,在国内基础软件领域,这个模式本身有什么意义?是不是能够成功?讨论的结果是大家达成了共识,确认这种模式是一种创新。其实这种模式在我们国家其他的领域已经有很多成功案例,大家都知道我们的高铁技术,也是一个引进、消化、吸收、再创新的一个模式,我们的高铁经过了这么多年的发展,现在都已经卖到德国去了。我们其他领域的产品,核电技术也是从国外引进来,然后消化、吸收、再创新,还有其他更多领域的创新。包括我们的航母,最早是我们引进的,然后我们吃透了,再去造新的航母。
在基础软件领域,我们现在是两条线,一个是自己在本土全部去开发,这个路其实非常漫长。我们认为在数据库,尤其是这种交易型的数据库,它经历了40年的发展,留下了四款比较成熟的数据库产品,除了Oracle以外还有Informix,还有IBM的DB2,还有Sybase的ASE。在那个时期,我们国家其实还没有那个条件跟国外的技术同一个起点开发类似的产品,所以我们国内做类似数据库的厂商,虽然大家都非常努力,但是由于起步是比较晚,错过了天时。到目前为止,虽然也有一些厂商一直在努力做这个事情,但是差距还是非常大的。
另外一条路就是我们现在走的这条路,就是国外厂商面对中国市场开放,我们把这个产品引进来,然后再逐步的去消化、吸收,然后在这个基础上进行创新,这需要一个过程,需要我们付出更大的努力,但是这也是一个创新。在这个过程当中,我们才能逐步的去掌握这个产品。
什么叫自主?我现在也不知道自主的界限定义在什么地方,比如说我们的航母现在算不算自主?我们的高铁算不算自主我不知道,这里面有多少比例?是不是每行代码都要自己写才叫自主?现在没有一个清晰的定义。但是我们觉得,至少世界一流的数据库产品的源代码,整个测试体系,文档现在都落在了中国。基于这个,我们有非常高的起点,这一点是事实。有了源代码,我们可以把这个产品做得更安全,这是两个事实。我觉得没有必要过度的纠结于什么叫自主,因为这个东西没有一个清晰的定义,就是说这个东西你是不是可控很重要,至少代码我们是可控的,这一点大家争论不清楚的什么叫自主,是不是任何一个东西都要自己去制造?我觉得从软件角度来说可控最重要,我们需要一个过程,逐步的把它吸收消化掉,然后再继续的创新,这跟我们国家其他领域如刚才说的高铁、核电是类似的模式。
老鱼:发布会上有嘉宾建议可以把Informix的团队招安,相对来说,原始团队可能对于Informix的技术、架构、后门的理解更透彻,你们是否有这方面的考虑?
武新:目前已有一些国内外的Informix专家加入我们公司,包括孙国荣,还有些国外的一些专家。
对于Informix技术的消化吸收,我们采取的是两条路都走,一条路是内部组织更多的人力进去消化Informix技术,另外一条路是吸取外部的力量,以咨询的方式,帮助我们更快的理解Informix核心的设计思想和理念。
软件不像硬件,硬件需要去工厂制造,软件只有研发投入,没有制作成本。Informix的技术,不会在短时间内落伍,从交易的角度来说,其实无论是Oracle还是Informix,都已经达到了顶峰,这也给我们更多的时间去消化。在消化的过程中,让我们能在国内培养一批高水平的人才来,这是一个非常好的机会。
老鱼:发布会上公布了GBASE高校行计划,这是一种解决人才短缺的方式,但周期会比较长,短期的人才的问题你们如何解决?
武新:这是一个潜在的问题,也是我们这些年一直面临的问题,在国内做数据库的人不多。我当年进入南大通用的时候还不到100人,现在已经500人了,我所在的技术团队现在有350人的规模,当时我进公司的时候还不到50人。
我们招聘的人主要有两类;一是高校应届毕业生,既不懂数据库,也不懂IT,这类人培养的周期会长一些。另外一类是对IT比较资深的人,我们招的是有十年以上工作经验,而且主要是做底层开发的,因为我们的产品都用C++写。
对资深的人我们就培养其尽快的掌握数据库知识,每个人进来会有师傅领着,我们把这个团队分成不同的小组,比如我刚开始带了五个人,这五个人过几年我让每个人再带五个人,以这样的模式,我们为公司培养了一批目前对数据库开发和数据库的知识有非常高水平的人。数据库不光是技术问题,还有支持问题。
高校毕业的学生我们基本招的是硕士生,也是老带新的模式进行培养,相对来说这类人基本上是两年以后才能产出,前期投入非常大。
当然我们从国外也引进一些人才,只是这些人才可遇不可求,所以,我们既招资深的工程师,也招应届毕业生,这样才能形成不断的人才培养周期积累人才,我们是这样一个模式。
老鱼:发布会上各位的表达中,对GBase8t非常有信心,能不能谈一下信心从哪儿来?
武新:其实信心来自于我们自己对它的认识。
第一、从市场看,我们技术是优秀的,国家需要自主可控的数据库产品。大家一直提数据库,常说数据库是最难的。我们跟IBM这块的合作,informix有30多年的历史沉淀,有众多的用户验证,我们认为informix技术是优秀的。
第二、从服务能力看,我们服务能力是优秀的,我们的研发能力比较强,跟外企朝九晚五的上班比,我们团队很多人都是一天工作十几个小时去研究,为了一种信仰,为了技术。从我们的服务团队来说,我们的总工程师从IBM过来,应该感觉到,IBM的工作节奏跟我们的工作节奏是完全不一样的概念,相对来说我们的人更有激情。
第三、从客户来看,其实客户过去对Informix是认可的,只不过是IBM的战略让他们不得不换。但是现在客户听说可以回来了,并且有这么一支能干的人,一定能给他服务好。
第四、从合作伙伴看,今天你们也应该看到了,我们很多高端的合作伙伴,我们是以一种最虔诚的心态跟大家去合作共赢。
分享到微信朋友圈
在手机阅读、分享本文
还可以输入250个字
推荐文章RECOMMEND
阅读:6569
热门文章HOT NEWS
扶我起来,我要充个值!
百度新闻客户端
百度新闻客户端
百度新闻客户端
扫描二维码下载
订阅 "百家" 频道
观看更多百家精彩新闻gbase8a 数据库备份 rcman - 开源中国社区
当前访客身份:游客 [
当前位置:
&linux下 gbase8a数据库安装目录,&& /home/gbase8a/GBase/server/bin/rcman 工具是数据备份工具
&使用 rcman -uroot -pgbase /path 连接上数据库后.会弹出& rcman & 命令模式. 但放在shell脚本中. 如果弹出这个的话没有办法执行下面的命令, 加入我在rcman模式下输入 backup level 0 ,这是备份gbase8a数据的命令. 只能 rcman &模式下输入的 , 有什么办法能在shell中连上了只要不弹出命令环境, 直接在shell中执行备份命令, 否则无法完成gbase8a在linux中自动备份数据库.
& 在linux中, 还有什么办法可以自动备份gbase8a数据库的数据 ?
&& 各位高人, 求解啊! 谢谢.
共有0个答案
更多开发者职位上
有什么技术问题吗?后使用快捷导航没有帐号?
查看: 3873|回复: 2
GBase 原来是Informix修改过来的
金牌会员, 积分 1307, 距离下一级还需 1693 积分
论坛徽章:19
首次披露GBase 8t技术细节,看南大通用如何撬动数据库市场格局?_存储在线
首次披露GBase 8t技术细节,看南大通用如何撬动数据库市场格局?阿明 发表于:15年01月12日 10:17 [原创] 存储在线日,就在GBase 8t应用研讨会的当天,南大通用现场发放了100张GBase 8t数据库试用光盘,国产数据库破天荒地开放给大家随便体验和测试。信心有了,问题马上来了对此,阿明不禁想问:为什么南大通用对GBase 8t如此有信心?为什么GBase 8t的出现有着改变国内数据库格局的可能性?为什么南大通用会响应号召,“要用发展高铁的速度来发展国产数据库”?GBase 8t数据库技术到底有哪些优势?当阿明找到南大通用副总裁兼CTO武新请教有关GBase 8t数据库技术细节时,他首先透露,有些技术细节在公开场合我不方便说得太多,特别在有些性能方面对比Oracle,比公开的数据还要好得多。作为从事过多年Oracle数据库研发,并为南大通用GBase倾注了满腔热情的武新,依然保持着职业经理人的良好操守,他希望阿明在文章里面尽量避免对老东家Oracle的不敬。但是,在阿明看来,叫板Oracle只是证明GBase 8t客观存在的价值,并非有损于Oracle的品牌形象。再说Oracle都可以在拉斯维加斯举行的惠普某大会大门口做广告,强拉用户,又怎么能对一个技术对比的客观事实有何异议呢?一个在国产数据库这样深耕细作的基础软件厂商,南大通用的GBase到底如何?GBase8t到底能否代表国产数据库领域的新水平?其中的技术细节要是不披露一些,恐怕是难以服众的。不过,要了解GBase 8t首先得说说它的“真身”Informix。揭开Informix的“真身”之谜要看到Informix的“真身”就需要了解目前数据库市场的现状,数据库由30年左右的发展基本形成高度垄断,5大商用数据库占据了全球 90%以上的市场份额,其中Oracle 一家独大占据超过40%的市场份额,这五大金刚包括了Oracle、DB2、Informix、Sybase ASE、 Server。在中国数据库市场上,“国产通用型数据库未赶上天时,核心技术没有突破,成熟度不高,投入远远不够、人才奇缺、没有产业链。”为此,国产数据库只占到整体数据库市场5%不到的份额。作为数据库领域全球五大金刚之一,Informix有了近40年的积累,Informix的创始人Roger Sippl在1981年发布第一个产品INFORMation on unIX。在1997年推出Informix Dynamic Server(IDS),成功让Informix市场占有率全球排名第二。从80年代开始推出,Informix已有超过1万用户在使用,全球超过1800多个业务合作伙伴,400多家ISV基于其业务进行开发。“作为世界五百强的沃尔玛集团,自从1991年采用Informix数据库以来,二十年来面对连续扩张和物流革命,数据库却从来没有出过任何问题。”在国内有超过1000家用户案例,如中国人民保险、宁夏银行等是其长期客户。中国财政部配备了多套Informix数据库,分别安装在北京、上海、重庆、江苏、辽宁、山西、福建等多个省份城市。但是这里武新特别指出,“南大通用获得的Informix不是瓦良格号,而是里根号核动力航母,Informix专家正在汇聚到南大通用公司。另外,产品L3支持通过协议可由IBM保证。”Informix到底被IBM雪藏了哪些杀手锏?实际情况显示,Informix自从被IBM纳入之后,作为IBM在线事务处理(OLTP)旗舰级数据服务系统,IBM对Informix和DB2都有长远的规划,但是,随着后来的发展,Informix还是逐渐退身在了DB2后面,其中的原因早已有人评论过:“IBM 并购Informix本意就是获取客户资源,用自己的DB2产品大棒式的替代Informix。”因此,无论Informix如何牛掰,IBM事实上雪藏了Informix,诸多技术锋芒难以展示给世人。为此,当南大通用获得了Informix这样的核动力数据库航母时,不仅是惊喜,而且也很惊讶。未来,南大通用GBase 8t 大行其道不是没有可能,而是可能性实在太大。为此,武新兴奋地展示出了Informix数据库架构的几个杀手锏,阿明要是不一一分享给亲们就真对不起这双勤劳的温柔手啊。杀手锏之一:架构中最大亮点DSA。Informix在1994年推出DSA(Dynamic Server Architecture),一种基于虚拟CPU、内部线程的容器架构,领先其他厂商整整一代。基于DSA的Informix Dynamic Server (IDS)在1997年让Informix超越Sybase成为全球第二大独立数据库厂商。DSA的核心设计思想在过去20年中被其他技术实现证实是跨时代的设计,比如虚拟机JVM(Java Virtual Machine), 2.0的YARN等都是以Container容器的方式将系统物理资源CPU和内存虚拟出来,达到四个优越的设计目标,即:动态调配更高效使用系统资源、优先级管理更好控制资源的使用、实现JVM和YARN更容易支持跨平台、实现虚拟化的部署和迁移为云计算提供便利。
DSA工作原理带来了单个进程之内的多线程,不依赖系统线程库。可见,Informix在很多年以前就实现了基于操作系统的线程机制,可以更好使用CPU资源,Informix通过内部控制与切换,可以降低用户成本,Informix在一个服务器上建立更多的连接和数量。目前,还没有其他厂商超越Informix的DSA架构。杀手锏之二:Shared Memory共享内存架构。在多CPU机器里面,针对UNIX系统中进程间信息交换、共享机制。
共享内存机制带来的好处还是非常明显的,提升的速度也是显然的。
Oracle 12c运行架构也是共享内存和多进程方式,采用共享内存进行大批量处理,共享内存下面进程又有子进程,相对比较复杂。
Informix运行时的整体架构也采用了共享内存+进程+VP方式,VP就是虚拟进程,带来的直接效果不仅加快了进程速度,同时性能也得到了提升。杀手锏之三:组件架构、开放、融合、灵活。Oracle曾经尝试过推出开发引擎,但失最终败了,这个是事实。
Informix支持开发接口非常多,扩展插件以数据库扩展方式提供对多种数据格式的存储支持,包括时间序列数据、OLAP列存、JSON文档、MQ消息。
Informix支持主流OS包括、UNIX、Windows,以及国产OS中标麒麟、中标普华、浪潮、K-UX、凝思,支持主流CPU包括x86、安腾、Power、SPARC和国产CPU如龙芯、飞腾、申威。杀手锏之四:Informix企业级高可用方案。用户采用这样一个集成的方案,功能上和Oracle可以达到一致 。如GBase 8t 提供多种高可用解决方案,可实现最高达到99.999%高可用性。可满足金融、电信、安全等关键行业用户7×24业务不中断运行的系统稳定性需求。GBase 8t 高可用解决方案包括了自主HA方案、远程容灾方案、共享磁盘(shared disk)集群、大规模企业级复制、极端网络日志持续重做方案。
对比一下,我们不难看出,Informix的部署、维护、管理比Oracle要简单很多。采用高可用解决方案部署案例,低成本,无需特殊硬件支持,也无需单独购买软件模块,具备多种高可用功能,并且基于SLA的负载均衡,也可以故障自动切换(FOC),提供7×24业务保障,可应对不可抗力。这些似乎都是广告词,技术分析来看这张大地图,可能就更深刻一些。
这个方案采用SDS共享磁盘辅节点技术的同时,也采用了远程独立辅节点Remote Standalone Secondary,就是我们常说的RSS。实际案例中,RSS辅节点可以与HDR辅节点共存。RSS与HDR相同之处在于都从主节点接收日志,管理自有的磁盘集,对主节点影响较小,但不同在于RSS只能被转换为HDR辅节点,不能被提升为主节点,不支持同步模式。
HDR(High available Data Replication)是一种内置于Informix引擎中的异地双机灾备技术,它通过复制逻辑日志的方式时刻保持主辅服务器的同步。可以说HDR技术是一种方便、高效、应用广泛的容灾恢复技术。(图片来自IBM)杀手锏之五:SDS共享存储集群。Informix 基于共享存储的,由CM进行管理并自动维护,主节点(Primary)和辅节点Shared Disk Secondary (SDS)均可读写,主节点故障时,辅节点自动接管服务(升级为主节点),在有多个辅节点时,CM会根据辅节点负载情况选择把哪个节点升级为主节点,故障切换时间在 1分钟以内,较好的可伸缩性,对应用透明。
需要注意的是CM (Connection Manager,连接管理器 ) 负责管理和重定向客户端的连接请求,当主服务器发生故障时,它可以根据用户设置将连接请求切换到辅助服务器,实现自动的故障转移,从而提供高可用性,使用 CM 还可以实现负载均衡的功能。
看了这个图,相信你对主节点逻辑日志缓冲区写入数据到共享存储,从共享存储分享数据到SDS辅节点逻辑日志缓冲区,主节点和SDS之间的切换会有一个很好的概念了。Informix的SDS与Oracle RAC对比来看,有其相同点,都是基于共享存储高可用集群;都具有扩展性,可以在一定范围内随业务需要而扩展;节点间关系对等,有节点失败后,集群中其它节点会接管失败节点的工作。但是,SDS与Oracle RAC对比有着三大不同点,包括:一是工作原理不同,SDS基于LSN在辅节点上把逻辑日志恢复到缓冲区,RAC的不同节点管理不同的资源,即数据页,通过内存融合在节点间共享信息;二是节点失败后故障处理的原理和过程不同,SDS只有在主节点失败后才会发生故障切换,辅节点失败只影响当前连接,RAC在任何节点失败时均会导致资源重分配;三是故障切换的效率不同,SDS在主节点失败后进行故障切换的时间通常不超过1分钟,RAC进行资源重分配的时间与多种因素有关,在几秒钟到几分钟之间不等。继续!披露更核心的模块与数据库技术首要的问题是:OLTP引擎如何做到高性能、稳定的?OLTP引擎是Informix的核心模块,对数据库的稳定性、性能都有着绝对的作用。对于一个高端OTLP 引擎的核心技术需求分析来看,不外乎需要满足六个方面的条件:并发控制MVCC即Multi-Version Concurrency Control)、事务隔离级别Read Committed、事务锁与行级锁、事务高可用如redo分离和undo分离、共享内存架构、多进程和线程。武新分析认为,Informix的OLTP引擎性能得益于DSA多线程和PDQ并行数据库查询PDQ即Parallel database query。其索引技术支持隐式与显式索引、唯一索引与可重复索引、简单索引与复合索引、聚集索引、函数索引、索引分区。在性能控制方面还采取了分区Fragmentation方式,这是一种把一个表或者索引的数据页分散到不同dbspaces的技术。在GBase 8t中,可以在dbspace上创建多个表或者索引的partitions,每个分区存储在它自己的tablespace (group of extents)中。这样带来的好处很突出,可以有效有效处理大表,进行并行操作,便于平衡I/O,实现更细的备份和恢复粒度,以及更高的可用性,也更容易管理。
在事务方面采取四种锁粒度,在数据库粒度上,适用场景就是数据库管理活动,比如:imports和exports;在表粒度上,当整个表或者表的大部分数据需要更新,加表级锁效率高;在数据页粒度上,当按数据物理顺序进行访问和更新时,页级锁效率高;在行(row/key)粒度上,OLTP事务采用行级锁,也体现出效率高。在事务机制上采用五种隔离级别:脏读、只读已提交的数据、读取最后提交的数据、游标稳定性、可重复读。这样可以做到隔离更少的数据,更少死锁,更高并发性。同时实现快速恢复(Fast Recovery),当Informix在未受控制的情况下关闭后,在服务器启动过程中将Informix恢复到一个一致状态的自动过程,也发生在将服务器从脱机模式更改为静态模式、管理模式和联机模式的过程中。在启动时采取的步骤包括几步:首先恢复所有物理日志中的前映象页到磁盘上,然后在逻辑日志中查找最后一个检查点,再重做逻辑日志记录的事务,最后回滚没有提交的事务。面向时间序列的Time Series引擎是Informix采用的核心模块之二。时间序列数据的特点在于,数据是依时间轴变化的,数据具有时间先后顺序,需要对数据按时间维度进行查询和分析。在智能电表的应用里,用户在一个时间序列列中设定固定时间间隔的数据,并通过使用时间序列函数实现对这些数据的实时查询、更新、删除等操作。
一般关系型数据库存储时间序列数据,存储在普通的行存储表中。Gbase 8t如何存储时间序列数据?采取自动分成header和时间序列部分,具有很好的压缩比与查询性能。在实际的对比中发现, 关系型数据库表随时间的增长,查询效率将下降越来越快,而对于 TimeSeries 性能受时间影响非常小,其查询效率是关系型表的几十倍。
在这里需要明确一下的是:GBase 8t采用了双引擎数据库,实行关系型与时间序列的Time Series 型互补共存,满足客户多样性的需求。Informix第三个核心模块就是数据分析加速器iWA,为进一步提高 GBase 8t数据仓库查询的性能,GBase推出了专门针对数据仓库应用的数据仓库加速器iWA(Informix Warehouse Accelerator)。GBase 8t数据仓库加速器提供了优异的性能,而不需要做“在传统数据仓库上需要做的优化工作”。它可以在秒级上处理海量数据,还可以快速的提供业务报告,而不需要对应用程序架构进行任何修改,也不需要额外的维护成本。iWA是Informix团队两年半前研发出来的,研发出来以后,IBM DB2团队觉得很好,就把iWA弄到DB2里面去了。iWA基于列存的内存数据库引擎,或者说数据仓库加速引擎,而且单独部署在OLTP引擎之外的引擎。因为iWA是外挂的,所以扩展性非常好。Oracle 12c也推出了类似的引擎,而这个引擎和oracle其他引擎在同一个内存当中,扩展性就不评论了,你懂得。
其实,iWA的原理相对来说比较简单,这是GBase 8t平台,用户发了一条查询进来以后,首先在加速器查询表中查询,判断这个表的内容是否在AQT加速器查询表中。数据仓库加速器服务器可以看作是一个几台物理服务器组成的集群,但实际只用每台服务器内存,根据查询的语句判断,如果数据最新版本在内存里,那么就把请求透明地路由到GBase 8t Server来进行查询,并把查询结果返回给用户,所以这是完全透明的过程。对于/KV非关系模型的支持应该是第四个核心模块,也是Informix团队非常强的方面,虽然他们不是重视,但还持续在进行创新。目前,完全可以实现关系型和非关系型数据在同一个系统中,支持SQL方式访问NoSQL数据,并且NoSQL/MongoDB方式都可访问Informix关系型数据库表,分布式查询,多语句事务的支持。最终实现了提供关系型数据库和文档数据库的完美结合,为客户带来更多的价值应是必须的。Informix支持MongoDB创建的面向JSON的查询语言,以BSON格式存储JSON文档, 通过现在互联网最常用的PHP、Java脚本这些开发语言,以MongoDB API应用程序做组合查询。可见,在梳理完Informix五个架构杀手锏,披露了四个核心模块的数据库技术细节之后, 大家应该有理由相信,GBase 8t 易用性表现在易于安装、易于部署、易于管理、易于优化,可以充分为用户带来更多核心价值。一是资源掌控灵活,对DBA优化方便,对突发事件快速反应能力突出;二是安全性非常高;三是一个管理员可以部署管理若干个站点的POS \ATM等机器,方便部署特点非常突出。它本身的自动管理能力也非常好,所以这也是它的一个亮点,其实对用户来说也降低了使用成本。GBase 8t正在撬动数据库市场格局为此,我们从数据库技术层面已经非常清晰地明白,Informix存在的价值,很显然,南大通用获得Informix技术授权对国产数据库所在的基础软件行业发展也具有里程碑意义。“不仅满足了高端、核心业务数据国产化替代的用户需求,同时拿到了源代码,一次性缩短2代数据库技术差距,也逐渐可以形成去O的杠杆与能力。”武新坦言道,国产数据库厂商、BAT、华为等研发人员加在一起不过千人,国产数据库厂商武汉达梦、人大金仓、神舟通用包括南大通用在内的四大家的直接从事编程开发的队伍也不过500人左右,要知道国外主流数据库厂Oracle、DB2、Informix、Sybase、SQL Server等每年数十亿美元投入。研发投入的差距在那里,大家都能看得到。国内数据库市场大部分被国外五大金刚所长期盘踞,历经多年的发展,国产数据库厂商还是没有能找到搞定数据库“五大金刚”的办法。虽然国产数据库在多个行业开始了一些新的应用,但是从用户实际应用的情况反馈来看,情况并不是那么乐观。当GBase 8t出现在用户面前时,当南大通用“ATM”数据库产品铁三角形成后,情况就正在发生改变。不过,对于国产数据库本身发展的现状阿明早在2011年的一篇文章中就指出,国产数据库面临八大问题的解决办法,为此在经历了3年左右的发展后,国产数据库厂商对这八大问题的解决情况如何呢?针对品牌壁垒问题,数据库五大金刚毕竟品牌知名度和影响力的长期历史积累,并非一下子可以超越,但可以借助国外的品牌经验,可以通过产品的优化,提高产品兼容性,实现有条件的无缝对接,南大通用与IBM的合作就是很好的例证。针对领导责任问题,目前的情况有很大的好转,国产化替代的呼声很高,中央从宏观的层面,正在鼓励各级政府使用国产产品,营造宽松的市场氛围。针对技术差距问题,南大通用8a针对大数据行业的需求,以满足用户对大数据个性化需求为出发点,为用户精心打造,量身设计数据库产品。针对用户抵触与口碑问题,国产数据库厂商不仅借助各种战略合作和大会加大宣传力度,也在树立样板工程,实现客户口碑式营销。针对用户使用习惯问题,与高校联合办学,培养新人才,并成立技术俱乐部,加强技术人员的交流,GBase 8t也借鉴和引用Informix技术培训与认证体系,提升数据库从业人员的整体素质。针对渠道发展问题,需要让利于渠道伙伴,并为其提供强大的技术保障和支持,促进渠道的完善,为了更好地形成产业链上下游的全面合作,南大通用董事长崔维力亲自在2014年拜访集成商,如中兴、浪潮、东软等都开始和南大通用合作,中兴已经将南大通用数据库产品销售到了海外,东软将南大通用数据库应用到了海南某重要的项目中。针对用户态度问题,国产数据库已经备受重视,用户持有开明的态度为多,推进数据库国产化的进程在加快。针对价格因素问题,国产数据库的定位越来越准确,比如南大通用的ATM组合,包括自主开发的大数据分析数据库GBase 8a、世界级的OLTP数据库GBase 8t、世界级的内存数据库GBase 8m,只有价格实惠而实用的产品才会受到用户的最终认同。为此,我们需要认识到这一点:主机高可用和容灾迁移能力,以及高并发和吞吐量,这些特点是数据库核心价值所在。开源数据库和国产通用数据库采用HA模式来实现主机高可用机制,有着实际的不足。而稳定高效、自主可控、国产高端,GBase 8t的出现不仅正在撬动数据库市场整体格局, 同时对Oracle形成国产化替代成为真正可能。为何说南大通用带来了国产数据库的最佳路线图?当然,南大通用获得Informix技术授权,不会仅仅停留在GBase 8t,在引进、吸收、消化、再创新的整体策略带动下,全面吸收Informix技术与资源优势,打造国产高端事务型数据库。在GBase 8t的发展规划中,2014年只是基于Informix代码编译构造并推出GBase 8t,并逐步吸收Informix核心代码,替换升级现在的安全数据库GBase 8s引擎。在2015年规划中,将推出GBase 8tx ,下一步改进规划诊断能力与Oracle兼容能力,以及具备SQL99能力,并实现与GBase 8a的集成。未来也以市场需求为导引,发展GBase 8tx,提升 MPP集群水平,保持与国际主流产品技术同步。当然,对于这些规划的展望中,为了保障愿景的实现,南大通用在2015年将建立100人GBase 8t 团队,并吸收前Informix和GBase 8s核心研发人员组成。从年,也将投入2亿人民币用户研发与市场推进。在扎实自身基本内功的基础上,同时来自政府政策资金、用户存量市场与新需求支持,以及数据库生态系统建设和合作伙伴的支持,采用MPP架构带动国产CPU、主机产业化,这些都是保证规划最终落实的重要因素。南大通用武新分析认为,国产数据库未来十年技术三大发展方向将围绕:面向高端事务处理方向,形成具备去“IOE”能力的国产高端事务型数据库;面向结构化大数据分析方向,以MPP数据库为主要发展方向;面向非结构化大数据分析方向,以基于开源Hadoop的改造为主要解决方案。而南大通用有着自己的产品规划路线,GBase 8t+8a构建未来数据平台产品,“OLTP+OLAP”混搭架构平台将成为未来数据平台理想的解决方案。具体来看,南大通用面向高端事务处理方向有GBase 8t来覆盖,面向结构化大数据分析方向有GBase 8a来支持,面向非结构化大数据分析方向计划GBase 8a+ Hadoop来实现。
在展望数据库处理技术演进中,武新还指出,1980年到2010年是关系型数据库的发展时期,未来是一个混搭的技术时代,不是哪一种架构和平台技术可以满足一切,未来将会是一个共存的状态。重构行业应用,未来发展可期另外,从经济整体规模角度来分析,中国100亿元人民币的数据库市场与中国经济规模很不匹配。但是受到盗版严重,信息化程度低,服务体系不健全,知识产权保护等等问题影响,数据库市场发展健全,同时也充满了机会。国网电调度中心辛耀中表示,必须重构行业应用架构,用户如何反向思维,与国产数据库厂商合作,如何去应用好数据库,因此,对国内数据库厂商也是一个鞭策和促进,用户需求带来市场机会,但竞争也促进发展。目前,大家在承认自己与国外数据库大厂差距的同时,如何联合起来?国产数据库厂商与操作系统厂商如何联合?比如Oracle做RAC时,是没有操作系统支持,但现在国产数据库厂商有机会与操作系统厂商合作机会,联合起来做出的产品一定更具有应用价值,未来还是需要更接应用地气的产品和方案来证明国产数据库存在的价值。在谈到未来发展方面,证监会信息中心张野指出:在开放、开源模式上,如何创新?如果按照传统封闭式的商业模式发展,恐怕还是有悖于行业发展,在国内交易所也在向开放、开源方向努力?他认为如何契合证券行业现状和战略,是南大通用未来在证券行业发展的发展方向。对于这个方面的问题,南大通用数据技术股份有限公司高级副总裁兼CTO武新表示,对于代码升级,南大通用与IBM签订了服务合同,升级服务是可以延续的,南大通用会根据本土需求进行代码升级的服务改进;另外,如何建立基于Informix的功能开发的团队,目前做数据库的包括国产数据库厂商、华为、BAT以及南大通用不过1000人。如何吸收在美国数据库厂商工作的华人人才?如何与产业链互相合作支持?这都需要考虑,不过,现在的国产数据库人才形势比5年前好很多,总体人才规模上虽然赶不上Oracle,但是核心人才团队人员如Oracle也不过千人左右。所以国产数据库还是有机会。再者,如何在商业模式上再创新,进行某些行业的个性化模块创新,对于这点,南大通用已经做了包括销售模式的改进,按照CPU、数据量、套数等多种销售模式来进行。同时,南大通用董事长兼CEO崔维力表示,Informix对于IBM和南大通用的技术演进来看,双方都在做技术创新,如果双方有新的创新,互相都可以合作再次购买,关键是如何在共享磁盘基础上做的集群,因为谷歌已经作出了一个共享的集群。南大通用的8a集群已经可用,目前我们还没有看到其他友商有着这样的实力。之前,南大通用员工总数500人,目前大概有400工程师,200人做研发,100人做销售,100人做技术支持,团队中做了5年到10年的员工非常多。公司实行员工持股,占60%左右股权。因此,南大通用对于未来的数据库发展前景非常看好。GBase 8t正式发布引爆业界哪些热议?可能是国产数据库行业平时过于风平浪静的缘故,就在GBase 8t发布当天,引来了业界各路大牛对南大通用的关注与热议。如何基于GBase 8t的服务支持队伍建设?如何结合具体应用场景推出相应方案?如何进入国家政府采购财政目录?在同其他国产数据库厂商、操作系统厂商等方面,如何协同协作联合?这个方面谈了很多年,为什么不能做出实质性的进步?等等一系列问题摆在了南大通用面前,这其中需要南大通用继续勤练内功,也需要南大通用继续吸引资本力量来推动,联合学术界、产业界、投资界、商业界一起来做。与此同时,银联商务技术主管龚俊涛提到一个实际的问题,如何建设人才团队?如何树立认证体系,培养技术服务人员?他认为,对于内存管理方面,Oracle已经过渡到了自动化管理,但自动化过高,可能会出现大家不想要的现象,如何做到自动化的可控?另外,对于两地三中心架构方面,对于数据库、存储、应用等方案有一些经验,但对于联机事务如何处理,如何做到RAC负载均衡的模式,抑或是RAC负载均衡和联机事务混搭模式?对于8a和8t有没有一个中间件做数据库的过渡,比如Oracle的数据库过渡到8t如何做很长时间的过渡运行?对于南大通用和Informix新产生的后期专利,采取专利交叉授权,还是采取买断执行方式?武新分析道,Informix成熟度比较高,使用成熟度也比较高,毕竟已经有了全球上万用户在实际采用。在人才与开源方面,支持8a开源的团队已经加入8t研发团队,国内有过对Informix实践的技术人员有好几百,南大通用正在尝试吸引他们加入,人才团队的建设对于南大通用后期发展不是问题。Informix培训认证有现成的策略与机制,南大通用可以拿来使用。Informix 自动化程度没有Oracle那么高,但对资源管控更精准,对于内存、CPU资源控制更优。任何事情都是有利有弊,看如何掌控好用户需求给予最佳的应用方案。在高可用方面的问题,如果是纯交易场景下,如采用了Informix的建行,其数据库平台稳定,效果很好。而在异构数据库之间,未来会做一些API接口,打通数据库与数据仓库资源,这点都在南大通用的未来规划中。不过,建设银行基础架构处技术主管孔令俊从中指出,Informix的服务如何做?如何了解客户需求,必须要服务于客户才能了解到,南大通用需要做Informix服务才能获得更多的了解。集成如何做?如果集成商不知道Informix优势,不敢使用Informix,不懂得使用Informix都需要改进。大家的问题虽多,但南大通用最终的答案只有一个,崔维力表示,大家也看到了南大通用与集成商合作的决心,这个产业的发展是属于大家的,包括数据库、操作系统、处理器、中间件、软件开发商、集成商和用户的共同协作。阿明点评:GBase8t的出现,可以说南大通用数据库发展之路才刚刚有了实质性的起色与进步,相信未来发展过程中的问题肯定会有,但问题也是需要一步一步地分析,一点一点地解决。在改变数据库产业格局的基础上,实现国产数据库新的飞跃,这才是南大通用所想要的,也是关注基础软件的业内人士所期望的。所谓基础决定发展,现在国产数据库已经有了一定的基础,未来的发展值得期待。(阿明)
论坛徽章:28
中级会员, 积分 247, 距离下一级还需 253 积分
论坛徽章:10
是的,又拿人家的东西吹了一把,这种做法是否在法律上存在问题?

我要回帖

更多关于 gbase 8a客户端工具 的文章

 

随机推荐