当前位置:天才代写 > tutorial > 大数据教程 > 设置MySQL版本大数据操作

设置MySQL版本大数据操作

2018-05-19 08:00 星期六 所属: 大数据教程 浏览:872

这个是我在运用当中,觉得非常实用的。是什么现实,MySQL从3.23.15版本以后提供数据库复制功能。利用该功能可以实现两个数据库同步,主从模式,互相备份模式的功能。数据库同步复制功能的设置都在mysql的设置文件中体现。mysql的配置文件(一般是my.cnf的),在良好的环境下在/etc/mysql/my.cnf 或者在mysql用户的home目录下的my.cnf。这个是比较好的目录。
Window环境中,如果c:根目录下有my.cnf文件则取该配置文件。当运行mysql的winmysqladmin.exe工具时候,该工具会把c:根目录下的my.cnf 命名为mycnf.bak。并在winnt目录下创建my.ini。mysql服务器启动时候会读该配置文件。所以可以把my.cnf中的内容拷贝到my.ini文件中,用my.ini文件作为mysql服务器的配置文件。
设置方法如下
设置范例环境:
操作系统:window2000 professional
mysql:4.0.4-beta-max-nt-log
a ip:10.10.10.22
b ip:10.10.10.53
设置MySQL版本大数据操作
a:设置
1.增加一个用户最为同步的用户帐号:grant file on *.* to backup@''10.10.10.53'' identified by ‘1234’
2.增加一个数据库作为同步数据库:create database backup
b:设置

1.增加一个用户最为同步的用户帐号:grant file on *.* to backup@''10.10.10.22'' identified by ‘1234’
2.增加一个数据库作为同步数据库: create database backup
主从模式:a->b
a为master ,修改a mysql的my.ini文件,在mysql配置项中加入下面配置:server-id=1log-bin#设置需要记录log 可以设置log-bin=c:mysqlbakmysqllog 设置日志文件的目录,#其中mysqllog是日志文件的名称,mysql将建立不同扩展名,文件名为mysqllog的几个日志文件。binlog-do-db=backup #指定需要日志的数据库。
设置MySQL版本大数据操作
bin/mysqlimport –prl –fields-enclosed-by=” –fields-terminated-by=, Meet_A_Geek Orders.txt
这个命令可能看起来很不爽,不过当你熟悉了之后,这是非常简单的。

第一部分,bin/mysqlimport ,告诉操作系统你要运行的命令是mysql/bin目录下的mysqlimport,选项p是要求输入密码,这样就要求你在改动数据库之前输入密码,操作起来会更安全。 我们用了r选项是因为我们想要把表中的唯一关键字与文件记录中有重复唯一关键字的记录替换成文件中的数据,我们表单中的数据不是最新的,需要用文件中的数据去更新,因而就用r这个选项,替代数据库中已经有的记录。l选项的作用是在我们插入数据的时候锁住表,这样就阻止了用户在我们更新表的时候对表进行查询或者更改的操作。
批处理是一种非交互式运行mysql程序的方法,如同您在mysql中使用的命令一样,你仍然将使用这些命令。
为了实现批处理,您重定向一个文件到mysql程序中,首先我们需要一个文本文件。这个文本文件包含有与我们在mysql中输入的命令相同的文本。
重起数据库服务
用show master status 命令看日志情况。
b为slave,修改b mysql的my.ini文件。在mysqld配置项中加入下面配置:server-id=2master-host=10.10.10.22master-user=backup #同步用户帐号master-passWord=1234master-port=3306master-connect-retry=60 预设重试间隔60秒replicate-do-db=backup 告诉slave只做backup数据库的更新。
设置MySQL版本大数据操作
重起数据库
用show slave status看同步配置情况。
注意:由于设置了slave的配置信息,mysql在数据库目录下生成master.info,所以如有要修改相关slave的配置要先删除该文件。否则修改的配置不能生效。
双机互备模式
如果在a加入slave设置,在b加入master设置,则可以做b->a的同步。在a的配置文件中 mysqld 配置项加入以下设置,
设置MySQL版本大数据操作
master-host=10.10.10.53master-user=backupmaster-password=1234replicate-do-db=backupmaster-connect-retry=10
在b的配置文件中 mysqld 配置项加入以下设置:log-bin=c:mysqllogmysqllogbinlog-do-db=backup
注意:当有错误产生时*.err日志文件,同步的线程退出。当纠正错误后要让同步机制进行工作,运行slave start 。重起ab机器,则可以实现双向的热备。
设置MySQL版本大数据操作
测试:向b批量插入大数据量表aa(1872000)条,a数据库每秒钟可以更新2500条数据。这个数据速度是非常大的。数据是可以支撑整个操作点的。更多后续课程可观看课课家教育网。(责任编辑:徐燕婷)

 

    关键字:

天才代写-代写联系方式