我有一个包含6个表和大约200万行的MySQL数据库。
我想将所有数据迁移到MongoDB中。
我决定通过将SQL表转换为JSON并将其导入MongoDB来实现。
我用Golang编写了一个程序来提取数据并将其输出为JSON。
这是程序的主要功能：
func main() {
// Open a database connection
var err error
db, err = sql.Open("mysql", "root:password@tcp(127.0.0.1:3306)/employees")
checkErr(err)
// Check if reachable
if err = db.Ping(); err != nil {
log.Fatal("Database is unreachable:", err)
}
// Populate variables with data
err = populateVars()
checkErr(err)
// Marshal variables into JSON
binaryJSON, err := json.Marshal(collection)
checkErr(err)
// Write JSON to a file
err = writeStringToFile("/home/user01/Temporary/sql2data.json", string(binaryJSON))
checkErr(err)
}
问题是输出不一致。
每次我运行程序时，生成的文件都有不同的大小，并且缺少一些随机字段。
是什么原因造成的？
程序逻辑似乎不存在问题，因为一切执行均无错误，并且大多数字段都很好地填充了。
我读得太快了吗，以至于有些东西偶尔会丢失？
还是我还缺少其他东西？
编辑：
大多数工作发生在populateVars()函数调用内部。
它具有多个代码块，这些代码块执行给定的SQL查询并根据架构填充结构变量。
这是一个这样的块：
rows, err = db.Query("SELECT emp_no, dept_emp.dept_no, dept_name, from_date, to_date FROM dept_emp JOIN departments ON departments.dept_no = dept_emp.dept_no;")
checkErr(err)
i := 0
for rows.Next() {
var id int
var depNumber string
var depName string
var fromDate string
var toDate string
var position = "Employee"
err = rows.Scan(&id, &depNumber, &depName, &fromDate, &toDate,)
// For debugging purposes:
fmt.Println(id, depNumber, depName, fromDate, toDate, position, i)
if err != nil {
return err
}
for i := range collection {
if collection[i].ID == id {
collection[i].Departments = append(collection[i].Departments, Department{DepartmentNumber: depNumber, DepartmentName: depName, FromDate: fromDate, ToDate: toDate, Position: position})
// For debugging purposes:
fmt.Println(collection[i].Departments)
}
}
i++
}
这是整个程序的GitHub链接：https : //github.com/dchmie01/mysql_to_json/blob/master/main.go
编辑2：
看来问题与查询超时有关。
每个查询大约需要10分钟才能执行，但是大约在6分钟后，我收到此错误，程序停止执行查询：
[mysql] 2017/04/29 17:35:16 packets.go:66: unexpected EOF
[mysql] 2017/04/29 17:35:16 packets.go:412: busy buffer
2017/04/29 17:35:16 driver: bad connection
并且在MySQL日志文件中显示：
2017-04-29T16:28:49.975805Z 102 [Note] Aborted connection 102 to db: 'employees' user: 'root' host: 'localhost' (Got timeout writing communication packets)
到目前为止，我尝试使用MySQL变量来禁用可能存在的任何超时，但是没有运气。
我认为问题可能出mysql在Go 的驱动程序上。
考虑使用Mysql SELECT INTO OUTFILE和mongoiport --type csv代替。
该程序唯一要做的就是嵌入一对多和多对多文档，这可以通过聚合框架轻松完成。
分步示例：
从mysql导出csv
SELECT * from employees INTO OUTFILE '/tmp/employees.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"';
SELECT * from salaries INTO OUTFILE '/tmp/salaries.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"';
SELECT * from titles INTO OUTFILE '/tmp/titles.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"';
SELECT * from departments INTO OUTFILE '/tmp.departments.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"';
SELECT * from dept_emp INTO OUTFILE '/tmp/dept_emp.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"';
SELECT * from dept_manager INTO OUTFILE '/tmp/dept_manager.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"';
将csv导入mongo（根据您的架构定义“字段规范”，请参阅示例员工字段规范）
mongoimport -d <dbname> -c tmp_employees -f 'id.int32(),birth.date(2006-01-02),first_name.string(),last_name.string(),gender.string(),hire_date.date(2006-01-02)' --columnsHaveTypes --type csv --file /tmp/employees.csv --drop
mongoimport -d <dbname> -c tmp_salaries -f 'field spec' --columnsHaveTypes --type csv --file /tmp/salaries.csv --drop
mongoimport -d <dbname> -c tmp_titles -f 'field spec' --columnsHaveTypes --type csv --file /tmp/titles.csv --drop
mongoimport -d <dbname> -c tmp_departments -f 'field spec' --columnsHaveTypes --type csv --file /tmp/departments.csv --drop
mongoimport -d <dbname> -c tmp_dept_emp -f 'field spec' --columnsHaveTypes --type csv --file /tmp/dept_emp.csv --drop
mongoimport -d <dbname> -c tmp_dept_manager -f 'field spec' --columnsHaveTypes --type csv --file /tmp/dept_manager.csv --drop
从mongo shell嵌入数据
db.tmp_employees.aggregate([
// 1-to-many joins
{$lookup: {
from: 'tmp_salaries',
localField: 'id',
foreignField: 'emp_no',
as: 'salaries'
}},
{$lookup: {
from: 'tmp_titles',
localField: 'id',
foreignField: 'emp_no',
as: 'titles'
}},
// many-to-many joins
{$lookup: {
from: 'tmp_dept_emp',
localField: 'id',
foreignField: 'emp_no',
as: 'dept_emp'
}},
{$lookup: {
from: 'tmp_dept_manager',
localField: 'id',
foreignField: 'emp_no',
as: 'dept_manager'
}},
{$unwind: { path: '$dept_emp', preserveNullAndEmptyArrays: true }},
{$lookup: {
from: 'tmp_departments',
localField: 'dept_emp.dept_no',
foreignField: 'dept_no',
as: 'dept_emp_deps'
}},
{$unwind: { path: '$dept_emp_deps', preserveNullAndEmptyArrays: true }},
{$group: {
_id: '$_id',
root: {$first: '$$ROOT'},
dept_manager: {$first: '$dept_manager'},
departments_emp: {$push: {
department_number: '$dept_emp.emp_no',
department_name: '$dept_emp_deps.dept_name',
from_date: '$dept_emp.from_date',
to_date: '$dept_emp.to_date',
position: '$dept_emp.position'
}},
}},
{$unwind: { path: '$dept_manager', preserveNullAndEmptyArrays: true }},
{$lookup: {
from: 'tmp_departments',
localField: 'dept_manager.dept_no',
foreignField: 'dept_no',
as: 'dept_manager_deps'
}},
{$unwind: { path: '$dept_manager_deps', preserveNullAndEmptyArrays: true }},
{$group: {
_id: '$_id',
root: {$first: '$root'},
departments_emp: {$first: '$departments_emp'},
departments_manager: {$push: {
department_number: '$dept_manager.emp_no',
department_name: '$dept_manager_deps.dept_name',
from_date: '$dept_manager.from_date',
to_date: '$dept_manager.to_date',
position: '$dept_manager.position'
}},
}},
// combine departments to a single array
{$project: {
root: 1,
departments_all: {$concatArrays: [ "$departments_emp", "$departments_manager" ] }
}},
//final reshape
{$project: {
id: '$root.id',
birth_date: '$root.birth_date',
first_name: '$root.first_name',
last_name: '$root.last_name',
gender: '$root.gender',
hire_date: '$root.hire_date',
salaries: '$root.salaries',
titles: '$root.titles',
departments: {$filter: {
input: "$departments_all",
as: "departments",
cond: { $ne: [ "$$departments", {} ] }}}
}},
{ $out : "employees" }
])
从mongo shell删除导入的集合
db.tmp_employees.drop();
db.tmp_salaries.drop();
db.tmp_titles.drop();
db.tmp_departments.drop();
db.tmp_dept_emp.drop();
db.tmp_dept_manager.drop();
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句