Node.jsでShift_JIS で書かれたCSVファイルを取り扱う必要があり、その際の備忘メモ。
JSON変換までできた方が便利なので、csvtojsonを使ってみました。
要約
- csvtojsonを使えば、標準的なCSVファイルを簡単にJSONデータに変更できました。
- Node.jsはファイル読み込みは基本UTF-8を想定しているようですが、UTF-8以外の場合は iconv-liteをかましてShift_JIS→UTF-8変換してあげればOKでした。
- csvtojson はコマンドラインからも呼び出せるので、コマンドラインでCSV→JSON変換できるのはなにげに便利です。
前提や環境
$sw_vers
ProductName: Mac OS X
ProductVersion: 10.15.3
BuildVersion: 19D76
$node --versionv10.16.2
$ちなみにサンプルデータは 住所.jpという日本の住所情報を用いてみました。
やってみる
$ git clone --branch 0.1.0 https://github.com/masatomix/csv-sample-node.git
$ cd csv-sample-node/
$ npm install
落としてきたプロジェクトのディレクトリ構成はこんな感じです。処理対象のcsvファイル(13tokyo.csv)だけは、上記サイトから落としておきましょう。
$tree
.
├── data
│ └── 13tokyo.csv ←読み込むCSVファイル
├── src
│ └── index.ts
├── dist
│ ├── index.js
│ └── index.js.map
├── package.json
└── tsconfig.json
ソースコードはこんな感じ。
index.ts
importfsfrom'fs'importiconvfrom'iconv-lite'importcsvfrom'csvtojson'/**
* 指定したパスのcsvファイルをロードして、JSONオブジェクトとしてparseする。
* 全行読み込んだら完了する Promise を返す。
* @param path
*/constparse=(path:string):Promise<any[]>=>{returnnewPromise((resolve,reject)=>{letdatas:any[]=[]fs.createReadStream(path).pipe(iconv.decodeStream('Shift_JIS')).pipe(iconv.encodeStream('utf-8')).pipe(csv().on('data',data=>datas.push(JSON.parse(data))))// 各行読んだらココが呼ばれるので配列にpush.on('end',()=>resolve(datas))// 全部終わったらココにくるので、resolveする})}if(!module.parent){// 呼んでみるparse('./data/13tokyo.csv').then((results:any[])=>{// 郵便番号が「100-000x」のものに絞ってみたresults=results.filter(address=>address['郵便番号'].startsWith('100-000'))console.table(results)// for (const address of results) {// console.log(address)// }})}実行してみます。
$npm run dev
>csv-sample-node@0.1.0-SNAPSHOT dev /Users/xxx/git/csv-sample-node
>ts-node src/index.ts
┌─────────┬─────────────┬────────┬─────────┬─────────────┬────────────┬────────┬───────┬───────┬──────────┬────────┬────────┬────────┬────────────┬──────────┬───────┬───────┬──────────┬────┬──────┬────────┬───────┬───────┐
│ (index) │ 住所CD │ 都道府県CD │ 市区町村CD │ 町域CD │ 郵便番号 │ 事業所フラグ │ 廃止フラグ │ 都道府県 │ 都道府県カナ │ 市区町村 │ 市区町村カナ │ 町域 │ 町域カナ │ 町域補足 │ 京都通り名 │ 字丁目 │ 字丁目カナ │ 補足 │ 事業所名 │ 事業所名カナ │ 事業所住所 │ 新住所CD │
├─────────┼─────────────┼────────┼─────────┼─────────────┼────────────┼────────┼───────┼───────┼──────────┼────────┼────────┼────────┼────────────┼──────────┼───────┼───────┼──────────┼────┼──────┼────────┼───────┼───────┤
│ 0 │ '100000000' │ '13' │ '13101' │ '131010000' │ '100-0000' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '' │ ' ' │ '（該当なし）' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │
│ 1 │ '100000400' │ '13' │ '13101' │ '131010006' │ '100-0004' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '大手町' │ 'オオテマチ' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │
│ 2 │ '100000200' │ '13' │ '13101' │ '131010039' │ '100-0002' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '皇居外苑' │ 'コウキョガイエン' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │
│ 3 │ '100000100' │ '13' │ '13101' │ '131010045' │ '100-0001' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '千代田' │ 'チヨダ' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │
│ 4 │ '100000300' │ '13' │ '13101' │ '131010051' │ '100-0003' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '一ツ橋' │ 'ヒトツバシ' │ '' │ '' │ '１丁目' │ '０１チョウメ' │ '' │ '' │ '' │ '' │ '' │
│ 5 │ '100000500' │ '13' │ '13101' │ '131010055' │ '100-0005' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '丸の内' │ 'マルノウチ' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │
│ 6 │ '100000600' │ '13' │ '13101' │ '131010057' │ '100-0006' │ '0' │ '0' │ '東京都' │ 'トウキョウト' │ '千代田区' │ 'チヨダク' │ '有楽町' │ 'ユウラクチョウ' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │ '' │
└─────────┴─────────────┴────────┴─────────┴─────────────┴────────────┴────────┴───────┴───────┴──────────┴────────┴────────┴────────┴────────────┴──────────┴───────┴───────┴──────────┴────┴──────┴────────┴───────┴───────┘
$ちゃんとShift_JISのCSVを読み込めています。
また、CSVの1行目のヘッダ行の文字列をJSONデータのプロパティ名として扱えてますね。簡単です。
おまけ: コマンドラインから使ってみる
npmに付属しているnpxコマンドを使うことで、csvtojsonをコマンドラインから呼び出せます。
$npx csvtojson ./data/13tokyo.csv
{"�Z��CD":"101841500","�s���{��CD":"13","�s�撬��CD":"13101","����CD":"131010019","�X�֔ԍ�":"101-8415","���Ə��t���O":"1","�
$あー Shift_JISはダメですね。ということでnkfをかましてみます。
$cat ./data/13tokyo.csv | nkf -S | npx csvtojson
{"住所CD":"101006101","都道府県CD":"13","市区町村CD":"13101","町域CD"
$nkfコマンドは適宜Homebrewなどで入れておきましょう。
おつかれさまでした。