分析用データの整備

複数に分かれたファイルを、解析できる1つの表にまとめてお返しします。 分析はご自身で行うが、データがその形になっていない、という場合のご依頼を承ります。

分野は問いません。 調査の回答、業務システムの書き出し、測定機器の記録、会計や販売の記録などが対象です。

お引き受けする範囲

項目内容
担当する範囲ファイルの統合と、表形式への整備
お渡しするもの整えた表、データ辞書、整備の記録、判断が要る箇所の一覧、再現用のコード
扱わない範囲解析、集計、グラフの作成。別のご依頼として承ります
値の扱い元の値は変えません(後述)
作業者事業主1名です。作業の再委託は行いません

値は変えません

この作業でしているのは、並べ替えと突き合わせです。
値そのものには手を入れません。

行うこと行わないこと
ファイルを1つの表にまとめる欠測値を埋める
1行1レコードの形に直す外れ値を除く
表記のゆれを揃える(全角と半角、漢字とかな、単位の書き方、日付の形式)値を丸める、単位を換算する
列名を揃える値を補正する
突き合わせに使う列の表記を揃えるどの行を除くかを決める

右側はいずれも、分析上の判断にあたるものです。
整備の中でこれを行うと、誰がいつ何を判断したのかが表から見えなくなります。

判断が要る箇所は、直さずに印を付けてお返しします。
欠測、外れ値と思われる値、単位や表記が食い違う箇所、突き合わせられなかった項目です。
どう扱うかは、御社でお決めください。

こんなご依頼をお受けしています

お手元の状態行うこと
調査の回ごと、設問群ごとにファイルが分かれている共通の列で突き合わせ、1つの表にまとめます
部署ごと、期間ごとにシステムから書き出している様式の違いを吸収して1つにまとめます
測定機器ごとに出力の形が違う機器ごとの様式を読み取り、1つの表にまとめます
様式が途中で変わっている変わる前後を突き合わせ、揃えられない項目を一覧にします
1つのExcelにシートが何十枚もあるシートごとの形を読み取り、1つの表にまとめます
期ごとにファイルが分かれ、科目名や商品名の表記が揺れている表記を揃えたうえでまとめます
年次ごとに様式が変わる公開資料を集めた年次をまたいで比べられる形に整えます

どこまで整うかは、実際のファイルを拝見しないと分かりません。
お見積りの前に確認いたします(後述)。

お預かりできるもの

デジタルデータに限ります。

お預かりできます備考
CSV、TSV、テキスト区切り文字や文字コードは問いません
Excel、表計算ソフトのファイルシートが分かれていても、結合セルや複数行の見出しがあっても差し支えありません
PDF文字として選択できるものに限ります
データベースからの書き出しSQLの結果、ダンプファイル
機器やシステムが出力したファイル独自の形式でも、様式が分かれば対象です
お受けしていません|理由
紙、手書きの記録入力の作業は承っておりません
スキャンした画像のPDF、写真に写った表文字を読み取る工程が別に必要になります
画像、波形、3次元形状、位置情報表に入る値を取り出す作業が別に必要になります

スキャンした画像や、画像・波形からの値の取り出しは、別のお見積りになります。
作業の中身が違うためです。
お手元の状態をお聞かせいただければ、可否をお伝えします。

お渡しするもの

項目項目
整えた表1行1レコードの形です。ファイル形式はご指定に合わせます
データ辞書列ごとの定義、単位、取りうる値、欠測の表し方、元のファイルのどこから来たかを記載します
整備の記録何をどう直したかの一覧です。元の値に戻せる形で残します
判断が要る箇所の一覧欠測、外れ値と思われる値、単位や表記の食い違い、突き合わせられなかった項目です
再現用のコードお預かりしたファイルから、お渡しした表を作り直すためのものです

「判断が要る箇所の一覧」が中心になります。
整った表だけをお渡しすると、何が判断されずに残っているかが見えません。

突き合わせられなかった項目の一覧は、次回に効きます。
どの項目が揃わなかったかが分かれば、次のファイルの出し方を変える判断ができます。

再現用のコードについて。
お預かりしたファイルから同じ表を作り直すためのものです。
お渡しするときに、構成と、どこを直せば何が変わるかを一度ご説明します。
御社で書き換えられた後の動作については、お答えいたしかねます。
書き換え方のご相談は「データサイエンス技術指導」で、新しい様式への対応は改めてこのサービスで承ります。

お預かりするデータの取扱い

個人を識別する情報はお預かりしません。
IDのみを受け取り、氏名等との対応表は御社に保持していただきます。

再委託しないこと、生成AIや外部サービスに入力しないこと、クラウドストレージに保管しないこと、案件の終了後に消去することなどを、「データの取扱いについて」に定めています。

納品物の控えは、納品から1週間後に消去します。
整えた表、データ辞書、整備の記録、コードのいずれもです。
消去の前にご案内しますので、保持をご希望の場合はお知らせください。
その場合は、御社のご指示があった時点で消去します。

秘密保持契約書または守秘義務条項について、御社の様式をご提示いただければ締結いたします。
契約書のない案件でも、データの取扱いは変わりません。
契約書に定めがある場合は、その定めに従います。

ご依頼から納品までの流れ

  1. お問い合わせ: ファイル名の一覧と、代表となるファイルを1つお送りください。
  2. 確認とお見積り: 様式がいくつあるか、項目がいくつあるか、どの程度崩れているかを拝見し、料金と納期をお伝えします。この確認は無料です。
  3. ご契約: 秘密保持契約書または守秘義務条項は、御社の様式をご提示いただければ締結いたします。
  4. お預かりと作業: 受け渡しは御社の方式に合わせます。判断が分かれる箇所が出た場合は、その都度ご確認します。
  5. お渡しとご説明: 判断が要る箇所の一覧と、コードの構成をご説明します。
  6. 消去: 案件の終了後にお預かりしたファイルを消去し、納品物の控えは納品から1週間後に消去します。消去した旨をご報告します。

お見積りの前にファイルを拝見するのは、様式の数が実物を見ないと分からないためです。
同じ様式のファイルが50個あっても作業は1つですが、様式が5種類あれば5つ分の作業になります。
ファイルの個数ではなく、様式の種類が作業量を決めます。

料金

料金について」に記載しています。
このサービスは「データを1つの表にまとめる」の項目をご覧ください。

行数(件数)では料金が変わりません。
件数が増えても作業量が変わらないためです。

ご相談からお見積りまで無料でお受けしております。

事業者としての情報

守秘義務および掲載許諾の関係により、お取引先の名称と、成果物の内容は公開しておりません。
取引実績と、これまでに扱ったデータの種類は「事業情報」に記載しています。

よくあるご質問

様式が分かれていること自体は問題ありません。ファイルの個数も問いません。作業量を決めるのは様式の種類の数です。

ただし、ファイルをまたいで対応が取れる列(顧客ID、被験者ID、伝票番号、地点番号、日付など)がないと、突き合わせができません。その列がない場合は、お問い合わせの段階でお伝えします。

このサービスには含みませんが、別のご依頼として承ります。「受託データ分析」をご覧ください。

なお、「手がかりを見つけたい(探索的データ解析)」を初めてご依頼いただく場合、この整備は分析の料金に含まれます。別にお支払いいただく必要はありません。分析からご依頼いただく可能性がある場合は、その旨をお聞かせください。

含みません。いずれも分析上の判断にあたるためです。該当する箇所には印を付けてお返ししますので、どう扱うかは御社でお決めください。判断のしかたについてご意見が必要でしたら、「データ分析の相談」で承ります。

文字として選択できるPDFであれば、お預かりできます。スキャンした画像のPDFは、文字を読み取る工程が別に必要になりますので、別のお見積りになります。お手元のPDFで文字を選択できるかをご確認いただくか、1つお送りください。

承っておりません。入力の作業は行っていないためです。

再現用のコードをお渡ししますので、同じ様式のファイルであれば御社で同じ処理を行えます。お渡しするときに構成をご説明します。

様式の種類と項目の数によって変わります。お見積りの際に納期をお伝えします。お急ぎの場合はご相談ください。

件数が多いこと自体は料金に影響しません。ただし当方の環境で扱える範囲を超える場合は、その旨をお伝えし、別のお見積りとさせていただきます。お問い合わせの段階で確認します。

他のサービス

お問い合わせ

「この形のファイルでも大丈夫か」「いくつの様式になるか」といったご相談も承ります。
ファイル名の一覧と、代表となるファイルを1つお送りいただければ、可否と金額をお返しします。
この確認は無料でお受けします。

お問い合わせフォームよりご連絡ください。