AIデータ品質‧運⽤責任者

■仕事概要
私たちについて
株式会社ゴーレムは、建設‧不動産領域の⾒積、設計、施⼯、購買、修繕などのデータを構造化し、AIによる解析‧分類‧業務標準化‧意思決定⽀援に取り組んでいます。
建設⾒積書や内訳書には、業界固有の⽤語、階層構造、顧客ごとの表記揺れ、⽂脈に依存する判断が数多く含まれます。
AIの性能を継続的に⾼めるには、モデル開発だけでなく、教師データ・評価データを⻑期的に利⽤できる「データ資産」として整備し続けることが不可⽋です。
■募集背景
これまでは⽴ち上げ期の体制として、業務上の正解に関する知識はビジネス部⾨（Biz）・カスタマーサクセス（CS）、学習・評価に関する知識は機械学習チーム（ML）、データ作成の実務は社内外の作業者が担ってきました。
その結果、ルールの曖昧さやデータの誤りが⾒つかった際に、MLメンバーが個別判断、作業指⽰、修正確認まで担う場⾯が増えています。
私たちが必要としているのは、定義済みのルールに沿ってアノテーションを⾏う担当者や、件数‧納期だけを追う進⾏管理者ではありません。
データを⾃ら分析し、Biz‧CS‧MLの判断を再現可能なルールへ変換し、作成‧監査‧修正‧学習投⼊‧評価‧次の改善までを⼀つのサイクルとして運⽤する責任者です。
⻑期的なドメイン理解と判断履歴を社内に蓄積する必要があるため、正社員の専任機能の⽴ち上げメンバーとして本ポジションを募集します。アノテーションの実作業は、社内作業者、業務委託、外部ベンダーと分担します。
■ミッション
建設⾒積書‧内訳書から作成される教師データと評価データを、学習‧評価に継続利⽤できるデータ資産として管理し、Biz‧CS‧MLの判断を、作業者が再現可能なルールと改善サイクルへ変換することです。
お任せすること
データ資産と品質状態の可視化

• 教師データ・評価データの⼀覧、⽤途、バージョン、責任者、利⽤可否、残存リスクを整理する
• サンプル監査を設計‧実施し、現在の品質⽔準と指標の限界を説明する
• 個別の誤りを類型化し、ラベル、階層、作業者、時期、データソースなどの切り⼝で原因と偏りを分析する
• 重複、⽭盾、⽋損、階層制約違反、学習⽤‧評価⽤データ間のリーケージを確認する

ルールと品質運⽤の設計

• アノテーションルールを、定義、正例、負例、境界例、判断停⽌条件、エスカレーション先まで含む形に整備する
• ルールの版判断履歴、未解決ケースを⼀元管理する
• サンプリング、監査、⼆重アノテーション、作業者校正、差し戻し、再レビューの仕組みを設計する
• 作業者や外部ベンダーへの説明‧教育‧評価を⾏い、理解度と再発状況を確認する

データ改善とML開発の接続

• 学習投⼊前に、データ運⽤上のReady∕Not Readyと残存リスクを提⽰する
• MLメンバーとともに、データ変更前後のモデルの失敗パターンを⽐較し、次に改善すべき対象を提案する
• 週次のデータ準備状況と、⽉次の品質傾向を関係者へ共有する

部⾨横断の意思決定⽀援

• 業務上の正解はBiz、顧客‧現場事例はCS、モデル要件と投⼊判断はML、ツール実装はSoftwareEngineerへ、論点と判断先を切り分ける
• データ量、品質、費⽤、納期、想定されるモデル影響、未確定事項を整理し、関係者が判断できる状態を作る
• アノテーションツール上の課題を運⽤要件‧受⼊条件へ変換し、Software Engineerと改善を進める

このポジションが持つ責任と、持たない責任
本ポジションが責任を持つ領域 他の役割が最終責任を持つ領域

• 品質基準、サンプリング、監査⽅法
• アノテーションルール、例⽰、判断履歴
• 作業者校正、差し戻し、外部ベンダーの品質
• 作成‧修正バックログの運⽤上の優先順位
• データの運⽤上のReady∕Not Ready判定

他の役割が最終責任を持つ領域

• 業務上の正解：⽤語・顧客要件：Biz
• 顧客・現場事例の収集：CS
• 学習‧評価要件、データ分割、モデル投⼊判断：ML
• ツールの設計、実装、テスト、リリース：SoftwareEngineer
• 最上位の事業優先順位：事業‧AI責任者

本ポジションが、すべての業務上の正解を決めること、モデルを実装すること、アノテーションツールを開
発すること、全件を⾃ら確認‧修正することは想定していません。
■このポジションの魅⼒

• AIの性能を左右する教師‧評価データを、単発の作業物ではなく継続利⽤できる会社の資産へ変えられます
• 品質指標、ルール、判断履歴、作業者運⽤をゼロから設計できる、⽴ち上げ期のポジションです
• データ改善がモデルのどの失敗を改善したかまで追い、データ運⽤とML開発を直接つなげられます
• 将来的には、業務量と組織規模に応じて、Data Quality∕CurationとAnnotation Operationsの機能分化‧チーム設計にも関われます

⼊社後に期待すること
⼊社後90⽇を⽬安に

• 既存の教師データ‧評価データの⼀覧、⽤途、バージョン、責任者を整理する
• サンプル監査を⾏い、現在の品質⽔準と主なエラー類型を提⽰する
• ラベル・階層ルール、未解決ケース、判断履歴を⼀元化する
• 次回学習に向けた修正バックログと優先順位をBiz・MLと合意する
• 作業者向けの校正⽤データを作り、⼩規模な運⽤を開始する

⼊社後180⽇を⽬安に

• データセット、ラベル、階層、作業者別の品質傾向を継続的に説明できる状態を作る
• データ作成から学習‧評価までのリードタイムとボトルネックを可視化する
• ルール変更、作業者教育、差し戻し後の再発状況を測定する
• データ修正前後でモデルの失敗パターンを⽐較し、改善効果を確認する
• 外部作業者を活⽤しても、品質状態と残存リスクを説明できる運⽤を確⽴する

• SQL、Python、pandasなどのいずれかを⽤いて、⾃らデータを確認‧集計し、品質問題の傾向や原因を説明した経験
• エラー率、⺟数、サンプリング、分布、偏りなどを踏まえ、品質指標を設計または運⽤した経験
• 個別のミスをエラー類型や根本原因にまとめ、再発防⽌につなげた経験
• 曖昧な要求や判断を、SOP、ルール、正例‧負例‧境界例、例外処理へ落とし込んだ経験
• 複数部⾨や外部パートナーが関わる業務で、期限、依存関係、リスク、未決事項を管理した経験
• 教師あり学習、学習⽤‧検証⽤‧評価⽤データの違い、データリーケージ、過学習、分布変化についての基礎理解
• Precision、Recall、F1などのモデル評価指標を読み、データ品質とモデルの失敗をML担当者と議論できること
• 事実、解釈、提案、不明点を分け、関係者に分かる形で⽂章化できること

すべてを同じ職種で経験している必要はありません。Training Data∕Data Operations、Data Analyst、DataScientist、AI Program Manager、QA‧品質管理、BPO運⽤、Technical CSなど、隣接領域での経験も対象とします。

• 教師データ、アノテーション、データキュレーション、AI評価の運⽤経験
• OCR、Document AI、表‧帳票、階層データを扱った経験
• モデルのエラー分析やData-centric AIに取り組んだ経験
• 作業者教育、QA、BPO‧外部ベンダー管理、業務設計の経験
• アノテーションツールの導⼊や要件整理の経験
• 建設⾒積、積算、調達、施⼯、修繕など、建設‧不動産領域の知識
• 機密性の⾼いデータに関するセキュリティ‧プライバシー運⽤の経験

• データの個別修正だけでなく、誤りのパターンと発⽣源を考えられる⽅
• 分からない状態を隠さず、未確定事項と判断先を構造化できる⽅
• 分析やダッシュボード作成で終わらず、ルール、担当、期限、完了条件まで運⽤に落とせる⽅
• 地道な監査、例外整理、作業者教育、再発防⽌を重要な仕事として扱える⽅
• ⾃分が決める範囲と、Biz・CS・ML・Software Engineerへ返す範囲を明確にできる⽅
• モデル開発そのものよりも、良いデータが継続的に作られる仕組みづくりに関⼼がある⽅