■仕事情報
①担当業務内容

1．顧客成果に基づくAI品質設計・評価基盤の構築（50%）
AIの回答・提案によって顧客の作業が前進したかを定義・検証し、リリース可否を判断できる評価の仕組みを作ります。

　- テキスト、商品画像、図面、CAD画面を扱うAIについて、正確さ、根拠の明確さ、タスク完遂率、安全性に加え、選定・見積もり・購買などの顧客成果を測る評価指標と評価データセットを設計
モデル、プロンプト、検索、ルーティングを対象にした自動テスト・人手評価・回帰テストの評価パイプラインを開発
　- 実利用ログ、ユーザーフィードバック、A/Bテストを分析し、顧客成果を阻害する要因の特定と優先順位付けを実施
　- 精度、顧客成果、応答速度、推論コストのトレードオフを可視化し、リリース基準と改善目標を事業・開発チームと合意

2．AIプロダクトの価値検証・継続改善（30%）
AIが顧客の設計・選定・見積もり・購買をどこまで前進させたかを測定し、改善を主導します。
　- ECサイトおよびものづくり支援サービスで、ユースケース別の顧客成果指標、検証計画、実験設計を作成
　- AIアーキテクト、プロダクトマネージャー、ドメイン専門家と連携し、品質課題をモデル・データ・検索・体験設計の改善施策へ変換
　- PoCから本番運用まで、品質モニタリング、異常検知、顧客成果と事業KPIへの改善効果の測定を推進

3. モデル・評価手法の研究開発と標準化（20%）
　- LLM、SLM、マルチモーダルAIの評価・最適化手法を調査・検証し、製造業のユースケースへ適用
　- 評価結果、既知の制約、利用条件を文書化し、チームの品質基準・レビュー手法として定着
　- 論文読解、社内勉強会、技術発信を通じたチームのAI品質向上

②仕事のやりがい（面白さ）
AIの回答品質を測る物差しから作り、改善の優先順位とリリース可否を自ら判断できます。
あなたが設計した評価ループが、日本・韓国・台湾から欧州までの顧客の部品選定体験と事業KPIを直接変えます。

③3～5年後の想定されるキャリアパス
　‐ AI品質・評価組織を率いる「AIバリューエンジニアリングマネージャー」
　- AIプロダクトの品質戦略を担う「AIプロダクトマネージャー」
　‐ モデル・データ・評価の専門性を深める「プリンシパルAIエンジニア」

④業務上の課題
　- 正解が一つではないAIの回答・提案に対し、顧客価値と事業KPIから評価基準を定義する必要がある
　- モデルの精度だけでなく、根拠の信頼性、応答速度、利用コストを踏まえてリリース可否を判断する必要がある
　- 実利用で生じる新しい失敗パターンを継続的に収集し、データ・モデル・体験設計へ素早く反映する必要がある

⑤使用ツール
　・ 使用アプリケーション： MS Teams, GitHub Projects, GitHub Issues
　・ 開発環境： Python, SQL／GCP (Vertex AI, Cloud Run, GKE), AWS／Elasticsearch, Vertex AI Search／Terraform, GitHub Actions／VS Code, Cursor, GitHub Copilot, ClaudeCode, GeminiCli（利用自由）
　・ その他： AI/ML: PyTorch 等の深層学習フレームワーク, Hugging Face, Vertex AI (Pipelines, Feature Store, Model Registry)／事後学習・軽量化: QLoRA 等／生成AI: GPT, Claude, Google Gemini, Amazon Bedrock, Azure OpenAI Service


■組織ミッション
①事業部/室ミッション
　ミスミは4,000万点超の商品情報、網羅的な3D CADデータ、グローバルな検索・購買トラフィック、約34万社の顧客基盤（海外売上比率約60%）を持ち、製造業の部品選定・調達を支えるECプラットフォームを運営しています。当室は、ミスミのECサイトにおけるKW検索エンジン（ベクトル検索から始まり、現在はKW検索とのハイブリッド構成）を内製開発してきた部隊です。顧客・サプライヤーの「あらゆるムダの排除」を掲げる「デジタルサービスモデル開発・ハブ（TX）」の一員として、コア機能である検索エンジンを主に部品選定体験自体の内製開発を推進しています。

②チームミッション
　内製のベクトル検索は16カ国、11リージョン、12言語への展開を計画し、日本・韓国・台湾から欧州へ展開を進めています。検索開発ではPoC開始から4カ月で100を超えるNLPモデルを開発し、約20回のA/Bテストを重ねてきました。この検索資産と各ものづくりサービスを接続し、設計から購買までを支援するAIプロダクトを開発します。AIの回答・提案が実際の顧客価値につながっているかを継続的に測定・改善し、大規模な実サービスへ届けます。

③自組織の強み・事業責任者からのコメント等
　AIアーキテクトが統合基盤の設計・構築と非機能品質を担うのに対し、本ポジションはAIが顧客へ返す回答・提案の品質と、その改善サイクルに最終責任を持ちます。
　モデルの机上評価だけで成功とせず、顧客が設計・選定・見積もり・購買を実際に前進できたかを最終基準とします。正確さ、根拠の明確さ、タスク完遂率、応答速度、利用コストに加え、実利用ログ、顧客行動、A/Bテストを通じて価値を測定・改善します。モデル、プロンプト、検索、ルーティング、体験設計のどこを変えるべきかを見極め、事業KPIに接続した品質判断を主導します。
　新規プロダクトのため、品質の「正解」そのものをチームや事業部と作る必要があります。自分が設計した評価と改善が顧客体験と事業成果に直結する点が、この仕事の醍醐味です。