国会議事録コーパスのフォーマッティング

[hkiyomaru]

Overview

国会議事録コーパスのフォーマッティングを行う

Details

国会議事録コーパスのフォーマッティングを行う：

• speechID が同じ一連の発話を１文書とする
• \r\n → \n に置換
• 発話間は \n\n でつなぐ

Resources

• 計算機
  • クラスタ: sakura
  • ノード種別: cpu
  • ノード台数: 1
• コード
  • リポジトリ: https://github.com/llm-jp/scripts/tree/llm-jp-corpus-v4-kokkai-giji
  • コミット: 415e270
• 評価データ:
  • N/A
• 出力データ:
  • 保存先: sakura:/data/experiments/114_kokkai_giji/outputs
• W&B ログ:
  • N/A
• 開始日: 2025-01-27
• 終了予定日: YYYY-MM-DD

[hkiyomaru]

出力データは sakura:/data/llm-jp-corpus/v4.0.0/sample/ja_kokkai_giji/ にコピー済み