Day 052 — gRPC/Protocol Buffers実装（続き）: Length-delimited（Wire Type 2）で見る string・埋め込みメッセージの共通構造

📚 背景知識（読んでから問題へ）

Day 051では、Wire Type 0（Varint）を使い、タグ + 値という最小構成でPBのバイナリ表現を実装しました。しかし実務の.protoはint32やboolだけでは成り立ちません。string・bytes・埋め込みメッセージ（他のmessageをフィールドとして持つ構造）が必ず登場します。今日はこれらすべてを支えるWire Type 2（Length-delimited、長さ接頭辞付き）を扱います。

公式ドキュメント「Protocol Buffers - Encoding」の"Length-Delimited Records"節は、この仕組みを次のように説明しています（出典: protobuf.dev/programming-guides/encoding、"Length-Delimited Records"節、2026-09-18にWebFetchで実際に取得し記載内容を確認）。

• message Test2 { optional string b = 2; } で b = "testing" のとき、ワイヤ上のバイト列は 12 07 [74 65 73 74 69 6e 67] になる。12はタグ（フィールド2・ワイヤタイプ2）、07は長さ（7バイト）、残りは"testing"のUTF-8バイト列。
• message Test3 { optional Test1 c = 3; } で c = { a: 150 } のとき、ワイヤ上のバイト列は 1a 03 [08 96 01] になる。1aはタグ（フィールド3・ワイヤタイプ2）、03は長さ、08 96 01はDay051で検証済みのTest1{a:150}のバイト列そのもの。

📝 問題

1. Length-delimitedのエンコードを実装する: フィールド番号と生バイト列data []byteを受け取り、タグ(varint) + 長さ(varint) + dataという順でエンコードするencodeLengthDelimited(fieldNumber int, data []byte) []byteを実装してください（ワイヤタイプは2）。
2. Length-delimitedのデコードを実装する: タグを読み終えた直後のバイト列から、長さvarintとそのバイト数ぶんのdataを復元するdecodeLengthDelimited(buf []byte) (data []byte, n int)を実装してください（nは消費バイト数＝長さvarintのバイト数＋dataのバイト数）。
3. string フィールドを検証する: encodeLengthDelimited(2, []byte("testing"))を呼び出し、結果が公式ドキュメントの例[]byte{0x12, 0x07, 0x74, 0x65, 0x73, 0x74, 0x69, 0x6e, 0x67}と一致することを検証してください。
4. 埋め込みメッセージを検証する: Day051で実装したencodeVarintField(1, 150)（Test1{a:150}のバイト列）をdataとしてencodeLengthDelimited(3, ...)に渡し、結果が公式ドキュメントの例[]byte{0x1a, 0x03, 0x08, 0x96, 0x01}と一致することを検証してください。さらに、そのバイト列をdecodeLengthDelimitedで取り出したあと、中身をもう一度decodeVarintでデコードしてfieldNumber=1, value=150を復元できることを確認してください（＝入れ子のデコード）。
5. 概念確認（言葉で説明）: 埋め込みメッセージには、XMLの</tag>やJSONの}のような「終端を示す記号」が一切なく、長さプレフィックスだけで区切られています。この設計により、PBのパーサは埋め込みメッセージを読む際に何をしなければならないか（ストリーミングで1バイトずつ処理していく方式と比較して）を説明してください。

🔍 ヒント（段階的開示）

📋 コピーfunc encodeLengthDelimited(fieldNumber int, data []byte) []byte {
	buf := encodeVarint(encodeTag(fieldNumber, /* TODO: wireType */))
	buf = append(buf, encodeVarint(uint64(len(data)))...)
	buf = append(buf, /* TODO */...)
	return buf
}

func decodeLengthDelimited(buf []byte) (data []byte, n int) {
	length, lenBytes := decodeVarint(buf)
	data = buf[lenBytes : /* TODO: 終端インデックス */]
	return data, /* TODO: 消費バイト数の合計 */
}

✅ 模範解答

📋 コピーpackage main

import "fmt"

// --- Day051からの持ち込み: varintとタグの基本操作（今日の実装が依存する） ---

const (
	wireTypeVarint = 0
	wireTypeLen    = 2 // 可変長: string, bytes, embedded message, packed repeated
)

func encodeVarint(x uint64) []byte {
	var buf []byte
	for x >= 0x80 {
		buf = append(buf, byte(x&0x7f)|0x80)
		x >>= 7
	}
	buf = append(buf, byte(x))
	return buf
}

func decodeVarint(buf []byte) (uint64, int) {
	var x uint64
	var shift uint
	for i, b := range buf {
		x |= uint64(b&0x7f) << shift
		if b&0x80 == 0 {
			return x, i + 1
		}
		shift += 7
	}
	return x, len(buf)
}

func encodeTag(fieldNumber, wireType int) uint64 {
	return uint64(fieldNumber)<<3 | uint64(wireType)
}

func encodeVarintField(fieldNumber int, value uint64) []byte {
	buf := encodeVarint(encodeTag(fieldNumber, wireTypeVarint))
	return append(buf, encodeVarint(value)...)
}

// --- 今日の新実装: Wire Type 2 (Length-delimited) ---

// encodeLengthDelimited はフィールド番号と生バイト列から、
// タグ(varint) + 長さ(varint) + 生データ、というLength-delimitedフィールドをエンコードする。
// string / bytes / embedded message はすべてこの同じ形式に還元される。
func encodeLengthDelimited(fieldNumber int, data []byte) []byte {
	buf := encodeVarint(encodeTag(fieldNumber, wireTypeLen))
	buf = append(buf, encodeVarint(uint64(len(data)))...)
	buf = append(buf, data...)
	return buf
}

// decodeLengthDelimited はタグを読み終えた直後のbufから
// 長さvarint + そのバイト数ぶんのdataを取り出し、消費バイト数(n)とともに返す。
func decodeLengthDelimited(buf []byte) (data []byte, n int) {
	length, lenBytes := decodeVarint(buf)
	data = buf[lenBytes : lenBytes+int(length)]
	return data, lenBytes + int(length)
}

func mustEqual(name string, got, want []byte) {
	if len(got) != len(want) {
		panic(fmt.Sprintf("%s: length mismatch got=%d want=%d", name, len(got), len(want)))
	}
	for i := range want {
		if got[i] != want[i] {
			panic(fmt.Sprintf("%s: byte mismatch at %d: got %x want %x", name, i, got[i], want[i]))
		}
	}
	fmt.Printf("OK: %s は公式ドキュメントの例と一致した (% x)\n", name, got)
}

func main() {
	// --- 検証1: string フィールド ---
	// message Test2 { optional string b = 2; }  b = "testing"
	// 出典: protobuf.dev/programming-guides/encoding の "Length-Delimited Records" 節
	// （2026-09-18 にWebFetchで取得し記載内容を確認）
	gotStr := encodeLengthDelimited(2, []byte("testing"))
	wantStr := []byte{0x12, 0x07, 0x74, 0x65, 0x73, 0x74, 0x69, 0x6e, 0x67}
	mustEqual(`Test2.b="testing"`, gotStr, wantStr)

	// ラウンドトリップ確認
	tag, n := decodeVarint(gotStr)
	fieldNumber, wireType := tag>>3, tag&0x7
	data, _ := decodeLengthDelimited(gotStr[n:])
	fmt.Printf("decoded: fieldNumber=%d wireType=%d data=%q\n", fieldNumber, wireType, string(data))

	// --- 検証2: embedded message フィールド ---
	// message Test1 { optional int32 a = 1; }
	// message Test3 { optional Test1 c = 3; }  c = { a: 150 }
	// 出典: 同上 "Length-Delimited Records" 節
	innerTest1 := encodeVarintField(1, 150) // Day051のTest1エンコード結果 = 08 96 01
	gotMsg := encodeLengthDelimited(3, innerTest1)
	wantMsg := []byte{0x1a, 0x03, 0x08, 0x96, 0x01}
	mustEqual("Test3.c={a:150}", gotMsg, wantMsg)

	// 入れ子構造のデコード: 埋め込みメッセージのバイト列をさらにデコードする
	_, n2 := decodeVarint(gotMsg)
	innerBytes, _ := decodeLengthDelimited(gotMsg[n2:])
	innerTag, innerN := decodeVarint(innerBytes)
	innerValue, _ := decodeVarint(innerBytes[innerN:])
	fmt.Printf("nested decoded: outer field=3, inner field=%d inner value=%d\n", innerTag>>3, innerValue)

	// --- 概念確認用の実測メモ ---
	fmt.Println("---")
	fmt.Println("embedded messageのバイト列そのものにはXMLのやJSONの}のような終端記号がなく、")
	fmt.Println("長さプレフィックスだけで区切られている。そのためdecodeLengthDelimitedは")
	fmt.Println("「長さぶんのバイトを一括スライス」する実装になっており、1バイトずつのストリーミングパースはできない。")
}

実行結果（実測。go1.27.1 darwin/arm64で確認）:

📋 コピーOK: Test2.b="testing" は公式ドキュメントの例と一致した (12 07 74 65 73 74 69 6e 67)
decoded: fieldNumber=2 wireType=2 data="testing"
OK: Test3.c={a:150} は公式ドキュメントの例と一致した (1a 03 08 96 01)
nested decoded: outer field=3, inner field=1 inner value=150
---
embedded messageのバイト列そのものにはXMLのやJSONの}のような終端記号がなく、
長さプレフィックスだけで区切られている。そのためdecodeLengthDelimitedは
「長さぶんのバイトを一括スライス」する実装になっており、1バイトずつのストリーミングパースはできない。

🪜 Step-by-Step 解説

💡 設計思想・なぜこう書くのか

🌐 他言語との比較

🏆 実務での使いどころ

• gRPCのMessageフィールド全般: 実務の.protoで最も頻繁に使うのがstring・bytes・そしてネストしたmessageです。今日実装した1つの関数が、実際のgRPC通信で流れるフィールドの大部分をカバーしていることになります。
• repeated フィールドのpacked encoding: repeated int32のような繰り返しフィールドも、（PBのバージョンや設定によって）Wire Type 2を使い「複数のvarintをまとめて1つのLength-delimitedフィールドとして送る」packed encodingという最適化が使われます。今日のdecodeLengthDelimitedで取り出したdataに対し、decodeVarintをループで繰り返し適用すれば複数の値を復元できる、という発展につながります。
• ストリーミングgRPCでのメモリ設計判断: 今日学んだ「埋め込みメッセージは長さぶん丸ごとバッファする必要がある」という制約は、巨大な埋め込みメッセージ（例: 大きなバイナリファイルをbytesフィールドに詰めるような設計）を避け、代わりにgRPCのストリーミングRPC（Day050で扱ったServer streaming）で小さいメッセージを何度も送る設計にする、という実務判断の裏付けになります。

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: repeated int32のpacked encoding（複数のvarintを1つのWire Type 2フィールドにまとめる方式）を、今日実装したdecodeLengthDelimitedとdecodeVarintのループ適用で実装してみましょう。
• 次回予告: 自己評価が「完全理解」で安定すればテーマ15「ミドルウェア設計パターン」（http.Handlerのチェーン設計）へ。継続する場合は同テーマでWire Type 1（64-bit固定長: double/fixed64）・Wire Type 5（32-bit固定長: float/fixed32）を扱う予定。

🎯 自己評価

自分の回答

気づき・メモ