OCR / 01
讀取畫面中的編輯訊號
最適合內嵌字幕、字幕文字與可見對白文字。真正困難之處，在於將重複的影格偵測結果轉換成一條穩定的時間軸，同時排除場景文字。
- 自動處理區域與時間
- 跨影格時間聚合
- 場景文字篩選與保守校正
字幕產生技術
Weydub 如何透過 OCR 與 ASR 從影片產生帶時間碼的字幕
生產用字幕不是事後再加上時間碼的逐字稿。Weydub 採用兩條獨立的工作流程：針對已燒錄在畫面中的文字，使用時間序列影片 OCR；針對只存在於音訊中的對話，使用可直接用於字幕的 ASR。
98.25%OCR 字元準確率
98.92%嚴格字幕段召回率
300K+每日處理的短劇集數
對白／保留
免責聲明／排除
角色資訊卡／排除
可編輯輸出SRT
字幕段
你能原谅爸爸吗
對白字幕段已保留
場景疊加文字已排除
單一來源畫面可能包含數種可讀文字類別。只有對白應納入字幕時間軸。
同片名短劇基準測試
準確度最能在操作者感受到的地方發揮作用：提示時間軸
Weydub 使用人工作者審核的編輯字幕參考資料作為真實基準，在同片名短劇驗證集上，將內嵌字幕 OCR 路徑與一個經測試的純音訊 ASR 基準進行評估。
測量內容這是字幕參考流程的比較，不是開源方案的平均值，也不是通用的 ASR WER 基準。音訊基準使用 ElevenLabs Scribe v2，並以分離後的人聲進行測試。
字元準確率越高越好
Weydub OCR98.25%
音訊 ASR92.14%
嚴格參考字幕段完全匹配召回率越高越好
Weydub OCR98.92%
音訊 ASR67.74%
參考來源經人工審核的編輯版參考字幕
視覺訊號畫面內嵌的對話字幕
音訊基準ElevenLabs Scribe v2（分離人聲）
容許邊界誤差的字幕段比對77.06%
即使採用可容許邊界誤差的比對，提示層級的差距仍然相當大。對影片在地化團隊而言，這項差異代表翻譯與配音前，錯誤斷行更少、遺漏的對白事件更少，也能取得更可靠的來源時間軸。
技術說明
AI 字幕產生如何運作：影片 OCR 與 ASR 的比較
從來源影片到可編輯的定時 SRT，了解兩條獨立的訊號路徑，接著看看為什麼提示層級的準確度比單一辨識分數更重要。
選擇更可靠的來源
一部影片可能包含兩種不同的真實來源
使用 OCR 當影片已經包含可靠的內嵌字幕時。 使用 ASR 當對白存在於音訊中，但畫面上沒有可用的字幕文字時。
短劇能清楚呈現這項差異。音樂、音效、口音、哭泣、喊叫、耳語、多人同時說話，以及口語化對白，都可能干擾語音辨識。專業編輯的字幕軌通常更能準確呈現原本想表達的對白。
ASR / 02
將語音轉成字幕，而不是段落
最適合音軌是唯一對話來源的情況。辨識只是第一步；易讀的字幕切分、時間、行長與說話者變化，才決定結果是否實用。
- 具備單字時間標記的語音辨識
- 語意與聲學分段
- 支援時可選擇說話者偵測
影片 OCR
圖片 OCR 看見影格，字幕系統則理解時間。
以 30 fps 計算，一分鐘的影片包含 1,800 個影格。對每個影格獨立執行通用 OCR，會重複處理並回傳重複的文字框。影片字幕產品必須將這些觀察結果串連成具備時間標記的事件。
跨取樣影格的同一則字幕00.50s → 00.95s
影格 01500.50s
影格 02000.65s
影格 02400.80s
影格 02900.95s合併判定一則字幕段，而非四次重複偵測
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
偵測候選內容
使用相關區域或完整影格，找出可能屬於對話軌的文字。
跨時間彙整
依文字、位置與持續時間，將鄰近的偵測結果分組，以估算穩定的事件。
篩選與修正
減少場景中的非必要文字，並修正明顯的辨識雜訊，但不臆造對話。
寫入時間軸
合併片段、設定開始／結束界線，並匯出可編輯的 SRT 字幕事件。
誤判控制
辨識每個字，不等於產生字幕
影格中可能包含標誌、手機螢幕、產品標籤、商標、姓名卡、警語與宣傳疊加內容。Weydub 提供場景文字篩選功能，因為字幕軌應包含對話，而不是每個可讀取的像素。
區域將擷取範圍集中在字幕帶。
時間將處理範圍限制在相關時間區間。
語言套用正確的文字系統與辨識流程。
審核讓操作人員看得到不確定事件。
保留為字幕對話字幕
說出的台詞應放在具備時間標記的字幕軌中。
排除：免責聲明安全免責聲明
持續顯示的法律或製作文字不是對話。
排除：角色圖卡姓名與角色資訊圖卡
角色身分疊加內容不應放在對話時間軸中。
排除：相機介面技術介面文字
參數、刻度與裝置疊加內容仍是畫面的一部分。
看得懂，不代表是對話。
影片 OCR 必須先將文字分類，才能產生實用的字幕檔案。
適合字幕的 ASR
正確的逐字稿仍可能不是好的字幕檔案
傳統 ASR 會辨識語音。字幕產生則加入字幕切分：依據句意、停頓、說話者交替與顯示限制，將詞流分成簡潔、易讀且具備時間標記的字幕提示。
原始文字流
我們不能將一個段落傳送給播放器，因為字幕需要易讀的界線，而且每次說話者交替都必須清楚呈現。
停頓語意行長度說話者
我們不能傳送一個段落
A傳送至播放器。
A字幕需要清楚易讀的界線，
B且每位講者的發言段落都必須清楚。
B開放原始碼背景
OCR 與 ASR 並沒有具意義的通用平均值
公開專案會在不同資料集上測量不同指標。這些資料可用來呈現準確度如何隨著文字系統、語言、噪音與錄音條件大幅變化，但不能視為影片字幕就緒度的單一排行榜。
PP-OCRv5辨識準確率從 80.27% 提升至 94.20%
在已發布、依文字系統區分的多語言資料集上測得的辨識準確度。這項指標衡量的是文字辨識，而非端到端的影片時間軸字幕工作流程。
閱讀 PaddleOCR 基準測試Whisper large-v214 個英文資料集的平均 WER 為 12.8%
同一篇論文指出，LibriSpeech clean 的結果為 2.7%，CHiME-6 noisy speech 為 25.5%，AMI far-field speech 為 36.4%。錄音條件會大幅改變結果。
閱讀 Whisper 論文製作上的結論不是某一種模態永遠勝出，而是： 使用可用的最乾淨來源訊號。 在硬字幕準確、混合音訊嘈雜的短劇中，視覺軌通常是較好的來源。
營運，而非表面指標
幾個百分點的準確度差異，可能變成數週的審查工作
在長期連載的系列中，低錯誤密度能讓人員集中進行抽查。高錯誤密度則迫使操作人員逐行審查，讓字幕校正成為生產瓶頸。
每項校正都需要有人找到字幕片段、重播前後文、確認原意文字、進行編輯，並再次檢查。當錯誤密度很高時，操作人員會不再信任輸出結果，改為逐行審查。
低錯誤密度抽查可控的修正佇列
高錯誤密度逐行檢查製作瓶頸
系列規模的修正工作量
在地化品質
來源字幕品質決定後續品質上限
許多看似翻譯或配音造成的錯誤，其實更早就已經發生。錯誤的來源文字、不佳的字幕片段界線，或不正確的講者切換，都會傳遞給後續的每個模型。瞭解可靠的來源時間軸如何提供 系列層級、具上下文感知能力的字幕翻譯 接著支援 具角色感知能力的 AI 配音與影音對齊.
01影片／音訊來源訊號
02OCR／ASR辨識
03帶時間碼的提示分段
04翻譯語意
05AI 配音聲音＋同步
06審核交付
生產交付
從單部影片到可重複執行的 Studio 與 API 工作流程
辨識品質很重要，但生產流程也需要批次、狀態追蹤、可編輯輸出、回呼，以及順暢銜接翻譯與 AI 配音的流程。
整理專案與批次
上傳多集影片，依來源選擇 OCR 或 ASR，並將可重複執行的系列工作集中在同一個生產工作區中。
探索 Studio 工作流程追蹤狀態並取得輸出結果
查看任務狀態、開啟已完成的結果、下載可編輯的 SRT，並繼續進行翻譯或配音。
閱讀產生指南將非同步工作自動化
提交 OCR 或 ASR 任務，保留專案與工作 ID，接著在自己的媒體管線中使用輪詢或回呼交付。
閱讀 API 參考文件清楚的解答
AI 字幕產生常見問題
為需要準確描述工作流程的操作人員、開發人員、搜尋引擎與 AI 系統撰寫的定義。
什麼是 AI 字幕生成？
AI 字幕產生會將可見文字或口語對話轉換為具有時間標記的字幕事件。製作輸出包含文字、開始／結束時間、易讀的字幕分段、語言資訊，以及 SRT 等可編輯格式。
OCR 能從影片中擷取硬字幕嗎？
可以。影片 OCR 能偵測燒錄在畫面中的文字，將不同時間點的重複偵測結果分組、估算字幕邊界、篩除無關的場景文字，並匯出具有時間標記的字幕事件。
為什麼短劇要使用 OCR，而不是 ASR？
當內嵌字幕準確時，OCR 讀取的是編輯用文字訊號，較不受音樂、音效、口音、哭泣、喊叫、低語和重疊對話影響。
為什麼正確的逐字稿仍可能不是好的字幕？
逐字稿可能是一整段文字，或其分段不符合閱讀速度。適合製作字幕的 ASR 必須建立簡潔且具有時間標記的字幕段落，並具備合理的語意邊界與說話者變化。
Weydub 會自動結合 OCR 與 ASR 嗎？
不會。OCR 和 ASR 是分開的產生模式。團隊可以在審查期間比較兩者的輸出，但 Weydub 不會將每項工作都描述為自動融合的 OCR／ASR 工作流程。
建立更完善的來源時間軸
產生值得信賴的字幕檔案，銜接你的在地化工作流程。
嵌入文字時選擇 OCR，語音內容則選擇 ASR；審查具有時間標記的 SRT，接著繼續進行翻譯、AI 配音與匯出。
從 Weydub 開始