逐格 OCR 會重複相同的工作
一部 100 分鐘的劇情片包含數十萬個畫格。製作系統可以在一段時間內取樣並將重複出現的候選專案分組,而不是把每個畫格都當成互不相關的 OCR 工作。
公開領域中有不少實用的基礎元件:OCR 系統可以偵測並辨識文字,圖片修補模型可以填補遮罩區域,影片修補模型則能改善時間連續性。但製作環境中的工作流程會受到長影片、多種語言、動態、臉部、產品標籤、每幾秒變換的字幕、GPU 成本、佇列延遲,以及需要將清理後的素材交給在地化等因素限制。
這裡並不是將 Weydub 描述為某個開放原始碼模型的包裝層。公開的產品與 API 文件說明了 OCR 引導的工作流程、區域與時間控制、移除模式、還原選項、非同步工作,以及可下載的輸出結果。本頁未揭露確切的內部模型協同流程。
00:00-00:03 原始畫面:短劇鏡頭中出現畫面下方中央的中文對話字幕,以及邊緣的垂直文字。結果:配對輸出中已沒有選定的疊加文字。
00:03-00:06 鏡頭與主體持續移動。審閱重點在於還原後的畫面下方是否維持視覺穩定,而不是評斷單張靜態影像。
00:06-00:09 配對影片在播放結束前都維持同步。此範例僅支援這段來源影片中可見的結果;具代表性的製作媒體仍需審閱。
一部 100 分鐘的劇情片包含數十萬個畫格。製作系統可以在一段時間內取樣並將重複出現的候選專案分組,而不是把每個畫格都當成互不相關的 OCR 工作。
招牌、手機螢幕、聊天泡泡、標誌、包裝與型號都可能觸發 OCR。品質代表移除目標疊加文字,同時保護場景與產品的真實資訊。
獨立進行的圖片修補可能造成紋理閃爍與邊緣游移。影片清理需要時間控制,讓重建內容在相鄰畫格之間維持穩定。
另一個真實的 Weydub Smart Removal 範例,串連選擇性文字偵測、保護規則、時間連續性還原、文件所述的移除模式、審閱與交付。其時間圖與流程是用於說明的系統模型;API 與 Batch 是交付邊界,不代表額外的品質層級。
這些公開專案說明了更廣泛的技術環境。它們是研究與工程參考資料,並不表示 Weydub 在內部依賴、包裝或公開使用其中任何一個專案。
| 參考類別 | 可證明的內容 | 為什麼不足以支援 Weydub 的使用情境 | 製作需求 |
|---|---|---|---|
| OCR PaddleOCR/EAST 類型的文字偵測 | 可以在圖片或畫格中偵測並辨識文字,包括多種文字系統與具挑戰性的版面配置。 | 在每個畫格上直接執行 OCR 的成本很高;OCR 也會看見可能需要保留的場景文字。僅有偵測功能並不能決定移除政策。 | 視需要將重複的候選專案分組,接著套用區域、時間、移除、保留及僅 OCR 控制項,再進行修復。 |
| 影像修復 LaMa 風格的修補 | 大型遮罩和缺失區域可以填入合理的背景內容。 | 靜態影格的修復效果即使很好,套用到影片中仍可能產生閃爍。在臉部、手部、網格、覆蓋服裝的字幕或產品細節周圍,也可能出現不正確的幻覺內容。 | 使用可用的修復選項、局部內容、遮罩細化、影格一致性檢查,以及可供檢視的輸出。 |
| 影片修復 ProPainter 風格的影片修補 | 時間傳播和以 transformer 為基礎的補全,可以改善影格之間的一致性。 | 影片修補的負擔較重、速度較慢,也較難擴展至數千集短劇或產品影片。不能對每項工作不加判斷地使用。 | 先以具代表性的片段進行基準測試,選擇已啟用的模式或修復選項,控管成本,並在投入正式使用前檢查時間一致性。 |
重複的偵測結果可以分組成時間範圍,讓工作流程針對一個候選事件進行判斷,而不是處理許多重複的影格層級框。位置、時間、信心度、語言、動態和鏡頭邊界,都是這項系統問題的實用訊號。
本說明使用時序候選圖描述系統層級的問題;不會揭露 Weydub 的確切內部演算法。
LaMa 風格的圖片修復示範了如何填補缺失區域。ProPainter 風格的影片修復則示範了傳播和時間脈絡為何重要。在本文中,正式環境的路由代表依據區域確定性、動態、複雜度、品質需求、成本和帳號權益,選擇已啟用的模式或修復選項。公開文件說明可選擇的專案,但不代表每次選擇都完全自動化。
每個影格單獨看似合理,但紋理、邊緣、陰影或臉部可能會在前後影格之間出現細微變化。
相鄰影格和動態線索會限制重建結果,改善移動中的攝影機、臉部、服裝及圖案背景的連續性。
本說明對應正式環境工作流程中的各項職責。Weydub 的公開文件說明移除輸入、遮罩、模式、非同步狀態和輸出;但不會揭露每項工作所使用的確切模型圖、分類器,或操作元件與政策之間的分工。
在選擇工作流程前,確認影片長度、解析度、動態、字幕位置、鏡頭變化,以及具代表性的難度。
使用 OCR 和電腦視覺,定位內嵌字幕(硬字幕)、下三分之一字幕、浮水印、說明文字、標誌及其他可讀取的疊加文字。
說明模型會將重複的偵測結果分組,讓系統可以一起判斷持續時間、位置偏移和相鄰影格的脈絡。
搭配整個影格或區域選取,以及移除、保留、僅 OCR 和選用的時間範圍,降低有害的誤判。
執行已啟用的 Basic 或 Advanced 選項,接著檢查困難的紋理、動態、陰影、臉部、手部、產品邊緣和圖案。
在更廣泛的 Weydub 工作流程中,提供乾淨影片,用於翻譯、AI 配音、新字幕、檢視、下載或透過 API 自動化。
Weydub 將媒體在地化經驗應用於短劇和跨境電子商務;在這些情境中,移除失敗可能會破壞觀眾沉浸感或損害對產品的信任。來源、檢視標準、數量和後續在地化路徑,都應該影響工作流程的設計。
Weydub 記錄了三種 Basic 模式和三種 Advanced 選項。可用性、參數、成本和帳號權益各不相同。將正式環境流量送入前,先測試具代表性的媒體,因為品質會隨來源素材和遮罩選擇而異。
當可見文字的位置未知、分散或範圍廣泛,且適合採用整個影格的移除範圍時使用。
適用於字幕、標誌、下三分之一圖文、劇情提示或編號留在已知區域中的情況。
帳號啟用此模式後,適用於跑馬字幕或移動文字。
帳號啟用 Advanced Lite 後,先在具代表性的片段上驗證其參數、成本與輸出,再使用此模式。
當受影響區域可限制在已知邊界框內時,使用已啟用的 Advanced Pro 工作流程。
當工作需要全畫面處理,而非邊界框處理時,使用已啟用的 Advanced Pro 工作流程。
產品優勢不在於某一個 OCR 模型或某一個修復模型,而在於清理控制、審閱、輸出交付與更廣泛的媒體在地化工作流程之間的串接。
短劇與電子商務會反覆出現字幕帶、覆蓋文字、產品標籤、人臉、快速剪接與重複的行銷活動格式。系統即是針對這些情境打造。
正式環境的路由,代表依據區域確定性、動態、複雜度、品質需求、成本與權益,選擇已啟用的模式或修復選項。公開文件不宣稱每個選擇都能完全自動化。
清理後的影片會繼續進入字幕擷取、翻譯、AI 配音、同步、審閱、下載與 API 自動化流程。這種連結讓字幕移除工具成為 Studio 工作流程的一環。
這些簡短定義區分了產品控制項、一般電腦視覺概念,以及本文採用的說明模型。
它會移除燒錄在影片像素中的文字,而不是儲存在獨立字幕軌中的文字。工作流程必須定位目標文字、限制可移除的內容、重建被遮住的背景,並輸出乾淨的影片。
OCR 可以定位並辨識可見文字,但無法決定哪些內容應該消失。影片中也可能包含標誌、手機螢幕、產品標籤、標誌圖樣、介面文字與型號,而這些內容可能需要保留。
這是一種實用的系統模型,用於將相鄰畫格中重複偵測到的內容分組為一個候選事件。本頁將其作為說明工具使用,並非揭露 Weydub 的確切內部實作。
公開控制項包括全畫面、區域與移動文字模式,以及 remove, keep, remove_only_ocr,還有可選的開始/結束時間。這些控制項能降低風險,但不保證完全沒有錯誤。
圖片修復會填補單一畫格中的遮罩區域。影片修復也會使用相鄰畫格、動態或時間脈絡來改善連續性,因為看似合理的靜態畫面在動態播放時仍可能閃爍。
位置未知或分散時使用全畫面;可預測或有時間範圍的區域使用區域遮罩;啟用時,滾動或移動字幕則使用移動文字模式。
API 說明 Basic full-screen、Basic region、Basic moving text、Advanced Lite、Advanced Pro bounding-box 與 Advanced Pro full-screen,且各自有不同的參數、成本與權益要求。
Studio 負責整理可重複使用的專案與批次。Works 追蹤任務狀態並交付輸出。團隊驗證具代表性的媒體後,API 會提交非同步工作,並支援回呼或輪詢。
請檢查具代表性輸出的開頭、中段與結尾,尤其是人臉、手部、產品邊緣、標誌、圖樣背景、快速剪接與高動態區域。對任何來源,都不應將任何移除方法描述為無損。
這些連結是技術參考,提供讀者了解更廣泛的研究與開源生態系。這不表示 Weydub 是任何單一專案的封裝工具。
對大多數團隊而言,適合的工作流程是:清理來源影片、擷取或產生字幕、翻譯、配音、審閱,然後匯出。當字幕移除成為完整製作流程的一部分時,Weydub 能發揮最大的效用。