Ailabs FV (federated validation) framework

Ailabs FV framework 是由Ailabs所開發出的一套聯合驗證的框架，開發者製作一個符合框架規範的docker image，即可

將其docker image使用在Ailabs FV的專案之中。

開發者docker image經由滿足下述條件

• 完成驗證用的資料集的輸入 (The datasets importing for FV)
• 完成在FV過程之中的進度(progress.json)輸出 (Output progress.json while the FV is in progress)
• 完成驗證結果(result.json)的輸出 (Output result.json after the FV is done)
• 在錯誤發生的時候進行error handling，並將error以error.log輸出(Output error.log while encountering a fatal error in progress of the FV)

The FV (federated validation) diagram

Here we can see what will be done while we are doing a federated validation with the Ailabs FV framework.

When a FV plan starts, the edge dashboard will automatically launch the container and start doing validation.

As we can see in the diagram, there are 4 phases that will go through in a FV plan, initialization,preprocessing,validating and completed.

At each phase, the container should output the corresponding progress.json to tell outside the progress of FV。

Ailabs預期開發者會在initialization這個階段進行所有聯合驗證前的初始化動作，例如載入模型與模型權重、載入資料集等。 下一個階段preprocessing開發者被預期會進行例如資料集的預先處理與再加載或其他需要預先處理的事項(若無需求可跳過此階段)，接下來的階段即validating，代表已進入驗證並正在進行中，驗證完成後進入completed即完成階段。

以上四個階段(除了preprocessing無需求可略過)，每進入新階段即須輸出一次progess.json新內容(若檔案存在則直接覆蓋)，使Ailabs FV framework能追蹤開發者的FV的狀態，後面會再詳細解釋progess.json。