Algorithm2Domain - Integrative Domain Adaptation Benchmarking

„Ich bin Data Scientist mit Schwerpunkt auf Modellentwicklung. Wie gut lässt sich mein Modell auf einen anderen Datensatz anwenden? Was ist, wenn dieser Datensatz aus einer völlig andere statistische Eigenschaften hat (Stichwort: Distribution Shift)? Oder sogar aus einem völlig anderen Bereich stammt? Kann ich mein Modell an vielen verschiedenen domänen-spezifischen Datensätzen testen?“ „Ich arbeite mit Daten aus einer bestimmten Domäne. Wie finde ich unter den vielen verfügbaren Modellen das beste, das sich gut auf meinen Fall übertragen lässt? Wie kann ich viele Modelle sehr schnell an meinen Daten testen? Oder an öffentlichen Daten, die denen, die ich noch zu sammeln versuche, ziemlich ähnlich sind?“ Algorithm2Domain ist ein Meta-Repository, das die Suche nach diesen Antworten erleichtert. Unser Ziel ist es, bestehende Algorithmen und Benchmarking-Suiten zu aggregieren und integrative Pipelines für domänenübergreifendes Benchmarking zu entwickeln. Die für das Benchmarking geeigneten Datenquellen werden als Verweise zusammengefasst. Der Schwerpunkt liegt auf offenen Datensätzen, aber in einigen Fällen (z. B. bei bestimmten medizinischen Datensätzen) sind möglicherweise zusätzliche Formalitäten erforderlich, um auf die Daten zugreifen zu können. Dieses Repository enthält eine integrative Benchmarking-Suite, die Datensätze, Modelle, Domänenanpassungsalgorithmen, Few-Shot-Ansätze und Datensätze aus verschiedenen Domänenanpassungs-Benchmarking-Suiten miteinander verbindet. Derzeit ist unsere Seed-Benchmarking-Suite ADATime von: Mohamed Ragab*, Emadeldeen Eldele*, Wee Ling Tan, Chuan-Sheng Foo, Zhenghua Chen☨, Min Wu, Chee Kwoh, Xiaoli Li. Im Wiki sammeln wir Wissen über Domain Adaptation und verwandte Themen: Generalisierbarkeit, Out-of-Distribution-Performance usw. sowie verschiedene Methoden zur Verbesserung des Algorithmusdesigns und zur effizienten Anpassung von (trainierten Modellen) an die neue Domäne.