gregilino

Greg Schmid · Informatik

Ich baue Software, um zu verstehen, wie sie funktioniert.

Ich studiere Informatik an der ETH Zürich. Zurzeit entwickle ich in Java Schritt für Schritt ein eigenes Sprachmodell.

Zum Projekt E-Mail schreiben

01

Über mich

Ich bin Greg und studiere im Bachelor Informatik an der ETH Zürich. Besonders interessieren mich die Grundlagen hinter Software: nicht nur, dass etwas funktioniert, sondern weshalb.

Deshalb setze ich eigene Projekte möglichst von Grund auf um. Diese Seite wird künftig der Ort, an dem ich ausgewählte Arbeiten dokumentiere und zugänglich mache.

02

Java-Sprachmodell

In Entwicklung

Ein Sprachmodell – Schritt für Schritt selbst gebaut.

Das Projekt entsteht in Java und soll ohne fertige Machine-Learning-Bibliothek auskommen. Im Mittelpunkt steht nicht eine möglichst schnelle ChatGPT-Kopie, sondern das genaue Verständnis der einzelnen Bausteine.

  1. Zählmodell

    Zählt Übergänge anhand des vorherigen Tokens und leitet daraus Wahrscheinlichkeiten für das nächste Token ab.

    Funktioniert

  2. Trainierbares Bigram-Modell

    Ein einfaches Modell mit trainierbaren Gewichten statt reinen Häufigkeitswerten.

    Funktioniert

  3. Kontext

    Der nächste Schritt: Das Modell soll mehr als nur das unmittelbar vorherige Token berücksichtigen.

    In Arbeit

  4. Transformer

    Langfristig soll daraus eine eigene Transformer-Architektur entstehen.

    Geplant

Das Ziel

Das Modell soll später selbst trainiert werden können. Damit wäre es bei der Auslieferung zunächst eher ein GT als ein klassisches GPT: ein generativer Transformer, aber nicht zwingend vortrainiert. Ob zusätzlich eine vortrainierte Version angeboten wird, ist noch offen.

Eine erste öffentliche Version ist für Ende 2026 vorgesehen – falls die Entwicklung länger dauert, im Laufe von 2027. Bis dahin gibt es bewusst noch keinen Download.

03

Kontakt

Eine Frage, Rückmeldung oder Idee?

info@gregilino.ch