fritzkink
2023-12-27 706019354bab81fc3f01995caf1ae1a2dfa346cf
tools/python-integrate-project
@@ -69,13 +69,6 @@
[[ -d "$BASE_DIR" ]] || usage "Directory $BASE_DIR not found"
# Get data from pypi
PYPI_PROJECT=$($CURL "$APIURL/$PROJECT/json")
if (($? != 0)) || [[ -z "$PYPI_PROJECT" ]] ; then
   printf "FATAL: Failed to get data from pypi\n" >&2
   exit 1
fi
# Distribution match project
DISTRIBUTION="$PROJECT"
@@ -106,6 +99,8 @@
VERSION=
HOMEPAGE=
DOWNLOAD_URL=
LICENSE_FILE=
SUMMARY=
# Execute hook-begin snippet
if [[ -f "$CONF" ]] ; then
@@ -116,6 +111,17 @@
# Version specified as option takes precedence
[[ -n "$OPT_VERSION" ]] && VERSION="$OPT_VERSION"
# Get data from PyPI if needed
if [[ -z "$VERSION" || -z "$HOMEPAGE" || -z "$SUMMARY" ]] ; then
   PYPI_PROJECT=$($CURL "$APIURL/$PROJECT/json")
   if (($? != 0)) || [[ -z "$PYPI_PROJECT" ]] ; then
      printf 'WARNING: Failed to get data for project %s from PyPI\n' "$PROJECT" >&2
      PYPI_PROJECT=
   fi
fi
# Find the latest version if not already provided
if [[ -z "$VERSION" ]] ; then
@@ -129,13 +135,11 @@
# Is this new project, or just a rebuild?
NEW=1
REBUILD=0
PREV_VER=
PREV_HVER=
PREV_REV=0
if git ls-files --error-unmatch Makefile > /dev/null 2>&1 ; then
   NEW=0
   REBUILD=1
   PREV_VER=$($GMAKE print-value-COMPONENT_VERSION 2>/dev/null)
   (($? != 0)) && printf "FATAL: 'gmake print-value-COMPONENT_VERSION' failed!\n" >&2 && exit 1
   PREV_REV=$($GMAKE print-value-COMPONENT_REVISION 2>/dev/null)
@@ -187,6 +191,9 @@
fi
# Remove everything that is not in git
rm -rf *
git checkout . > /dev/null 2>&1
# Remove everything from git (except known patches, files, history, and $CONF)
[[ -f "$CONF" ]] && grep "^%patch%" "$CONF" | while read TAG PATCH ; do rm -f "patches/$PATCH" ; done
[[ -f "$CONF" ]] && grep "^%file%" "$CONF" | while read TAG FILE ; do rm -f "files/$FILE" ; done
@@ -206,13 +213,16 @@
# Makefile template
GENERATE_CMD="\$WS_TOOLS/$THIS"
[[ "$DIRECTORY" != "python/$DISTRIBUTION" ]] && GENERATE_CMD="$GENERATE_CMD -d $DIRECTORY"
GENERATE_CMD="$GENERATE_CMD $PROJECT"
(
cat $WS_TOP/transforms/copyright-template | sed -e '/^$/,$d'
cat <<EOF
#
# This file was automatically generated using the following command:
#   \$WS_TOOLS/$THIS $PROJECT
#   $GENERATE_CMD
#
BUILD_STYLE = pyproject
@@ -246,7 +256,7 @@
# Remove COMPONENT_REVISION if not needed
COMPONENT_VERSION=$($GMAKE print-value-COMPONENT_VERSION)
[[ "$PREV_VER" != "$COMPONENT_VERSION" ]] && REBUILD=0 && sed -i -e '/^COMPONENT_REVISION/d' Makefile
[[ "$PREV_VER" != "$COMPONENT_VERSION" ]] && sed -i -e '/^COMPONENT_REVISION/d' Makefile
git add Makefile
# Calculate sham256 sum for source package
@@ -258,7 +268,21 @@
sed -i -e 's/sha256:TODO/sha256:'"$SHA256"'/g' Makefile
git add Makefile
# Unpack sources
# Unpack sources and apply patches
! $GMAKE patch > /dev/null 2>&1 && printf "FATAL: 'gmake patch' failed!\n" >&2 && exit 1
# Refresh patches
if $GMAKE refresh-patches > /dev/null 2>&1 ; then
   git add patches 2>/dev/null
else
   printf "ERROR: 'gmake refresh-patches' failed!\n" >&2
   git checkout patches 2>/dev/null
fi
# Cleanup after patch refresh
$GMAKE clobber > /dev/null 2>&1
# Prepare sources
! $GMAKE prep > /dev/null 2>&1 && printf "FATAL: 'gmake prep' failed!\n" >&2 && exit 1
SOURCE_DIR=$($GMAKE print-value-SOURCE_DIR)
COMPONENT_SUBDIR=$($GMAKE print-value-COMPONENT_SUBDIR)
@@ -269,12 +293,14 @@
   sed -i -e 's/^\(BUILD_STYLE = \).*$/\1setup.py/' Makefile
fi
# Get summary
SUMMARY=$(printf "%s" "$PYPI_PROJECT" | /usr/bin/jq -r '.info.summary')
if (($? != 0)) || [[ -z "$SUMMARY" || "$SUMMARY" == "null" ]] ; then
   printf "WARNING: Failed to get summary for project %s from pypi\n" "$PROJECT" >&2
   SUMMARY=$(get_PKGINFO_entry "Summary")
   [[ -z "$SUMMARY" ]] && SUMMARY="TODO"
# Get summary if not already provided
if [[ -z "$SUMMARY" ]] ; then
   SUMMARY=$(printf "%s" "$PYPI_PROJECT" | /usr/bin/jq -r '.info.summary')
   if (($? != 0)) || [[ -z "$SUMMARY" || "$SUMMARY" == "null" ]] ; then
      printf "WARNING: Failed to get summary for project %s from pypi\n" "$PROJECT" >&2
      SUMMARY=$(get_PKGINFO_entry "Summary")
      [[ -z "$SUMMARY" ]] && SUMMARY="TODO"
   fi
fi
# Summary needs to be sanitized
SUMMARY="${SUMMARY//\`/\\\\\`}"
@@ -298,7 +324,7 @@
LICENSE=
LICFILE=
for f in $(get_PKGINFO_entry "License-File") LICENSE LICENSE.rst LICENSE.txt ; do
for f in $LICENSE_FILE $(get_PKGINFO_entry "License-File") LICENSE LICENSE.rst LICENSE.txt ; do
   [[ -f "$SOURCE_DIR$COMPONENT_SUBDIR/$f" ]] || continue
   LICFILE="$f"
@@ -416,6 +442,36 @@
! $GMAKE env-check > /dev/null 2>&1 && printf "FATAL: 'gmake env-check' failed!\n" >&2 && exit 1
# Handle history
COMPONENT_FMRI=$($GMAKE print-value-COMPONENT_FMRI)
PYTHON_VERSIONS_OBSOLETING=$($GMAKE print-value-PYTHON_VERSIONS_OBSOLETING)
OV=
OV_PLURAL=
for o in $(echo $OBSOLETE $PYTHON_VERSIONS_OBSOLETING | LC_ALL=C sort -u) ; do
   PYV=${o//.}
   FMRI=$(pkg list -nvH "$COMPONENT_FMRI-$PYV" 2>/dev/null | egrep -v '(o|r)$' | sed -e 's|^.*\('"$COMPONENT_FMRI"'\)|\1|g' -e 's/:[^:]*$//g' -e 's/\(-[^-]*\)$/,5.11\1/g')
   [[ -n "$FMRI" ]] || continue
   FMRI_H=${FMRI%.*}
   FMRI_T=${FMRI##*.}
   if [[ "$FMRI_H" == "$FMRI" ]] ; then
      printf "WARNING: Wrong fmri format: %s\n" "$FMRI" >&2
      continue
   fi
   FMRI_T=$((FMRI_T + 1))
   printf "%s.%s noincorporate\n" "$FMRI_H" "$FMRI_T" >> history
   [[ -n "$OV" ]] && OV="${OV/ and /, } and " && OV_PLURAL="s"
   OV="$OV$o"
done
if [[ -f history ]] ; then
   LC_ALL=C sort -u history > history.new
   mv history.new history
   git add history
   awk '$NF == "noincorporate" {printf("WARNING: Unincorporated package: %s\n", $1)}' < history >&2
fi
# Cleanup before we try to publish to make sure there are no leftovers from
# previous steps
$GMAKE clobber > /dev/null 2>&1
@@ -492,42 +548,13 @@
fi
# Handle history
COMPONENT_FMRI=$($GMAKE print-value-COMPONENT_FMRI)
PYTHON_VERSIONS_OBSOLETING=$($GMAKE print-value-PYTHON_VERSIONS_OBSOLETING)
OV=
OV_PLURAL=
for o in $(echo $OBSOLETE $PYTHON_VERSIONS_OBSOLETING | LC_ALL=C sort -u) ; do
   PYV=${o//.}
   FMRI=$(pkg list -nvH "$COMPONENT_FMRI-$PYV" 2>/dev/null | egrep -v '(o|r)$' | sed -e 's|^.*\('"$COMPONENT_FMRI"'\)|\1|g' -e 's/:[^:]*$//g' -e 's/\(-[^-]*\)$/,5.11\1/g')
   [[ -n "$FMRI" ]] || continue
   FMRI_H=${FMRI%.*}
   FMRI_T=${FMRI##*.}
   if [[ "$FMRI_H" == "$FMRI" ]] ; then
      printf "WARNING: Wrong fmri format: %s\n" "$FMRI" >&2
      continue
   fi
   FMRI_T=$((FMRI_T + 1))
   printf "%s.%s noincorporate\n" "$FMRI_H" "$FMRI_T" >> history
   [[ -n "$OV" ]] && OV="$OV and " && OV_PLURAL="s"
   OV="$OV$o"
done
if [[ -f history ]] ; then
   LC_ALL=C sort -u history > history.new
   mv history.new history
   git add history
fi
# Construct the commit message
MSG=
if ((NEW)) ; then
   MSG="Add $PROJECT Python project"
else
   if ((REBUILD == 0)) ; then
      [[ "$PREV_HVER" != "$VERSION" ]] && MSG="update to $VERSION" || MSG="change version format"
   fi
   [[ "$PREV_VER" != "$COMPONENT_VERSION" ]] && MSG="change version format"
   [[ "$PREV_HVER" != "$VERSION" ]] && MSG="update to $VERSION"
   REBUILDMSG=